用自己电脑做服务器 网站,北京华诚传媒有限公司官方网站,现实有有哪里学做网站的,赞赏分享wordpress代码写在前面ChatGPT迎来重大升级冲击与机遇并存大模型时代的思考与探索■ 像素级OCR统一模型- UPOCR■ OCR大一统模型- SPTS v3■ 文档识别分析LLM应用 写在最后问卷抽奖 写在前面
2023 年 12 月 31 日第十九届中国图象图形学学会青年科学家会议在广州召开#xff0c;该会… 写在前面ChatGPT迎来重大升级冲击与机遇并存大模型时代的思考与探索■ 像素级OCR统一模型- UPOCR■ OCR大一统模型- SPTS v3■ 文档识别分析LLM应用 写在最后问卷抽奖 写在前面
2023 年 12 月 31 日第十九届中国图象图形学学会青年科学家会议在广州召开该会议由中国图象图形学学会主办旨在促进青年科学家之间的交流与合作提升我国在图像图形领域的科研水平和创新能力。
由中国图象图形学学会和上海合合信息INTSIG联合承办的《垂直领域大模型论坛》中针对在以 ChatGPT 为代表的大语言模型时代下大模型技术对于图像图形学领域的研究方向或者说落地应用是否会有价值、有哪些价值进行了深入探讨。包括合合信息丁凯教授在内的多位业内专家针对大模型时代文档与图像识别领域的新探索进行了介绍。 ChatGPT迎来重大升级
2023 年 9 月 25日 OpenAI 宣布推出全新 GPT-4VVision多模态大模型ChatGPT 迎来重大升级
GPT-4V 在原先基础上增加了图像与语音的输入能力旨在为用户带来更加多元化的使用方式让 ChatGPT 与人们的交流更加丰富多样。它的主要功能包括语音功能提供 5 种不同的语音选项具有高准确率的语音识别和语音合成功能图像输入功能用户可以拍摄自己感兴趣的事物并上传到 GPT-4V 中它还具有处理文本和图像形式的输入的能力能够基于混合输入模式产生文本输出自然语言任务处理文本摘要、问答、文本生成、情感分析、机器翻译等看图作答和识别地点对于用户提供的图片GPT-4V 能够识别并回答有关地点的问题。此外还有物体检测、文本识别、人脸识别、验证码求解等等。可以看出 GPT-4V 功能强大且在多个领域都有着广泛应用前景包括图像与文档识别领域。
那么随着 GPT-4V 多模态大模型横空出世是否会对 OCR 文档识别领域造成巨大冲击来自上海合合信息的丁凯博士在中国图像图形学学会CSIG青年科学家会议 2023 中为我们做出了详细解答……
冲击与机遇并存
不可否认 GPT-4V 在文档识别领域中取得了重大成就但同时也应关注到在这个领域OCR 文档识别中的一些核心问题是仍然存在的诸如图像质量、文字识别、版面分析等这些问题仍需解决。同时 GPT-4V 也会为文档识别领域带来诸多变化那么从研究层面来看冲击与机遇是并存的。
通过对 GPT-4V 文档处理领域的详细分析与的场景测试发现GPT-4V 在场景文字识别、手写文档识别、几何图形与文字结合场景识别、公式识别、表格识别、信息抽取等方面做的都非常好水平可以说完全超过了传统中的任何一种技术。 但即使水平如此之高GPT-4V 也并非完全解决了 OCR 文档识别领域中的所有问题。在测试过程中短板也很明显首先就是对中文的识别无论是手写还是印刷文字GPT-4V 在识别之后都是输出大量与实际文章无关的内容而且一些简单的手写公式 GPT-4V 也是无法完美识别的。 此外对于长文档仍然有文档解析和识别的前置依赖ChatGPT 调用了开源的 PyPDF2而该插件效果一般且输出不支持表格结构、不支持扫描件、不支持处理复杂版式、不支持定位到原文。 综上可以看到 GPT-4V 的优势在于对端到端解决识别和理解问题、认知能力、支持识别和理解文档元素类型的能力远超传统算法但是对于长文档需要依赖外部的OCR/文档解析引擎这就说明外部引擎的性能会严重影响 GPT-4V 处理文档的性能短板也非常明显。对于篡改检测、文本分割擦除、元素检测识别等像素级 OCR 任务时 GPT-4V 更是能力不足甚至是还没有具备此能力。
GPT-4V 在处理大规模行为数据方面的能力以及在语言生成和理解方面的突破它能够更自然、更复杂地处理和分析不同类型的行为特征例如语言、声音、图像等。但 GPT-4V 并没有专门针对文档图像识别领域进行优化因此我们应该做的是充分利 用GPT-4V 的潜力对其进行适当的调整和改进以适应文档识别的特定需求和挑战。同时其他OCR技术和工具仍然有其独特的优势和应用场景因此 GPT-4V 并不会完全取代其他技术而是一种与其共存并相互促进发展的关系OCR 文档图像识别领域依然有着很大的研究空间。
大模型时代的思考与探索
基于对以上 GPT-4V 与文档识别领域的分析和思考其实为 OCR 文档识别领域的研究提供了新的方向更高的识别精度与处理效率也成为了新的不断增长的应用需求。基于此像素级 OCR 统一模型、OCR 大一统模型、文档识别分析LLM 应用新方向应运而生。 ■ 像素级OCR统一模型- UPOCR
像素级 OCR 统一模型是一种先进的OCR技术旨在实现高精度的文字识别和图像处理。该模型将 OCR 技术和图像处理技术相结合通过对图像进行像素级别的分析和处理实现高精度的文字识别和图像处理。它可以用于各种类型的图像识别和处理任务如车牌识别、人脸识别、遥感图像处理等。同时该模型还可以根据不同的应用场景进行定制和优化以满足不同用户的需求。
UPOCRTowards Unified Pixel-Level OCR Interface就是一个通用的 OCR 模型统一了不同像素级 OCR 任务的范式、架构和训练策略。它将文本擦除、分割、篡改检测等像素级 OCR 任务进行了统一引入可学习的任务提示来指导基于 ViT 的编码器-解码器架构。UPOCR 的通用能力在文本擦除、文本分割和篡改文本检测任务上得到了广泛验证显著优于现有的专门模型。 ■ OCR大一统模型- SPTS v3
OCR 大一统模型可以理解为是一种将多种 OCR 算法和模型集成在一起的模型旨在实现更高效、更准确的文字识别。这种模型可以结合不同算法的优势提高 OCR 的识别精度和适应性。通常包括多种算法和模型如基于规则的方法、基于模板的方法、基于机器学习的方法和深度学习方法等。这些算法和模型可以在不同的场景和任务中发挥各自的优势从而提高 OCR 的识别精度和效率。
当前的文档图像识别分析过程中有着非常多的任务包括文本识别、段落识别、版面分析、表格识别、公式识别等等将这些任务定义为序列预测的形式然后通过不同的 prompt 引导模型完成不同的 OCR 任务支持篇章级的文档图像识别分析输出 Markdown/HTML/Text 等标准格式最后将文档理解相关的工作交给 LLM 去做。 基于这样的思想基于 SPTS 的 OCR 大一统模型 SPTS v3 应运而生将多种 OCR 任务定义为序列预测的形式通过不同的 prompt 引导模型完成不同的 OCR 任务。
SPTS v3 目前主要关注以下任务端到端检测识别、表格结构识别、手写数学公式识别。 根据长期的训练与分析SPTS v3 在各个性能方面已有着很不错的效果。但是当前的任务数量还不是很多还有大量工作需要做功能和任务范围都有着很大的扩展空间。
■ 文档识别分析LLM应用
对于文档识别分析领域与 LLM 应用相结合合合信息提出的技术框架是这样的当输入文档图像后通过文档识别与版面分析技术获取文档信息接下来进行文档的切分和召回最后进行 LLM 问答。 将文档识别技术与 LLMLarge Language Model应用相结合确实是一个有前景的领域有许多潜在的应用和思考方向。比如 文档的摘要与总结。结合文档识别技术和大语言模型对长篇文档进行自动摘要或总结为用户提供简洁、关键的信息 自动问答。基于文档识别技术的问答系统根据文档内容回答用户的问题 文档分类与主题识别。利用文档识别技术对文档进行分类和主题识别可以用于自动整理文档、摘要、信息抽取等任务等等。
不仅仅是这些将大语言模型结合至文档图像识别领域将会互相催生出更多的研究主题与方向同时这也要求各厂家与开发者不断探索新的技术和方法。
写在最后
以 GPT-4V 为代表的多模态大模型技术极大的推进了文档识别与分析领域的技术进展也给传统的 IDP 技术带来了挑战。但是大模型并没有完全解决 IDP 领域面临的问题很多问题仍然值得我们继续研究。
如何结合大模型的能力更好的解决 IDP 的问题值得在未来做更多的思考和探索。合合信息的 TextInText Intelligence研究团队便是一个典型代表。作为一个专注于智能文档处理领域的团队经过 16 年的专注和深耕该团队在智能文档图像识别、文字识别、自然语言处理等方面取得了显著的成果。他们在智能文档处理技术领域进行了广泛而深入的研究涵盖了文档图像分析与预处理、文档解析与识别、版面分析与还原、文档信息抽取与理解、AI 安全以及知识化、存储检索和管理等多个关键技术。
而这些研究成果也都汇聚到了合合 TextIn 智能文字识别产品中合合信息将他们的研究成果通过这样一个智能文档处理云平台提供给全球的用户和企业只要访问 textin.com 我们便可以体验到一站式智能文字识别服务。 问卷抽奖
最后大家可填写下方问卷参与抽奖合合信息将抽 10 人送出 50 元京东卡12 号开奖。 问卷链接https://qywx.wjx.cn/vm/exOhu6f.aspx
