网站的建设流程具体有哪些,邯郸网站建设推广,wordpress cdn登录,网站排名掉了该怎么做〇、前言 12月1日#xff0c;2023中国图象图形学学会青年科学家会议在广州召开。超1400名研究人员齐聚一堂#xff0c;进行学术交流与研讨#xff0c;共同探索促进图象图形领域“产学研”交流合作。 大会上#xff0c;合合信息智能技术平台事业部副总经理、高级工程师丁凯博…
〇、前言 12月1日2023中国图象图形学学会青年科学家会议在广州召开。超1400名研究人员齐聚一堂进行学术交流与研讨共同探索促进图象图形领域“产学研”交流合作。 大会上合合信息智能技术平台事业部副总经理、高级工程师丁凯博士在《垂直领域大模型》主题论坛上进行了《文档图像大模型的思考与探索》主题分享。 一、技术难题仍存在
2023年随着以Chat-GPT为代表的大语言模型和GPT4-V多模态大模型的爆火虽然他们在文档领域已经取得了令人惊艳的效果但目前OCR文档图像识别等领域的核心技术难题仍然存在。 场景及版式多样文档图像可能来自不同的场景和版式如报纸、书籍、手写笔记等每种场景和版式都具有不同的特点和挑战需要算法能够适应不同的场景和版式。采集设备不确定性文档图像可能通过不同的采集设备获取如扫描仪、手机相机等不同设备的成像质量和参数不同导致图像质量和特征的差异需要算法具备鲁棒性能够处理不同设备采集的图像。用户需求多样性用户对文档图像的需求各不相同有些用户可能只需要提取文本信息而有些用户可能需要进行结构化的理解和分析算法需要能够满足不同用户的需求。文档图像质量退化严重由于文档的老化、损坏或存储条件等原因文档图像的质量可能会受到严重的退化如模糊、噪声、光照不均等这会给文字检测、字符识别等任务带来困难。文字检测及版面分析困难文档图像中的文字可能存在不同的字体、大小、颜色等变化而且文字可能与背景颜色相似导致文字检测和版面分析变得困难算法需要具备高效准确的文字检测和版面分析能力。非限定条件文字识别率低在非限定条件下文档图像中的文字可能出现扭曲、变形、遮挡等情况这会导致传统的文字识别算法的准确率下降需要算法具备对非限定条件下的文字进行准确识别的能力。结构化智能理解能力差文档图像中的信息不仅仅是文字还包括表格、图表、图像等结构化信息算法需要具备结构化智能理解的能力能够对文档中的结构化信息进行提取、分析和理解。 虽然大模型技术发展很快特别是GPT4-V、Gemini等新技术的发明但是领域内需要解决的核心问题并没有变在IDP领域上述这几个大的问题仍然是我们重点关注的只不过由于大模型的出现使得我们对技术的期待变得更高了。 二、GPT4-V在文档处理领域的表现 “LLM出现后IDP的问题解决的如何了 在具体的技术方案上有没有什么重大的变化这个是我们关心的话题。” GPT4-V优点 端到端解决识别和理解问题认知能力强。支持识别和理解的文档元素类型远超传统IDP算法。 在场景文字识别上无论是何种不同语言形态和种类的场景下在手写密集文档、几何图形与文字结合、图表理解、教育场景、信息抽取、文档理解等领域GPT-4V都可以取得比较好的结果。 GPT4-V不足 OCR精度距离SOTA有较大差距。长文档依赖外部的OCR/文档解析引擎。 GPT-4V目前在手写中文识别、公式等方面仍存在识别混乱、错误等问题。 目前GPT-4V在 OCR、IDP 领域的水平较 SOTA 还有非常大的差距对于长文档仍然有文档解析和识别的前置依赖ChatGPT 调用了开源的 PyPDF2但该插件效果并不好且输出不支持表格结构、不支持扫描件、不支持处理复杂版式、不支持定位到原文。 思考与总结 GPT4-V多模态大模型大幅度提升了AI技术在文档分析与识别领域的能力边界端到端实现了文档的识别到理解的全过程。并且提供了一条研发新范式“大数据、大算力、多任务、端到端。” 像篡改检测、文本分割擦除这样像素级的任务GPT-4V大模型处理的并不好虽然它在文档解析和识别领域的能力已经具备但较之于SOTA方法来比较性能还是有待提升。
GPT-4V这样多模态大模型的强项在于信息抽取和理解认知层面这一特点在经过有效利用后可以大幅提升该研究领域的天花板。 三、大模型时代对IDP的思考与探索
1.像素级OCR统一模型
在文档图像预处理统一模型方面下面介绍2个合合信息与华南理工大学联合实验室的研究成果。
第一个研究成果是UPOCR一种文档图像像素级多任务处理的统一模型。模型如图所示UPOCR是一个通用的OCR模型引入可学习的Prompt来指导基于ViT的编码器-解码器架构统一了不同像素级OCR任务的范式、架构和训练策略。 UPOCR的通用能力在文本去除、文本分割和篡改文本检测任务上得到了广泛验证显著优于现有的专门模型。
2.OCR大一统模型
将文档图像识别分析的各种任务定义为序列预测的形式 文本段落版面分析表格公式等等通过不同的prompt引导模型完成不同的OCR任务支持篇章级的文档图像识别分析输出Markdown/HTML/Text等标准格式将文档理解相关的工作交给LLM去做
一个复杂的系统模型应该需要做到
在输入层模型可以接收任何类型的文本文件作为输入包括Word文档、PDF文档等。这一层的主要任务是对原始文本数据进行预处理为后续的处理阶段准备数据。
处理层是模型的核心部分它将对输入的文本数据进行一系列的分析和操作如分词、语法分析、语义分析以及拼写检查等。这些处理步骤能帮助模型更好地理解和处理文本数据。
在输出层模型将对处理后的结果进行可视化展示可以是以图表、图形、文字等形式。这一层的主要任务是将复杂的数据处理结果以易于理解的方式呈现给用户。
尽管这个模型已经实现了高效的数据处理但它仍有进一步发展和优化的空间。例如可以探索如何更准确地识别和处理各种类型的文本数据如何改进语法分析和语义理解的技术以提升模型的性能以及如何设计和实现更有效的数据可视化方法以帮助用户更好地理解和利用模型输出的结果。这些方向的研究和发展将推动文本数据处理技术的进步对许多领域都将产生深远的影响。 合合信息基于SPTS的OCR大一统模型(SPTS v3)
SPTS 是一种创新的端到端文本检测和识别方法它颠覆了传统的文本检测和识别流程。传统的方法通常将文本检测和识别看作两个独立的任务导致处理流程复杂且冗余。而SPTS将这两个任务融为一体将文本检测和识别定义为图片到序列的预测任务极大地简化了处理流程。另外SPTS采用单点标注技术指示文本位置这样就可以极大地降低标注成本。同时它无需RoI采样和复杂的后处理操作真正将检测和识别融为一体。
将多种OCR任务定义为序列预测的形式通过不同的prompt引导模型完成不同的OCR任务模型沿用SPTS的CNNTransformerEncoderTransformer Decoder的图片到序列的结构。
SPTS v3目前主要关注以下任务:端到端检测识别、表格结构识别、手写数学公式识别。 实验结果表明SPTSv3 在各个OCR任务上都取得了出色的性能显示了其在文档图像处理中的潜力。这为文档图像的多任务处理提供了一种高效的解决方案有望应用于广泛的应用领域包括自动化文档处理、文档搜索和内容提取等。
3.文档识别分析LLM应用
检索增强生成RAG和文档问答是LLM在文档领域最常见和最广泛的应用之一 。 合合信息提出文档识别分析LLM应用解决方案
合合信息文档图像识别与分析产品
基于深度学习的方法合合信息将文档图像切分为文本、图形、公式、表格、印章等不同类型的内容区域并分析区域之间的逻辑关系让机器更精准地确定文档中的文字位置、字体、大小和排版方式可以更好地理解文档的结构和内容并提取出有用的信息。
此外合合信息表格结构解析方法在逻辑版面分析中利用自上而下的方法以及端到端图像到标记的方法等保证区域内容的完整性的同时显著提升检测准确率。
版面分析是文档图像还原的核心通过解决版面分析的痛点合合信息将图像文档以数字化的手段更精准地转化为文档数据应用于多种使用场景、提升工作效率。 四、总结
1.机遇与挑战
GPT4-V 为代表的多模态大模型技术极大的推进了文档识别与分析领域的技术进展也给传统的IDP技术带来了挑战。
2.问题仍未消灭
大模型并没有完全解决IDP领域面临的问题很多问题值得我们研究。
3.结合提升能力
如何结合大模型的能力更好的解决IDP的问题值得我们做更多的思考和探索。
4.合合信息聚焦文档图像领域大有可为
合合信息的研究成果具有重要意义同时这些成果和问题的探索也将为文档图像领域的发展提供新的思路和方向。
作为行业领先的人工智能及大数据科技企业合合信息深耕智能文字识别、图像处理、自然语言处理等领域其研发的智能图像处理技术等已落地并服务与各行业领域。未来合合信息还将继续在文档图像处理方向发力让新技术实现多场景应用。
文末粉丝福利
抽10人每人50元京东卡填问卷才可以抽哦→ 点此参与12号开奖快来参与吧。
