wordpress本地网站怎么搬到服务器,企业信息平台登录,网店推广的含义,公司名字大全集简介
借助 Azure AI 文档智能中的预生成模型#xff0c;无需自行训练模型#xff0c;即可从常见表单和文档中提取数据。
公司中#xff0c;表单种类繁多#xff0c;如发票、收据、调查表等。你可能想知道#xff0c;从这些文档中提取姓名、地址、金额等信息需要多少工作…简介
借助 Azure AI 文档智能中的预生成模型无需自行训练模型即可从常见表单和文档中提取数据。
公司中表单种类繁多如发票、收据、调查表等。你可能想知道从这些文档中提取姓名、地址、金额等信息需要多少工作量。
什么是预生成模型
通常AI 需要大量示例数据来训练模型但 Microsoft 提供了一些已经训练好的模型。你可以直接使用这些预生成模型来处理常见表单如发票和收据而无需训练自己的模型。
预生成模型包括
发票模型。 提取发票中的常见字段和数值。收据模型。 提取收据中的常见字段和数值。W2 模型。 提取美国 W-2 纳税申报表中的常见字段和数值。ID 文档模型。 提取美国驾照和国际护照中的常见字段和数值。名片模型。 提取名片中的常见字段和数值。医疗保险卡模型。 提取医疗保险卡中的常见字段和数值。
其他模型用于处理结构不明确的文档
读取模型。 提取文档中的文本和语言。通用文档模型。 提取文档中的文本、键值对、实体和选择标记。布局模型。 提取文档中的文本和结构信息。
预生成模型的功能
预生成模型可以从文档和表单中提取各种数据。主要功能包括
文本提取。 提取手写和印刷文本。键值对。 提取标签及其对应的值如 “Weight: 31 kg”。实体。 提取复杂数据结构如人员、位置、日期。选择标记。 提取单选按钮和复选框的选中状态。表。 提取表格数据包括单元格内容、列和行信息。字段。 提取特定表单类型的固定字段如发票中的 CustomerName 和 InvoiceTotal。
输入要求
为获得最佳效果确保提交的文档清晰且高质量。具体要求包括
文件格式JPEG、PNG、BMP、TIFF 或 PDF读取模型也支持 Microsoft Office 文件。文件大小标准层小于 500 MB免费层小于 4 MB。图像尺寸50 x 50 到 10,000 x 10,000 像素。PDF 尺寸小于 17 x 17 英寸或 A3 纸张大小。PDF 文档不得受密码保护。
使用 API 调用预生成模型
Azure AI 文档智能提供 RESTful API支持多种编程语言如 C#、Java、Python、JavaScript。调用 API 时需要
服务终结点。 服务的 URL。API 密钥。 授予访问权限的唯一密钥。
这些信息可以从 Azure 门户获取。为了提高效率建议使用异步调用方式提交表单并从分析中获取结果
poller document_analysis_client.begin_analyze_document_from_url(prebuilt-document, docUrl)
result poller.result()提取的详细信息将根据所使用的模型而有所不同。
分类
使用常规文档、读取和布局模型
在公司中客户和合作伙伴经常发送各种规范、招标书、工作陈述等具有不确定结构的文档。你想知道 Azure AI 文档智能是否能分析和提取这些文档中的信息。
使用读取模型
Azure AI 文档智能读取模型可以从文档和图像中提取印刷和手写文本。这是所有其他预生成模型的基础用于提供文本提取功能。
使用常规文档模型
常规文档模型扩展了读取模型的功能能够提取键值对、实体、选择标记和表格数据。它适用于结构化、半结构化和非结构化文档。
实体提取。 常规文档模型可以识别并提取人员、组织和日期等实体。即使文档结构复杂也能有效提取有用信息。可识别的实体类型包括 Person人员姓名PersonType职务或角色Location地址或地理位置Organization公司或机构Event事件或活动Product产品Skill技能Address邮寄地址Phone number电话号码Email电子邮件地址URL网址IP AddressIP 地址DateTime日期和时间Quantity数量和单位
使用布局模型
布局模型不仅提取文本还能返回图像或 PDF 文件中的选择标记和表格信息。适用于需要详细文档结构信息的情况。
表格提取。 提取表格中的每个单元格的内容、位置、是否为标题等信息。选择标记提取。 提取单选按钮和复选框的选中状态和置信度。
使用财务、ID 和税务模型
Azure AI 文档智能提供了多种预生成模型专门用于处理常见表单类型能从发票、收据、名片等文档中提取常见字段的信息。
使用发票模型
你的公司既开具发票也接收发票。发票可能格式多样有时由于扫描角度或纸张损坏而导致效果不佳。发票模型可以处理这些问题提取如下信息
客户名称和引用 ID采购订单编号发票和截止日期供应商和客户的详细信息账单和送货地址税款总额、发票总额和到期金额发票行信息包括产品描述、单价、数量和总价
使用收据模型
收据模型与发票模型类似提取支付金额的详细信息。即使扫描效果不佳模型也能识别以下字段
商家信息名称、电话、地址收据总额、税款和小费交易日期和时间项目表信息包括购买的产品名称、数量和总价
使用 ID 文档模型
ID 文档模型可分析和提取以下类型的身份文档信息
美国驾照国际护照
使用名片模型
名片通常包含品牌、特殊字体和设计元素。名片模型可以提取以下字段
姓名邮寄地址电子邮件和网站地址各种电话号码
使用 W-2 模型
W-2 表单由美国国内税收署 (IRS) 颁发用于报告员工的工资和税款。W-2 模型经过训练可以从表单中提取以下字段
雇主信息姓名、地址员工信息姓名、地址、社会安全号码员工支付的税款信息
Azure AI 文档智能通过这些预生成模型能够高效、准确地处理各种常见文档类型减少手动数据输入的工作量。
从表单中提取数据
各行各业每天都会使用表单来交换信息。传统上人们需要手动整理表单文档识别重要信息然后手动输入数据进行记录。有时这些任务甚至需要实时与客户一起完成。
Azure 文档智能服务通过智能自动化来解决这些问题准确地大规模提取数据。Azure 文档智能是一个视觉 API能够从表单文档中提取键值对和表格数据。
Azure 文档智能
Azure 文档智能是 Azure AI 服务之一是基于云的人工智能 (AI) 服务提供 REST API 和客户端库 SDK帮助在应用程序中构建智能功能。
文本包括手写和印刷的文本内容。键值对如“名称: John Doe”这样的标签和值。选择标记如单选按钮和复选框的选中状态。表格提取表格中的数据包括单元格内容、位置、行列信息等。 边界框捕获
OCR 通过在图像中检测到的对象周围创建边界框来捕获文档结构。边界框的位置记录为相对于页面其余部分的坐标。
结构化数据返回
Azure 文档智能服务以包含关系的结构化形式返回来自原始文件的边界框数据和其他信息。这意味着每个文本块、表格或选择标记的边界框数据和内容都会被详细记录便于进一步处理和分析。 优势
自动化无需手动整理和输入数据减少工作量和出错率。高效能够处理大量文档适合大规模使用。准确使用先进的 AI 技术确保提取的数据准确可靠。
通过 Azure 文档智能企业可以大幅提升数据处理的效率减少手动操作带来的不便和错误。
Azure 文档智能服务组件
Azure 文档智能由以下服务组成
文档分析模型采用 JPEG、PNG、PDF 和 TIFF 文件格式输入并返回一个 JSON 文件其中包含文本在边界框、文本内容、表、选择标记也称为复选框或单选按钮和文档结构中的位置。预生成模型该模型从文档图像中检测并提取信息并在结构化 JSON 输出中返回提取的数据。 目前Azure 文档智能支持以下几个表单的预生成模型包括 W-2 表单发票ReceiptsID 文档名片 自定义模型自定义模型从特定于业务的表单中提取数据。 可以通过 Azure 文档智能工作室训练自定义模型。
使用客户端库 SDK 或 REST API 访问服务
使用 REST API、客户端库 SDK 或通过 Azure 文档智能工作室可以访问 Azure 文档智能服务以将这些服务集成到工作流或应用程序中。
操作
要使用 Azure 文档智能服务来启动项目需要准备以下项目
Azure 资源订阅一些用于数据提取的表单文件
订阅某个资源
可以通过以下方式访问 Azure 文档智能服务 Azure AI 服务资源多服务订阅密钥在多个 Azure AI 服务中使用 Azure 文档智能资源单服务订阅密钥仅用于特定的 Azure AI 服务
Azure 文档智能文件输入要求
Azure 文档智能可以处理符合以下要求的输入文档
格式必须为 JPG、PNG、BMP、PDF文本或扫描件或 TIFF。文件大小必须小于 500 MB对于付费 (S0) 层和 4 MB对于免费 (F0) 层。图像尺寸必须介于 50 x 50 像素与 10000 x 10000 像素之间。训练数据集的总大小不得超过 500 页。
确定要使用的 Azure 文档智能组件
在收集了文件后请决定需要完成的操作。
若要使用 OCR 功能捕获文档分析请使用布局模型、读取模型或常规文档模型。若要创建从 W-2、发票、回执、ID 文档、医疗保险、疫苗接种和名片中提取数据的应用程序请使用预生成模型。 无需训练这些模型。 Azure 文档智能服务可分析文档并返回 JSON 输出。若要创建从行业特定的表单中提取数据的应用程序请创建自定义模型。 此模型需要针对文档样本进行训练。 在训练后该自定义模型可以分析新文档并返回 JSON 输出。
训练自定义模型
Azure 的 Azure 文档智能服务支持监督式机器学习。 可以训练自定义模型并通过包含标记字段的表单文档和 JSON 文档创建复合模型。 若要训练自定义模型请执行以下操作
在 Azure Blob 容器中将表单样本与包含布局和标签字段信息的 JSON 文件存储在一起。 可以使用 Azure 文档智能的分析文档函数为每个示例表单生成一个 ocr.json 文件。 另外还需要一个描述待提取字段的 fields.json 文件并且每个表单样本需要一个 labels.json文件用于将这些字段映射到它们在该表单中的位置。 为该容器生成共享访问安全 (SAS) URL。使用生成模型 REST API 函数或等效的 SDK 方法。使用获取模型 REST API 函数或等效的 SDK 方法以获取经过训练的模型 ID。
OR
使用 Azure 文档智能工作室进行标记和训练。 自定义表单有两种类型的基础模型“自定义模板模型”或“自定义神经网络模型”自定义模板类型可准确提取文档中标记的键值对、选择标记、表、区域以及签名。 训练仅需几分钟支持 100 多种语言。自定义神经网络模型是深入学习的模型它结合了布局和语言特征以便从文档中准确提取标记的字段。此模型最适合用于半结构化或非结构化文档。
使用 Azure 文档智能模型
使用 API
要使用自定义模型提取表单数据请使用支持的 SDK 的分析文档函数或 REST API同时提供模型 ID在模型训练期间生成。 此函数会启动表单分析。 然后可以请求结果来获取分析。
调用模型的示例代码
Python
endpoint YOUR_DOC_INTELLIGENCE_ENDPOINT
key YOUR_DOC_INTELLIGENCE_KEYmodel_id YOUR_CUSTOM_BUILT_MODEL_ID
formUrl YOUR_DOCUMENTdocument_analysis_client DocumentAnalysisClient(endpointendpoint, credentialAzureKeyCredential(key)
)# Make sure your documents type is included in the list of document types the custom model can analyze
task document_analysis_client.begin_analyze_document_from_url(model_id, formUrl)
result task.result()成功的 JSON 响应包含 analyzeResult其中包含提取的内容和一组包含文档内容信息的页面。
了解置信度分数
如果 analyzeResult 的置信度值较低请尝试提升输入文档的质量。
如果置信度值较低则还需确保分析的表单与训练集中的表单外观类似。 如果表单外观不同请考虑训练多个模型每个模型侧重于一种表单格式。
你可能会发现低风险应用程序可以接受 80% 或更高的置信度分数具体取决于用例。 对于更敏感的情况如读取医疗记录或账单建议将分数设置为 100%。
使用 Azure 文档智能工作室
除了 SDK 和 REST API 外还可以通过称为 Azure 文档智能工作室预览版的用户界面访问 Azure 文档智能服务这是一个在线工具用于直观地探索、理解和集成 Azure 文档智能服务中的功能。 该工作室可用于分析表单布局、从预生成模型中提取数据以及训练自定义模型。 Azure 文档智能工作室目前支持以下项目
文档分析模型 读取从文档和图像中提取打印和手写文本行、单词、位置和检测到的语言。布局从文档PDF 和 TIFF和图像JPG、PNG 和 BMP提取文本、表、选择标记和结构信息。常规文档从文档中提取键值对、选择标记和实体。 预生成的模型自定义模式
生成文档分析模型项目
若要使用文档分析模型提取文本、表、结构、键值对和命名实体请执行以下操作
创建 Azure 文档智能或 Azure AI 服务资源在“文档分析模型”类别下选择“读取”、“布局”或“常规文档”分析文档。 需要 Azure 文档智能或 Azure AI 服务终结点和密钥。
生成预生成模型项目
若要使用预生成模型从常用表单中提取数据请执行以下操作
创建 Azure 文档智能或 Azure AI 服务资源选择其中一种“预生成模型”包括 W-2、发票、收据、ID 文档、医疗保险、疫苗接种和名片。分析文档。 需要 Azure 文档智能或 Azure AI 服务终结点和密钥。
生成自定义模型项目
可以在训练和测试自定义模型的整个过程中使用 Azure 文档智能工作室的自定义服务。
当你使用 Azure 文档智能生成自定义模型时系统会自动创建训练所需的 ocr.json 文件、labels.json 文件和 fields.json 文件并将其存储在存储帐户中。
若要通过自定义模型训练自定义模型并使用该模型提取数据请执行以下操作
创建 Azure 文档智能或 Azure AI 服务资源收集至少 5-6 个用于训练的表单样本并将它们上传到存储帐户容器。配置跨域资源共享 (CORS)。 利用 CORSAzure 文档智能工作室可以将标记的文件存储在存储容器中。在 Azure 文档智能工作室中创建自定义模型项目。 需要提供将存储容器和 Azure 文档智能或 Azure AI 服务资源链接到项目的配置。使用 Azure 文档智能工作室将标签应用于文本。训练模型。 在训练模型后你会收到用于标记的模型 ID 和平均准确度。通过分析未在训练中使用过的新表单来测试模型。
创建组合型文档智能模型
Azure AI 文档智能中的组合模型使用户能够在不知道使用哪个模型最合适时提交表单。
在你的调查公司你经常更改用于向受访者收集数据的表单版本。 当你的用户提交这些表单以供分析时他们有时会选择错误的自定义模型。 你希望找到一种方法来让他们无需指定模型版本即可提交表单。
在这里你将了解组合模型如何帮助将表单自动发送给正确的自定义模型。
什么是组合模型
如果你的表单具有不太寻常或独特的格式你可以在 Azure AI 文档智能中创建和训练自己的自定义模型。 自定义模型可以为表单特有的数据提供字段提取功能并生成针对特有商务应用程序的数据。
可以创建两种类型的自定义模型
自定义模板模型。 如果表单具有一致的视觉对象模板请使用自定义模板模型。 在表单的所有已完成示例中格式设置和布局应保持一致。自定义神经网络模型。 如果表单不太一致或属于半结构化/非结构化表单请使用自定义神经网络模型。
可以在单个 Azure AI 文档智能资源中创建数百个自定义模型。 发送要分析的表单时必须指定要在请求中使用的模型标识
如果有很多自定义模型则很难跟踪它们也很难在请求中指定正确的模型。 你可能还使用了许多略微不同的表单来收集数据。
例如假设你去年每周对选民进行一次调查。 在此期间你已使用新布局修改了两次表单并为每个版本训练了单独的自定义模板模型。 但有时并不能很快地将新表单分发给所有调查员因此在每周的调查中都有多种表单版本。
在这种情况下组合模型可能会有所帮助。 组合模型由多个自定义模型组成。 当提交表单进行分析时Azure AI 文档智能会对其进行分类然后选择最佳的自定义模型来进行分析。 这种分类意味着你不必自行跟踪正确的自定义模型也无需在请求中指定它。
使用组合模型
创建一组自定义模型后必须将它们组合到一个组合模型中。 你可以使用 Azure AI 文档智能工作室或自定义代码中的 StartCreateComposedModelAsync() 方法在图形用户界面 (GUI) 中执行此操作。
采用你对单个自定义模型使用的方法来提交表单进行分析。 请记住指定组合模型的模型 ID。
在组合模型的结果中可以通过检查 docType 字段来确定已用于分析的自定义模型。
可以在 Azure AI 文档智能资源中创建的自定义模型数取决于你使用的自定义表单的类型和你的层级
展开表
模型类型免费 (F0) 层的最大数量标准 (S0) 层的最大数量自定义模板5005000自定义神经100500组合5200
可添加到单个组合模型的自定义模型数量上限为 100。
自定义模型兼容性
对于可以添加到同一组合模型的模型存在一些限制
自定义模板模型可与 3.0 到 2.1 API 版本中的其他自定义模板模型组合。自定义神经网络模型可与其他自定义神经网络模型组合。自定义神经网络模型不可与自定义模板模型组合
组装组合模型
可以通过在 Azure AI 文档智能或你自己的代码中组装自定义模型来创建组合模型。
在民意调查公司中你希望创建一个组合模型该模型将分类并正确分析主要政治性民意调查表格的所有版本。 你需要知道如何组合模型。
在文档智能工作室中创建组合模型
在开始创建组合模型之前需要
Azure 订阅中的 Azure AI 文档智能资源。要添加到组合模型中的一组经过训练和标记的自定义模型。
如果想要使用图形用户界面 (GUI)可以在 Azure AI 文档智能工作室中创建组合模型 在 Azure AI 文档智能工作室的主页上选择“自定义模型”。 在“我的项目”下选择其中一个自定义模型然后在左侧导航中选择“模型”。 在“模型”列表中选择要包含在新组合模型中的所有模型然后选择“组合”。 在“组合新模型”对话框中输入组合模型的“模型 ID”和“说明”然后选择“组合”。
在代码中创建组合模型
如果使用 Azure AI 文档智能 SDK 之一通过执行代码来创建组合模型则必须首先创建 DocumentModelAdministrationClient 对象的实例并使用其终结点和 API 密钥将其连接到 Azure AI 文档智能
创建组合模型后可以使用用于将表单发送到任何其他自定义模型的相同代码将表单发送给模型以进行分析。 请记住在调用中指定组合模型的模型 ID。
练习
用 Azure AI Document Intelligence 标注文档分析
首先到 Azure 中搜索所给出的资源组选择 RG1开头的资源组如下图所示 在搜索框中输入document intelligence 。
创建create document intelligence 创建完毕后在页面中点击 Go to resource 按钮
进入到服务页面后下滑页面点击 Invoices 的 Try it out。 在服务的填写表格页面默认的订阅和资源组选择下拉按钮 在上述步骤完成后点击左侧的上传区域点击选择文件按钮在新弹出的选择文件筐找到文件之后选择发票pdf点击 Open 如下图所示。 选择玩文件后点击 Analyze options 选项之后选择 all documents之后点击保存按钮。 配置完分析选项后点击直接点击运行分析按钮,运行完后找到右侧的 Result按钮可以看到我们所需要的 JSON 文件。 重复操作将所有的receipt文件上传同样操作一遍。 创建一个智能文档分析服务并且进行相关的训练
门户页面选择服务Custom extraction model。 点击项目选项中的 创建一个项目按钮 输入下面图片信息 继续输入下面图片信息 创建成功后等待一会后在弹出的页面直接点击 Run now 按钮 在新页面中选择一个jpg文件后点击右侧的添加字段选项 在右边的field里面添加了如下字段Number/Day/Title/Status/Success 在相应的图片上进行标注 同样的把所有的字段都在图片中选择打上标签 之后点击训练按钮 选择训练模型 这里已经创建了训练点击QA-Template 进行测试 上传需要分析的 文件夹内的文件。 点击运行分析按钮 在创建的资源里面from-document-012里面找到endpoint和key 在.env文件中配置环境key和endpoint代码。 运行分析。
