中国建设银行黄陂支行网站,上海公司注册查询,网站建设管理费一能多少钱,网站建设与管理岗位文章目录 前言0、论文摘要一、Introduction二.前提三.本文方法3.1 总结为两阶段学习3.1.1 基础系统 3.2 重构文本摘要 四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Abstractive Text Summarization: Enhancing Sequen… 文章目录 前言0、论文摘要一、Introduction二.前提三.本文方法3.1 总结为两阶段学习3.1.1 基础系统 3.2 重构文本摘要 四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Abstractive Text Summarization: Enhancing Sequence-to-Sequence Models Using Word Sense Disambiguation and Semantic Content Generalization210、论文摘要
如今大多数在抽象文本摘要领域进行的研究都只关注基于神经的模型而没有考虑将其与基于知识的方法相结合以进一步提高其效率。在这个方向上这项工作提出了一种新颖的框架它将基于序列到序列的神经文本摘要与基于结构和语义的方法相结合。所提出的框架能够处理词汇外或罕见词的问题提高深度学习模型的性能。整体方法基于基于知识的内容概括和深度学习预测的明确理论模型用于生成抽象摘要。该框架由三个关键要素组成(i) 预处理任务(ii) 机器学习方法以及 (iii) 后处理任务。预处理任务是一种基于知识的方法基于本体知识资源、词义消歧、命名实体识别以及内容概括将普通文本转换为概括形式。一种专注编码器-解码器架构的深度学习模型扩展以实现应对和覆盖机制以及强化学习和基于变压器的架构在文本摘要对的通用版本上进行训练学习以通用形式预测摘要。后处理任务利用知识资源、词嵌入、词义消歧和基于文本相似性方法的启发式算法以便将预测摘要的广义版本转换为最终的、人类可读的形式。对三个流行数据集进行的广泛实验过程评估了所提出框架的关键方面而获得的结果表现出有希望的性能验证了所提出方法的稳健性。
一、Introduction
大量且不断增长的在线文本信息使其访问成为一项具有挑战性的任务因此增加了以自动化方式摄取文本信息的必要性。实现这一目标的主要方法之一是通过数据缩减技术将一段文本转换为简洁的摘要。文本摘要TS这个过程更正式地被称为半个多世纪以来一直是一个活跃的研究领域Gambhir 和 Gupta 2017。自动 TS 的主要目标是生成内容丰富且人类可读的文档摘要并保留其显着内容。自从自动 TS 领域的早期工作出现以来Luhn 1958Edmundson 1969已经提出了几种方法和系统主要分为单文档 TS例如文章、新闻、故事、书籍、科学论文或天气预报、多文档 TS例如用户评论、来自多个来源的新闻或电子邮件和基于查询的 TS即关注文本中的特定信息Nenkova 和 McKeown 2012。 此外自动 TS 技术进一步大致分为两类 (i) 提取 TS 和 (ii) 抽象 TSYao、Wan 和 Xiao2017 年Allahyari 等人2017 年。前者旨在通过从原始文本中提取包含重要信息方面的句子子集来创建摘要从而最大限度地减少冗余。后者旨在构建原始文本的抽象表示使用自然语言生成来生成摘要。换句话说抽象 TS 系统会生成新文本其中包含最初可能未出现的表达、句子或单词同时包含初始文档的整体含义。摘要 TS 旨在生成具有内聚性、可读性和冗余性的高质量摘要。因此这是一项具有挑战性的任务因为它生成的摘要类似于或近似于人类编写的摘要。 一般来说与提取 TS 相比抽象 TS 方法的性能较差Gambhir 和 Gupta 2017Joshi、Fern ́ andez 和 Alegre 2018。尽管如此尽管存在缺陷抽象 TS 系统仍在不断改进。它们的主要优点是能够解决内聚、冗余和悬空照应等问题这些问题很难用提取技术来解决。此外抽象 TS 方法可以生成简洁的摘要减少原始句子的大小即应用句子压缩或句子合并同时生成连贯、语法正确且可读的摘要。影响抽象 TS 的问题之一是词汇外 (OOV) 或罕见单词。这个问题具有很强的负面影响特别是对于机器学习系统它需要足够的使用示例的训练集来进行有效的预测。此外在抽象 TS 中实现最先进性能的深度学习系统Gupta 和 Gupta 2019在接收新的数据时几乎总是无法做出准确的预测。 具有罕见或未见过的单词的实例即很少出现的单词或未包含在训练集中的单词。从这个意义上说我们的工作旨在提供一种处理此类单词的解决方案以帮助基于神经的抽象 TS。 特别是这项工作侧重于单个文档的抽象 TS提出了一种利用基于知识的词义消歧WSD和语义内容泛化的新颖框架以增强基于序列到序列seq2seq神经的 TS 的性能。该框架的主要贡献是结合了抽象 TS 的三个主要方面的特征更具体地说是结构、语义和基于神经的方法Gupta 和 Gupta 2019的特征的组合这些特征在相关领域中主要被视为独立的方法。文献第 2 节尤其是深度学习方法方面的文献。另一方面所提出的框架试图通过机器学习和基于知识的技术的结合使用来统一它们。 在这个方向上所提出的方法由三个不同的步骤组成用于生成最终摘要 (i) 预处理任务(ii) 机器学习方法以及 (iii) 后处理任务。第一步通过利用基于知识的语义本体和命名实体识别NER来实现文本泛化以便从原始文档中提取命名实体、概念和含义。随后将广义文本提供给专注编码器-解码器架构的 seq2seq 深度学习模型该模型学习预测摘要的广义版本。特别是研究了深度学习模型的五个变体i具有注意机制的 seq2seq 模型ii指针生成器网络iii强化学习模型iv变压器方法以及 v) 预训练的编码器变压器架构第 5 节。最后后处理任务基于启发式算法和将广义摘要的概念与特定概念相匹配的文本相似性度量来创建最终摘要。在三个广泛使用的数据集Gigaword [Napoles, Gormley, and Van Durme 2012]、Duc 2004 [Over, Dang, and Harman 2007] 和 CNN/DailyMail [Hermann et al. 2015]上进行的广泛实验程序产生了有希望的结果结果缓解了稀有词和 OOV 词的问题并超越了最先进的 seq2seq 深度学习技术。 本文的其余部分组织如下第 2 节概述了相关文献。第 3 节概述了拟议的框架第 4 节预处理任务、第 5 节机器学习方法和第 6 节后处理任务对此进行了进一步分析。第 7 节描述了实验过程第 8 节介绍了获得的结果这些结果将在第 9 节中讨论。最后第 10 节总结了这项工作并提出了一些最后的评论和未来的工作方向。
二.前提
三.本文方法
3.1 总结为两阶段学习
3.1.1 基础系统
3.2 重构文本摘要
四 实验效果
4.1数据集
4.2 对比模型
4.3实施细节
4.4评估指标
4.5 实验结果 4.6 细粒度分析 五 总结
思考
