大邑县建设局网站,做游戏网站需要哪些许可,腾讯云图床wordpress,杭州哪家网站建设比较好文章目录 前言0、论文摘要一、Introduction1.3本文贡献 二.前提三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Abstractive Text Summarization with Hierarchical Multi-scale Abstraction Modeling and Dy… 文章目录 前言0、论文摘要一、Introduction1.3本文贡献 二.前提三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Abstractive Text Summarization with Hierarchical Multi-scale Abstraction Modeling and Dynamic Memory2107在本文中我们提出了一种新颖的抽象文本摘要方法具有分层多尺度抽象建模和动态记忆称为 MADY。首先我们提出了一种分层多尺度抽象建模方法从多个抽象层次中捕获文档的时间依赖性该方法通过学习低级抽象层的精细时间尺度和粗略时间尺度来模仿人类如何理解文章的过程。高级抽象层的时间尺度。通过应用这种自适应更新机制高级抽象层的更新频率较低并且期望比低级抽象层更好地记住长期依赖关系。其次我们提出了一个动态键值记忆增强注意力网络来跟踪输入文档中显着方面的注意力历史和综合上下文信息。通过这种方式我们的模型可以避免生成重复的单词和错误的摘要。对两个广泛使用的数据集进行的大量实验证明了所提出的 MADY 模型在自动评估和人工评估方面的有效性。为了重现性我们在以下位置提交代码和数据https://github.com/siat-nlp/MADY.git。 0、论文摘要
一、Introduction
抽象文本摘要旨在生成简洁的摘要保留源文章的显着信息和整体含义。与从输入文档中提取最佳摘要成分的提取文本摘要相反抽象摘要可能包含源文档中未出现的新短语和句子。抽象文本摘要由于其在自然语言处理NLP和信息检索IR中的广泛应用而最近引起了越来越多的关注。近年来序列到序列seq2seq模型主导了抽象文本摘要的研究[9,15,16,18,19]。这些方法背后的总体思想是采用长短期记忆LSTM网络[7]来获得固定长度的句子表示然后使用另一个 LSTM 解码器和注意力机制生成摘要。 尽管人们在抽象文本摘要方面付出了巨大的努力[1,10,19,21]但由于两个主要原因生成准确、简洁、信息丰富的摘要在实践中仍然是一个挑战。首先一篇文章尤其是一篇长文档通常由在抽象层次上讨论的多个方面组成[20]。为了理解文章中的分层多方面信息需要分层多尺度抽象挖掘来编码不同时间尺度的时间依赖性这是以前的方法中没有利用的。其次序列到序列模型seq2seq中使用的传统注意力机制无法有效地跟踪注意力历史以学习源文章的神经表示与相应摘要之间的动态对齐[12]。我们认为缺乏全面的信息注意力历史可能会导致抽象文本摘要出现两个问题i生成令人费解的单词其中一些子主题被不必要地多次访问ii生成错误的摘要其中一些显着信息被错误地未探索。 为了缓解上述挑战在本研究中我们提出了一种新颖的 MADY 方法用于具有分层多尺度抽象建模和动态记忆的抽象文本摘要。 MADY 通过研究人类如何理解具有抽象层次的文档并基于动态工作记忆编写摘要改进了 seq2seq 模型的编码和解码步骤。在编码中我们建议分层多尺度抽象建模 (HMAM) 模型用于捕获源文档的多个抽象层次。具体来说我们用不同的时间尺度对时间依赖性进行编码这是由于高级抽象变化缓慢而低级抽象具有快速变化的特征这一事实。在解码中我们提出了动态键值记忆增强注意力DMA来缓解生成重复单词和不完整摘要的问题这使得模型能够跟踪源文档中每个显着方面的综合信息。
1.3本文贡献
总之我们的贡献如下 1我们提出了一种分层多尺度模式挖掘方法从多个抽象层次级别捕获文档的时间依赖性。 2我们采用动态键值记忆增强注意力机制来更好地跟踪注意力历史和显着信息覆盖范围通过自动区分哪些显着方面已被描述和哪些显着方面已被描述有助于解码器克服生成重复和错误摘要的问题哪些显着方面尚未探索。 (3) 在两个基准数据集上的实验表明所提出的 MADY 方法在自动评估和人工评估方面都明显优于强大的竞争对手。
二.前提
三.本文方法
四 实验效果
4.1数据集
4.2 对比模型
4.3实施细节
4.4评估指标
4.5 实验结果 4.6 细粒度分析 五 总结
在本文中我们通过研究人类如何理解具有层次抽象级别的源文档并基于动态工作记忆编写摘要提出了一种新颖的抽象文本摘要 MADY 模型该模型采用分层多尺度抽象建模方法和动态记忆。两个基准数据集的实验结果表明MADY 显着优于对比方法。
思考
