摄影师都在哪些网站发布作品,广州有名的传媒公司有哪些,制作灯笼的视频,网站开发前端学习本文来自专栏语言、知识与人工智能#xff0c;作者腾讯知文实验室 近年来比较热门的任务型对话的研究主要集中在端到端的框架的研究#xff0c;基本跟传统任务型算法框架——语言理解模块#xff08;Spoken Language Understanding#xff0c;对话管理模块(Dialogue Manage… 本文来自专栏语言、知识与人工智能作者腾讯知文实验室 近年来比较热门的任务型对话的研究主要集中在端到端的框架的研究基本跟传统任务型算法框架——语言理解模块Spoken Language Understanding对话管理模块(Dialogue Management)自然语言生成模块(Natural Language Generation)有较大的差别。其中一些这类模型本质上实际为一些sequence-to-sequence结合知识库的架构如Manning 2017年的两篇也是Encoder-Decoder的模型。不过这类模型对数据标注要求很高可以参见Stanford Dialog Dataset的标注,仍然处在探索阶段业界上真正实用性较强依旧以传统的算法框架为主。本篇文章也是着重介绍传统算法框架中的语言理解模块,着重于语言理解模块中的意图与槽位的联合模型。
本文的主要目录结构
首先回顾一下任务型导向对话的要点包括概念及实例Ideepwise与阿里小蜜等其次从任务型的语义表示说起到整体的对话框架也包括一些实例最后也是本文的重点我们将介绍传统算法框架中语言理解模块的意图与槽位的联合模型。
1. 什么是任务型
任务型的概念
对象 任务型导向的对话指特定条件下提供信息或服务的对话。通常情况下是为了满足带有明确目的的用户。
具体场景与功能
例如查流量查话费订餐订票咨询等任务型场景。由 于用户的需求较为复杂通常情况下需分多轮陈述用户也可能在对话过程中不断修改与完善自己的需求任务型机器人需要通过询问、澄清和确认来帮助用户明确目的。
任务评价
首先要有解决问题的明确目标评价指标较重要的一点为轮次尽可能少尽量直逼答案 如果答非所问严重影响用户使用。
任务型与闲聊对比
Ideepwise产品
阿里小蜜产品
从上面可以看出任务型导向的对话目的十分明确关键是获取意图与约束条件槽位以及对话状态的追踪。
任务型导向对话在大家族中的位置 这里的分类是这样分的首先将对话分为问答与会话在问答中按照文档是否结构化分为无结构化文档与结构化文档。无结构化文档中包含一些如IR信息检索如QA对查找文档的问题IE信息抽取如阅读理解查找文档中的精确片段这一块的难点在于相似性的计算。结构化文档中包含数据库知识图谱等他们的输入为结构化的片段数据库具有查询的功能知识图谱具有查询与推理的能力这一块的难点其实也是如何获取自然语言中的约束条件槽位的问题。接下来重点看下会话会话划为为闲聊型任务型等传统的任务型分为语言理解模块SLU对话管理模块DM以及自然语言生成模块NLG等。后续的介绍主要针对SLU模块中的联合模型的一个介绍。
语义的表示方法是自然语言领域的难点这对于任务导向的对话来说也是如此……
2. 任务型中的语义表示
自然语言如何解析成合适的语义表示一直是一个难题。下面主要介绍三种相关的语义表示方法。
1. 分布语义表示(Distributional semantics) 主要包括词level与句子level。词level上主要有Word2Vector, GloVe, ELMo, FastText…等句子level主要有Skip-Thoughts, Quick-Thoughts, InferSent…等分布式表示
2. 框架语义表示(Frame semantics) 主要包括三元组的形式Action(slot,value)例如查询币种Inform(货币人民币,…)
3. 模型论语义表示(Model-theoretic semantics) 这是十分有趣的一种表示方式参见Paul Gochet著作《Philosophical Perspectives for Pragmatics》。
例如一些词表示成两个集合的运算
传统的任务型算法框架上一篇文章介绍过这里祭上图回顾一下
我们这里以一个例子开始语言理解模块的拓展。对于一段对话我们需要通过语言理解模块对它进行解析包括领域的识别如是航空还是酒店以及每个片段的意图比如是购票还是退票以及每个具体意图下的约束信息槽位。
3. 语言理解模块
语言理解模块主要包括意图与槽位的识别。意图的识别实际上是一个分类问题如基于规则传统机器学习算法 (SVM)基于深度学习算法CNN, LSTM, RCNN, C-LSTM, FastText等。意图在对话中还涉及转换这里不在说明。Slot识别实际上是一种序列标记的任务如基于规则 (Phoenix Parser)基于传统机器学习算法 (DBN; SVM)基于深度学习算法LSTM, Bi-RNN, Bi-LSTM-CRF。有些人可能不大区别slot与实体的区别下面以BIO标注举个例子
如”show flights from Boston to New York today“中对于实体来讲Boston与New York都是标注为city而对于slot来说区分为出发城市与目的地城市可以这样说槽位的种类相比与实体更加的多元化。 Joint Model (IntentSlot)
1. 第一篇文章主要利用双向的GRUCRF作为意图与槽位的联合模型。
Zhang X, Wang H. A Joint Model of Intent Determination and Slot Filling for Spoken Language Understanding[C] IJCAI. 2016
模型如下
输入为窗口化的词向量 利用双向GRU模型学习到高维度特征。意图与槽位
对于意图分类来说利用每一个学习到的隐藏层特征采用max pooling槽位得到全句的表达再采用softmax进行意图的分类 对于槽位来说对每个隐藏层的输入用前向网络到各个标签的概率并采用CRF对全局打分得到最优的序列。 联合的损失函数为槽位与意图的极大似然 本文的模型简单而且槽位识别的准确率与意图识别的准确率都达到很高的水准
本文的结果基于ATIS数据集
Intent 98.32 Slot (F1)96.89
2. 第二篇主要采用利用语义分析树构造了路径特征对槽位与意图的识别的联合模型。RecNNViterbi
Guo D, Tur G, Yih W, et al. Joint semantic utterance classification and slot filling with recursive neural networks[C] 2014 IEEE. IEEE, 2014
先介绍下本文的basic Recursive NN的模型 输入为单个词向量后续优化输入为窗口的词向量每个词性被看作为权重向量weight vector 这样每个词在其路径的运算为简单的词向量与词性权重向量的点积运算。如上图中的方块为词性的权重向量与输入向量的点积运算后的结果。当一个父节点有多个孩子分支的时候可以看成每个分支与权重点积的和运算。
意图识别模块
意图识别该文章中直接采用根节点的输出向量直接做一个分类。
槽位识别
这一模块引入了路径向量的特征 如”in“这个单词在语义分析树中的路径为”IN-PP-NP“将该路径的每个输出向量做一个加权运算得到path的特征本文采用了三个词的path特征的concat作为tri-path特征进行槽位的分类从而进行对”in“的一个预测。 优化
文章中还在baseline的基础上做了一些优化
优化输入为窗口的词向量 节点用与先前简单加权不同的网络采用了非线性的激活函数 采用基于Viterbi的CRF优化全局及采用了基于tri-gram的语言模型极大化标注序列 本文的结果基于ATIS数据集
Intent 95.40 Slot (F1)93.96
3. 第三篇主要是基于CNNTri-CRF的模型
Xu P, Sarikaya R. Convolutional neural network based triangular crf for joint intent detection and slot filling 2013 IEEE Workshop on. IEEE, 2013
看一下篇CNNTriCRF模型模型框架如下 对于槽位识别的模型
输入的为每个的词向量经过一个卷积层得到高维特征h随后经过Tri-CRF作为整体的打分。Tri-CRF与线性的CRF的区别是输入前用了一个前向网络得到每个标签的分类。我们来分析一下评分的公式 上述的t(Yi-1,Yi)为转移的打分hij为CNN得到的高维特征每个时刻的高维特征经过一个前向网络得到每个标签的概率这样前两者的结合就是整体的打分。
对于意图识别
CNN采用同一套参数得到每个隐藏层的高维特征h直接采用max pooling得到整句的表达用softmax得到意图分类。 将上述结合起来实际上就是联合模型。
本文的结果基于ATIS数据集
Intent 94.09 Slot (F1)95.42
4. 第四篇的主要是基于attention-based RNN
Liu B, Lane I. Attention-based recurrent neural network models for joint intent detection and slot filling[J]. 2016.
首先介绍一下context vector的概念参见Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. 2014. 上述公式中的g实际上是一个前向的网络得到decoder每个隐藏层与输入序列中每个encoder隐藏层的相关即attention分量对encoder每时刻隐藏层的输出与当前时刻的attention的加权即得到文本向量context vector
进入正文本文采用的encoder-decoder模型如下 槽位
图a隐藏层非对齐attention的模型。decoder隐藏层非对齐的方式decoder端的每个cell的输入为上一时刻隐藏层s上一时刻标签的概率s与文本向量c的输入。
图b为隐藏层对齐无attention的模型decoder端的每个cell的输入为上一时刻隐藏层s上一时刻标签的概率s与对应的encoder的每个时刻隐藏层的输出。
图c隐藏层对齐attention的模型。decoder端的每个cell的输入为上一时刻隐藏层s上一时刻标签的概率s上一时刻标签的概率s与文本向量c的输入与对应的encoder的每个时刻隐藏层的输出。
意图
采用encoder的最后输出加入文本向量作为intent的分类。
该模型基于ATIS数据集aligned inputs
Intent 94.14 Slot (F1)95.62
本文还基于上述的idea得到另外一种基于attention RNN的联合模型 BiRNN 隐藏层的输入为 槽位
BiRNN得到的高维特征与文本向量concat起来作为单层decoderRNN的输入用于槽位识别需要注意的是encoder的输出概率只作用于BiRNN的正向传输层。
意图
单层decoderRNN的隐藏层的输出的加权得到最后的输出向量得到最后的意图分类
该模型基于ATIS数据集aligned inputs
Intent 94.40 Slot (F1)95.78
5. 第五篇主要是在线意图与槽位语言的联合模型Online-RNN-LU。上述四种联合模型之所以不是在线处理主要一点是都是以整个句子为单位做解析不能做到实时的解析。本文的亮点就是实时解析对输入到当前为止的时刻T得到最优意图与槽位的解析以及一个词语的预测。
Liu B, Lane I. Joint online spoken language understanding and language modeling with recurrent neural networks[J]. 2016. 上图表示当前到时刻T的一个解析
意图
w为T时刻前包括T的词语序列c为T时刻前的意图s为T时刻前的槽位序列根据上述三者作为当前时刻T的RNN的输入RNN隐藏层的输出通过不同的MLP层分别作为当前时刻T意图与槽位的分类同时该隐藏层的输出concat意图与槽位的信息输入MLP层得到下一个词的预测。 实际如下操作采用LSTM输入为上一时刻的词语序列意图与槽位信息。其中公式中的IntentDistSlotLabelDistWordDist为MLP层。 训练的方法即上述三个模块的极大似然 值的注意的是本文由于在线的算法采用了greedy的思想基于先前的意图与槽位达到当前的最优。 上述几种模型在ATIS上的评分 4.总结
上述的模型主要以深度学习的方法解决了传统任务算法框架中较为重要的意图与槽位的识别这些模型都能应用到实际中一个相关的任务型领域本人使用过LSTMCRF的方法实现项目中汇率的槽位提取。如何使用对话管理模块结合该语言理解模块解决多轮对话的问题一直是一个较为头疼的难题尽管在传统算法框架上提出了一些例如传统模型或者强化学习的方法但数据的规范性对话过程不流畅死板等严重影响用户在任务型对话的体验。最近较为热闹的Task-Oriented 主要是基于sequence-to-sequence的模型结合知识库产生了一些意想不到的惊喜下一篇主要介绍这类模型。
Reference [1] Zhang X, Wang H. A Joint Model of Intent Determination and Slot Filling for Spoken Language Understanding[C] IJCAI. 2016 [2] Guo D, Tur G, Yih W, et al. Joint semantic utterance classification and slot filling with recursive neural networks[C] 2014 IEEE. IEEE, 2014 [3] Xu P, Sarikaya R. Convolutional neural network based triangular crf for joint intent detection and slot filling 2013 IEEE Workshop on. IEEE, 2013 [4] Liu B, Lane I. Attention-based recurrent neural network models for joint intent detection and slot filling[J]. 2016. [5] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. 2014. [6] Liu B, Lane I. Joint online spoken language understanding and language modeling with recurrent neural networks[J]. 2016. 问答 如何用php检测搜索引擎机器人 相关阅读 任务型对话机器人简介 文本情感分析综述 当深度学习遇见自动文本摘要 此文已由作者授权腾讯云社区发布原文链接https://cloud.tencent.com/developer/article/1147476?fromSourcewaitui
欢迎大家前往腾讯云社区或关注云加社区微信公众号QcloudCommunity第一时间获取更多海量技术实践干货哦~
