安防监控网站模板,忻州市建设厅网站首页,江门排名优化公司,网站假备案举报来源#xff1a;人工智能头条 作者 #xff1a;孙健#xff0c;李永彬#xff0c;陈海青#xff0c;邱明辉 概要#xff1a;过去 20 多年#xff0c;互联网及移动互联网将人类带到了一个全新的时代#xff0c;如果用一个词来总结和概括这个时代的话#xff0c;「连接」… 来源人工智能头条 作者 孙健李永彬陈海青邱明辉 概要过去 20 多年互联网及移动互联网将人类带到了一个全新的时代如果用一个词来总结和概括这个时代的话「连接」这个词再合适不过。 过去 20 多年互联网及移动互联网将人类带到了一个全新的时代如果用一个词来总结和概括这个时代的话「连接」这个词再合适不过。这个时代主要建立了四种连接第一人和商品的连接第二人和人的连接第三人和信息的连接第四人和设备的连接。 「连接」本身不是目的它只是为「交互」建立了通道。在人机交互Human-Computer Interaction中人通过输入设备给机器输入相关信号这些信号包括语音、文本、图像、触控等中的一种模态或多种模态机器通过输出或显示设备给人提供相关反馈信号。「连接」为「交互」双方架起了桥梁。 「交互」的演进方向是更加自然、高效、友好和智能。对人来说采用自然语言与机器进行智能对话交互是最自然的交互方式之一但这条路上充满了各种挑战。 如何让机器理解人类复杂的自然语言如何对用户的提问给出精准的答案而不是一堆候选如何更加友好地与用户闲聊而不是答非所问如何管理复杂的多轮对话状态和对话上下文 在阿里巴巴我们从 2014 年初开始对智能对话交互进行探索和实践创新研发成果逐步大规模应用在了智能客服针对阿里巴巴生态内部企业的阿里小蜜、针对阿里零售平台上的千万商家的店小蜜以及针对阿里之外企业及政府的云小蜜等和各种设备如 YunOS 手机、天猫魔盒、互联网汽车等上。 智能对话交互框架 典型的智能对话交互框架如图 1 所示。其中语音识别模块和文本转语音模块为可选模块比如在某些场景下用户用文本输入系统也用文本回复。自然语言理解和对话管理是其中的核心模块广义的自然语言理解模块包括对任务类、问答类和闲聊类用户输入的理解但在深度学习兴起后大量端到端End-to-End的方法涌现出来问答和聊天的很多模型都是端到端训练和部署的所以本文中的自然语言理解狭义的单指任务类用户输入的语义理解。在图 2 所示的智能对话交互核心功能模块中自然语言理解和对话管理之外智能问答用来完成问答类任务智能聊天用来完成闲聊类任务。在对外输出层我们提供了 SaaS 平台、PaaS 平台和 Bot Framework 三种方式其中 Bot Framework 为用户提供了定制智能助理的平台。 图1 智能对话交互框架 智能对话交互核心技术 智能对话交互中的核心功能模块如图 2 所示本部分详细介绍智能对话交互中除输出层外的自然语言理解、智能问答、智能聊天和对话管理四个核心模块。 图2 智能对话交互中的核心功能模块 自然语言理解 自然语言理解是人工智能的 AI-Hard 问题 [1]也是目前智能对话交互的核心难题。机器要理解自然语言主要面临语言的多样性、语言的多义性、语言的表达错误、语言的知识依赖和语言的上下文示例见表 1的五个挑战。 表 1 上下文示例 整个自然语言理解围绕着如何解决以上难点问题展开。 自然语言理解语义表示 自然语言理解的语义表示主要有分布语义表示 (Distributional semantics)、框架语义表示 (Frame semantics) 和模型论语义表示 (Model-theoretic semantics) 三种方式 [2]。 在智能对话交互中自然语言理解一般采用的是 frame semantics 表示的一种变形即采用领域domain、意图intent和属性槽slots来表示语义结果如图 3 所示。 图3 domain ongology 示意图 在定义了上述的 domain ontology 结构后整个算法流程如图 4 所示。 图4 自然语言理解流程简图 意图分类 意图分类是一种文本分类主要分为基于规则的方法、基于传统机器学习的方法和基于深度学习的方法如 CNN[3]、LSTM[4]、RCNN[5]、C-LSTM[6] 及 FastText[7] 等。针对 CNN、LSTM、RCNN、C-LSTM 四种典型的模型框架我们在 14 个领域的数据集上进行训练在 4 万左右规模的测试集上进行测试采用 Micro F1 作为度量指标注此处的训练和测试中神经网络的输入只包含 word embedding没有融合符号表示结果如图 5 所示其中 Yoon Kim 在 2014 年提出的基于 CNN[3] 的分类算法效果最好。 图5 四种模型的分类效果对比 单纯以 word vector 为输入的 CNN 分类效果在某些领域上无法超越复杂特征工程的 SVM 分类器。如何进一步提升深度学习的效果其中一个探索方向就是试图把分布式表示和符号表示进行融合。比如对于「刘德华的忘情水」这句话通过知识库可以标注刘德华为 singer、忘情水为 song期望能把 singer 和 song 这样的符号表示融入到网络中去。具体融合方法既可以把符号标签进行 embedding然后把 embedding 后的 vector 拼接到 word vector 后进行分类也可以直接用 multihot 的方式拼接到 word vector 后面。分布式表示和符号表示融合后的 CNN 结构如图 6 所示。 图6 分布式表示和符号表示融合后的 CNN 分类网络结构 经过融合后在 14 个领域约 4 万条测试数据集上对比融合前后的 F1 值如图 7 所示从中可以看出像餐厅、酒店、音乐等命名实体多且命名形式自由的领域效果提升非常明显。 图7 在 CNN 中分布式表示融合符号表示前后效果对比 在以词为输入单位的 CNN 中经常会遇到 OOVOut-Of-Vocabulary问题一般情况下会使用一个特殊向量比如固定的随机向量或者已知词向量的平均值来表示所有的 OOV这样做的效果肯定不够好。在我们的实现中引入了 FastText[8] 来训练 word vector对于 OOV可以用其 subword 向量计算得到有效地解决了 OOV 的问题。 在 效 果 优 化 方 面除了本文中所述的 word vector 的动态训练和 dropout 之外通过对训练数据进行数据增强data augmentation效果会有较大的提升。 属性抽取 属性抽取问题可以抽象为一个序列标注问题可以以字为单位进行序列标注也可以以词为单位进行序列标注如图 8 所示为以词为单位进行序列标注的示例。在这个例子中包含 departure、destination 和 time 三个待标注标签B 表示一个待标注标签的起始词I 表示一个待标注标签的非起始词O 表示非待标注标签词。 图8 序列标注示例 属性抽取的方法包括基于规则的方法和基于传统统计模型的方法经典的如 CRF[9]以及基于深度学习模型的方法。 2014 年在 ARTIS 数据集上RNN[10] 模型的效果超过了 CRF。此后R-CRF [11]、LSTM[12]、Bi-RNN[13]、 Bi-LSTM-CRF[14] 等各种模型陆续出来。 在属性抽取这个任务中我们采用了如图 9 的网络结构该结构具有以下优点。 图9 属性抽取网络结构 输入层 在输入层我们做了三部分工作① 采用了分布式表示word vector和符号表示symbol vector融合的方式有效利用了分布式的上下文学习能力和符号的抽象知识表示能力② 采用了局部上下文窗口localcontext window将窗口内的词的表示拼接在一起送入一个非线性映射层非线性映射具有特征学习和特征降维的作用③ 采用了 FastText [8] 进行 word embedding 的学习可以有效解决 OOV 的问题。 Bi-LSTM 层 在中间的隐藏层采用 Bi-LSTM 进行特征学习既能捕捉上文特征也能捕捉下文特征。 输出层 在输出层有几种典型的做法比如 Bi-LSTMSoftmax、Bi-LSTMCRF 等Bi-LSTMSoftmax 是把属性抽取在输出层当成了一个分类问题得到的标注结果是局部最优Bi-LSTMCRF 在输出层会综合句子层面的信息得到全局最优结果。 意图排序 在表1 中我们展示了一个例子如果不看上下文无法确定「后天呢」的意图。为了解决这个问题在系统中我们设计了意图排序模块其流程如图 10 所示。对于用户输入的 utterance一方面先利用分类抽取模型去判定意图并做抽取另一方面直接继承上文的意图然后根据这个意图做属性抽取。这两个结果通过特征抽取后一起送入一个 LR 分类器以判定当前 utterance 是应该继承上文的意图还是遵循分类器分类的意图。如果是继承上文意图那么可以把这个意图及其属性抽取结果作为最终结果输出如果是遵循分类器分类的结果那么可以把各个结果按照分类器分类的置信度排序输出。 图10 基于上下文的意图延续判定 智能问答 在具体的业务场景中有三种典型的问答任务一是用户提供 QA-Pairs一问一答二是建立结构化的知识图谱进行基于知识图谱的问答三是针对非结构化的文本进行基于阅读理解的问答。本文重点介绍我们在阅读理解方面做的工作比如利用阅读理解解决淘宝活动规则的问答。 在阅读理解的方法上目前针对斯坦福大学的数据集 SquAD有大量优秀的方法不断涌现比如 match-LSTM[15]、BiDAF[16]、DCN[17]、 FastQA[18] 等。文献 [18] 给出了目前的通用框架如图 11 所示主要分为 4 层① Word Embedder对问题和文档中的词进行 embedding② Encoder对问题和文档进行编码一般采用 RNN/LSTM/BiLSTM ③ Interaction Layer交互层在问题和文档之间逐词进行交互这是目前研究的热点主流方法是采用注意力机制attention④ Answer Layer答案层预测答案的起始位置和结束位置。 图11 阅读理解的通用框架 我们在具体实现中参考 BiDAF[16] 网络结构在此基础上做了大量优化。 模型的业务优化 需要改进模型的结构设计使得模型可以支持电商文档格式的输入。电商规则文档往往包含大量的文档结构如大小标题和文档的层级结构等将这些特定的篇章结构信息一起编码输入到网络中将大幅提升训练的效果。 模型的简化 学术文献中的模型一般都较为复杂而工业界场景中由于对性能的要求无法将这些模型直接在线上使用需要做一些针对性的简化使得模型效果下降可控的情况下尽可能提升线上预测性能例如可以简化模型中的各种 bi-lstm 结构。 多种模型的融合 当前这些模型都是纯粹的 end-to-end 模型其预测的可控性和可解释性较低要适用于业务场景的话需要考虑将深度学习模型与传统模型进行融合达到智能程度和可控性的最佳平衡点。 智能聊天 面向 open domain 的聊天机器人目前无论在学术界还是在工业界都是一大难题目前有两种典型的方法一是基于检索的模型比如文献 [19-20]其基本思路是利用搜索引擎通过计算相关性来给出答案二是基于 Seq2Seq 的生成式模型典型的方法如文献 [21-22]其网络结构如图 12 所示。 图12 Seq2Seq 典型网络结构 检索模型的优点是答案在预设的语料库中可控匹配模型相对简单可解释性强缺点是在一定程度上缺乏对语义的理解且有固定语料库的局限性长尾问题覆盖率较差。生成模型的优点是通过深层语义方式进行答案生成答案不受语料库规模限制缺点是模型的可解释性不强且难以保证回答一致性和合理性。 在我们的聊天引擎中结合检索模型和生成模型各自的优势提出了一种新的模型 AliMe Chat [23]基本流程如图 13 所示。首先采用检索模型从 QA 知识库中找出候选答案集合 然后利用带注意力的 Seq2Seq 模型对候选答案进行排序如果第一候选的得分超过某个阈值则作为最终答案输出否则利用生成模型生成答案。其中带注意力的 Seq2Seq 模型结构如图 14 所示。经过训练后主要做了如下测试如图 15 所示利用 600 个问题的测试集测试了检索IR、生成Generation、检索 重排序Rerank及检索 重排序 生成IRRerankGeneration四种方法的效果可以看到在阈值为 0.19 时IRRerankGeneration 的方法效果最好。 图13 AliMe Chat 流程图 图14 带注意力的 Seq2Seq 网络结构示例 图15 IR、Generation、Rerank、IRRerankGeneration 效果对比 此模型在阿里小蜜中上线示例如图 16 所示。在阿里小蜜中针对之前的 IR 模型和 AliMe Chat 模型利用线上流量做了 A/B Test结果如表 2 所示。从用户日志中随机选择 2 136 条数据其中 1 089 是采用 IR 模型回答另外 1 047 是采用 AliMe Chat 回答AliMe Chat Top1 答案的准确率accuracy是 60.36%远远好于 IR 的 40.86%。 图16 AliMe Chat 在阿里小蜜中上线后的聊天示例 表 2 阿里小蜜中 IR 方法与 AliMe Chat 方法 A/B Test 结果 对话管理 对话管理根据语言理解的结构化语义表示结果以及上下文来管理整个对话的状态并决定下一步采取什么样的动作。 下面来看一个简单的对话例子。 对话交互分成两个阶段第一阶段通过多轮对话交互把用户的需求收集完整得到结构化的信息出发地、目的地、时间等第二阶段就是请求服务接着还要去做选择、确定、支付、购买等后面一系列的步骤。 传统的人机对话包括现在市面上常见的人机对话一般都是只在做第一阶段的对话第二阶段的对话做得不多。对此我们设计了一套对话管理体系如图 17 所示这套对话管理体系具有以三个特点。 图17 对话管理框架图 第一设计了一套面向 Task Flow 的对话描述语言。该描述语言能够把整个对话任务流完整地表达出来这个任务流就是类似于程序设计的流程图。对话描述语言带来的好处是它能够让对话引擎和业务逻辑实现分离分离之后业务方可以开发脚本语言不需要修改背后的引擎。 第二由于有了 Task Flow 的机制我们在对话引擎方带来的收益是能够实现对话的中断和返回机制。在人机对话当中有两类中断一类是用户主动选择到另外一个意图更多是由于机器没有理解用户话的意思导致这个意图跳走了。由于我们维护了对话完整的任务流知道当前这个对话处在一个什么状态是在中间状态还是成功结束了如果在中间状态我们有机会让它回来刚才讲过的话不需要从头讲可以接着对话。 第三设计了对话面向开发者的方案称之为 Open Dialog背后有一个语言理解引擎和一个对话引擎。面向开发者的语言理解引擎是基于规则办法能够比较好地解决冷启动的问题开发者只需要写语言理解的 Grammar基于对话描述语言开发一个对话过程并且还有对数据的处理操作。这样一个基本的人机对话就可以完成了。 阿里智能对话交互产品 智能服务——小蜜家族 2015 年 7 月阿里巴巴推出了自己的智能服务助理——阿里小蜜一个围绕着电子商务领域中的服务、导购以及任务助理为核心的智能对话交互产品。通过电子商务领域与智能对话交互领域的结合带来传统服务行业模式的变革与体验的提升。在 2016 年的「双十一」期间阿里小蜜整体智能服务量达到 643 万其中智能解决率达到 95%智能服务在整个服务量 ( 总服务量 智能服务量 在线人工服务量 电话服务量) 占比也达到 95%成为了「双 十一」期间服务的绝对主力。阿里小蜜主要服务阿里国内业务和阿里国际化业务国内业务如淘宝、天猫、飞猪、健康、闲鱼、 菜鸟等国际化业务如 Lazada、PayTM、AE 等。 随着阿里小蜜的成功将智能服务能力赋能给阿里生态圈商家及阿里生态之外的企业和政府部门便成了必然的路径。店小蜜主要赋能阿里生态中的商家云小蜜则面向阿里之外的大中小企业、政府等。整个小蜜家族如图 18 所示。 图18 小蜜家族 智能设备 过去 3~4 年我们可以看到连接互联网的设备发生了很大变化设备已经从 PC 和智能手机延伸到更广泛的智能设备比如智能音箱、智能电视、机器人、智能汽车等设备。智能设备的快速发展正在改变着人和设备之间的交互方式。 我们研发的智能对话交互平台为各种设备提供对话交互能力目前在 YunOS 手机、天猫魔盒、互联网汽车等设备上已经大量应用。比如在天猫魔盒中用户通过对话交互可以完成搜视频、查音乐、问天气等可以进行闲聊还可以进行购物。 总结与思考 过去几年中结合阿里巴巴在电商、客服、智能设备方面的刚性需求和场景我们在智能对话交互上做了大量的探索和尝试构建了一套相对完整的数据、算法、在线服务、离线数据闭环的技术体系并在智能服务和智能设备上得到了大规模的应用简单总结如下。 1自然语言理解方面通过 CNN/Bi-LSTM-CRF 等深度学习模型、分布式表示和符号表示的融合、多粒度的 wordembedding、基于上下文的意图排序等方法构建了规则和深度学习模型有机融合的自然语言理解系统。 2智能问答方面成功的将机器阅读理解应用在了小蜜产品中。 3智能聊天方面提出了 AliMe Chat 模型融合了搜索模型和生成模型的优点大大提高了闲聊的精度。 4对话管理方面设计了基于 Task Flow 的对话描述语言将业务逻辑和对话引擎分离并能实现任务的中断返回和属性的 carry-over 等复杂功能。 在智能交互技术落地应用的过程我们也在不断思考怎么进一步提高智能交互技术水平和用户体验。 第一坚持用户体验为先。坚持用户体验为先就是产品要为用户提供核心价值。 第二提高语言理解的鲁棒性和领域扩展性。 第三大力发展机器阅读理解能力。 第四打造让机器持续学习能力。 第五打造数据闭环用数据驱动效果的持续提升。 目前的人工智能领域仍然处在弱人工智能阶段特别是从感知到认知领域需要提升的空间还非常大。智能对话交互在专有领域已经可以与实际场景紧密结合并产生巨大价值尤其在智能客服领域如阿里巴巴的小蜜。随着人工智能技术的不断发展未来智能对话交互领域的发展还将会有不断的提升。 未来智能实验室致力于研究互联网与人工智能未来发展趋势观察评估人工智能发展水平由中国科学院虚拟经济与数据科学研究中心刘锋、石勇、和刘颖创建。 未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测构建互联网城市云脑架构形成科技趋势标杆企业库并应用与行业与智慧城市的智能提升。 如果您对实验室的研究感兴趣欢迎支持和加入我们。扫描以下二维码或点击本文左下角“阅读原文”
