网站建设在国外,深圳 营销型网站公司,logo制作教程,wordpress轻量主题https://zhuanlan.zhihu.com/p/52899436 对话系统的简单综述及应用智能客服“天猫精灵#xff0c;放歌”#xff0c;”送你一首好听的歌《XXX》“#xff0c;《XXX》音乐响起...相信有天猫精灵的用户对此场景都不陌生#xff0c;或者语音操作其他智能音箱设备#xff0c;比…https://zhuanlan.zhihu.com/p/52899436 对话系统的简单综述及应用智能客服“天猫精灵放歌””送你一首好听的歌《XXX》“《XXX》音乐响起...相信有天猫精灵的用户对此场景都不陌生或者语音操作其他智能音箱设备比如操作小爱同学”小爱同学放歌“。我们都了解如何语音操作智能音箱通过唤醒词天猫精灵、小爱同学然后再说明意图放歌然后智能音箱被唤醒后根据说明意图进行相关响应。智能音箱作为对话系统的一种常见应用还有我们生活常见到的对话系统应用Siri、Echo、Bixby、小冰... 对话系统的应用到处可见但我们对对话系统了解多少以及如何应用实践呢本文主要讲解对话系统的逻辑以及如何实现应用智能客服。目录1、对话系统的定义及发展2、对话系统的概述 2.1、对话系统的组件架构3、智能客服的实现 3.1、智能客服的概述 3.2、信息检索 3.3、知识库 3.4、设计与评价4、总结5、参考文献1、对话系统的定义及发展对话系统也称会话代理一种模拟人类与人交谈的计算机系统即智能agent旨在可以与人类形成连贯通顺的对话通信方式主要有语音/文本/图片当然也可以手势/触觉等其他方式。我们说对话系统的发展一般都会从早期经典的聊天机器人ELIZA开始聊天机器人术语ChatterBot最早由Michael Loren Mauldin在1994年提及ELIZA最出名的是以心理治疗师的方式行事。不过对话系统的技术发展主要分为三个阶段第一代基于符号规则、模板80年代末开始目前依然使用主要依赖专家人工制定的语 法规则和本体设计容易解释和修补但过于依赖专家系统跨领域的扩展性不足数据用来设计规则而不是学习限定狭窄领域第二代基于数据驱动的浅层学习90年代开始对话策略的强化学习也是这个时候研究出来目前商用主流主要是通过数据学习对话系统的统计参数但不容易理解和修补难扩展模型和表示不够强大不是端到端难以扩大规模第三代基于数据驱动的深度学习近些年开始目前研究主流与第二代一样数据学习模型的参数不过神经模型和表示更强大端到端学习变得可行即完全数据驱动模型相当黑盒子但仍然难以理解和调试更新系统目前尚无成功商业案例2、对话系统的概述我们先看一段生活常见的对话从上面的对话会发现我们的对话展示我们人类三个基本的智力活动闲聊语言学家称之为寒暄示例对话A段落闲聊一般没什么实质性内容主要是拉近人与人之间的关系建立信任知识型问答示例对话B段落根据提问多少钱一问一答单轮对话主要是提供信息任务型对话示例对话C段落根据意图购买手机联系上下文多轮对话围绕意图进行对话直至完成任务从我们对话活动中我们可以发现我们说话一般都带有目的行为比如我想买一部手机言语行为就是购买手机也就是我们所谓的言语行为理论。言语行为理论指的是语言不是用来陈述事实或描述事物的而是附载着言语者的意图。根据对话活动我们的对话引擎架构可以分为三个层次如下图图源自周明老师的自然语言对话引擎的分享内容闲聊功能一般可以通过网上语料库找到最相似的句子的回复当作回复问答功能一般通过资源知识库问答库/知识图谱等进行回答对话功能一般通过识别意图填充信息槽完成任务对话活动中我们发现会有单轮、多轮对话的概念。单轮对话容易理解也就是一问一答与上下文无关多轮对话也就是多次对话围绕意图联系上下文直至任务完成结束话轮。目前任务型的多轮对话的实现主要是基于有限状态的架构和基于框架的架构也是目前商用主流当然还有信息状态的架构包括马尔可夫决策过程的概率化模型基于端到端神经模型的架构。基于有限状态的架构和基于框架的架构主要是基于脚本方法一种动态记忆模式将我们生活场景进行框架化比如我们去餐馆就餐时一般活动次序的框架即脚本进餐馆、入座、点菜、用餐、付账、离开。所以我们对话活动可以根据意图框架进行信息抽取填充相应的槽即可完成对话任务所需要的信息做出相应的反馈。基于有限状态的架构也是最简单的架构系统采用系统主动会话控制着与用户的会话向用户提出一系列问题忽略或曲解任何非直接的回答并继续询问下一个问题比如用户查询天气的任务系统会询问用户的查询城市/时间用户如果回答不是系统提问的问题则忽略回答继续重复提问该问题。当然系统一般也会有万能指令的策略可以在对话的任何地方使用以便用户请求相应的操作比如我们常见的万能指令帮助返回帮助菜单、人工/人工客服转接人工客服。不过完全系统主动、有限状态的对话管理架构的限制过于严格要求用户准确回答系统刚提问的问题使得对话笨拙用户可能一次性回复几个问题或者用户主动提问所以就出现了会话的主动权在系统和用户之间切换的混合主动所以就出现目前一种常用的混合主动的对话架构就是依靠框架本身的结构来引导对话即基于框架的架构。基于框架的架构对话系统询问用户问题然后填充框架里的槽但是同时也允许用户通过提供填充框架中的其他槽的信息来引导对话。这样基于框架的架构可以去除有限状态的架构对用户提供信息的顺序的加强严格约束当然遇到多个任务需要多个框架处理的时候系统必须能够对给定的输入填入哪一个框架模板的哪一个槽进行排歧然后将对话控制转换到该模板。下面我们来看看一个基于框架的对话过程图源自周明老师的自然语言对话引擎的分享内容对话过程实际上就是对用户输入的话检测意图是什么如果检测不到系统就判断可能是聊天然后通过聊天的引擎进行沟通。如果检测到意图比如知道用户是要订旅馆那么就有对应的订旅馆的对话状态表记录目前进行的状态及要填充哪些信息。系统知道要填什么信息的时候就会生成相应的问题让用户回答用户回答完之后系统再把信息抽取过来填充到这个表里直到所有的信息全部填充完毕就完成了这个任务的对话过程。这里就涉及到了对问题的理解问题中有哪些信息要抓取出来还有对话管理比如状态的转移slot的填充或者更改选择一个新的slot开始对话以及如果要决定填充哪个slot的时候怎么生成对话可以让用户很自然地回答这个问题从而获得系统所需要的信息。2.1、对话系统的组件架构我们现在已经对对话系统有了整体的认知接下来讲讲我们目前常见的对话系统的组件架构。上图为对话系统的典型架构六个组件语音识别和理解组件从输入中抽取意义生成器和TTS组件将意义映射到语言对话管理器与具有任务领域知识如电商领域知识库的任务管理器一起对整个过程进行控制。用户说话对话系统的语音识别器ASR将输入转为文本文本由自然语言理解组件NLU进行语义理解主要为分词、词性标注、命名实体识别、句法分析、指代消解、语义解析接着对话管理器分析语义信息保持对话的历史与状态并管理对话的一般流程通常对话管理器联系一个或多个任务管理器知识库自然语言生成器根据对话管理器的对话策略生成对话的文本最后文本通过语音合成器TTS渲染输出其中对话系统的主体是对话管理器它是管理对话状态和对话策略的组件。组件介绍语音识别ASRAutomatic Speech Recognition一般包括四大块信号处理、声学模型、解码器、后处理首先采集声音进行信号处理将语音信号转化到频域从N毫秒的语音提出特征向量提供给声学模型声学模型负责把音频分类成不同的音素接着解码器得出概率最高一串词串最后的后处理就是把单词组合成容易读取的文本。简单的说就是接受音频输入返回一个转录的词串当然对话系统中ASR系统一般都做了定制的优化同时一般对话系统还要求ASR系统返回句子的置信度用来决定是否询问用户来确认该回答这样的任务自然语言理解NLUNatural Language Understanding产生适合对话任务的语义表示语义表示常见有一阶逻辑、语义网络、概念依存、基于框架的表示主要通过分词、词性标注、命名实体识别、句法分析、指代消解等进行语义解析产生句子意义即理解文本是什么意思进行意图识别一般通过动宾短语事件提及比如查询天气从中抽取槽的填充值进而完成语义表示分词将句子切分词序列词是承载语义的基本单元。中文自动分词被认为是中文自然语言 处理中的一个最基本的环节比如句子“我爱中国”切分为“我/爱/中国”词性标注识别词的词性描述一个词在上下文的作用比如名词、动词、形容词命名实体识别也称作专名识别是指识别文本中具有特定意义的实体主要包括人名、地 名、机构名、专有名词等句法分析分析词与词之间的结构关系确定句法结构比如主谓宾关系指代消解决定哪些实体被哪些语言表述所指代的任务比如句子“香蕉熟了把它给大家 吃了”句子中的它指的是香蕉自然语言生成与语音合成NLGNatural Language Generation组件选择需要向用户表达的概念计划如何用词句表达这些概念并赋予这些词必要的韵律TTSText To Speech组件接受这些词句及其韵律注解并合成波形图生成语音对话管理器DMDialog Management为对话系统的主体控制着对话的架构和结构从ASR/NLU组件接受输入维护一些状态与任务管理器知识库交互并将输出传递给NLG/TTS模块对话系统主要有三大模块对话上下文Dialog Context、对话状态跟踪Dialog State Tracking和对话策略Dialog Policy。对话上下文DC记录对话的领域、意图和词槽数据每个领域可能包含多个意图的数据, 一般以队列的形式存储对话状态跟踪DST记录T-1状态与当前时间T的状态即会结合上下文确定当前对话状态同时会补全或替换词槽对话策略DP根据对话状态和具体任务决定要执行什么动作比如进一步询问用户以获得更多的信息、调用内容服务等3、智能客服的实现自然语言处理NLP技术一直以来被认为是成熟度相对较低的AI技术分支不过尽管NLP在开放领域环境中表现不佳但对于限定场景来说NLP及其背后的知识图谱技术却能发挥出巨大价值。智能客服就是NLP最常见的应用之一也是对话系统最常见的应用之一。作为企业客户关系管理CRM的重要组成部分客服是连接企业与客户的重要桥梁极大地影响着企业的销售成果、品牌影响及市场地位。但是长久以来客服行业都存在诸多痛点客服人员流动性大、培训成本高、客服难以把控、大量重复性问题过度消耗人工客服同时如何提升售前转化如何优化客服流程如何从客服数据中发现企业业务问题等都是各类企业面临的普遍问题。因为这些普遍问题的存在智能客服应运而生。根据国内客服行业的第三方报告下图智能客服正在以40%-50%的比例替代人工客服工作AI将为智能客服厂商释放500-800亿市场空间所以一直以来大量企业布局智能客服行业。3.1、智能客服的概述智能客服也就是我们所说的客户维护的智能服务比如我们常见的淘宝小蜜、京东JIMI。目前受限于NLP算法水平的限制现在智能客服在实际使用中更多是发挥辅助作用。目前智能客服最常见的形式就是在人工客服系统基础上扩展出智能客服的功能最常见的功能为单轮问答、功能对话、人机协作。人机协作一般是智能客服优先回答问题解决不了再转人工也就是智能客服解决一定的高频简单问题疑难问题转接人工客服。根据智能客服目前常见的定位单轮问答知识库问答的技术本质也是搜索引擎相似的技术都是信息检索。3.2、信息检索信息检索Information RetrievalIR主要是寻找从文档集中获取可用信息的模型和算法用户输入一个表述需求信息的查询字段系统回复一个包含所需要信息的文档列表比如我们平时所用的百度、谷歌搜索。目前大多IR系统都是基于组合语义的一种极端版本用户查询内容表示为检索词表达的信息需求检索词进行词义排歧、同义扩展等处理比如同义词扩展可通过WordNet同义集生成对应的向量查询向量与文档向量彼此向量通过权重处理比如TF-IDF计算相似度可通过余弦计算越接近1越相似越接近0越独立如下图。其中文档表示被系统索引及提供给检索的文本单元文档列表表示用于满足用户需要的一组文档检索词指文档列表中出现的词汇项可用来当索引。我们可以看到上图的信息检索架构返回的是文档列表而智能客服问答返回的是答案内容我们来看看问答与信息检索的区别 我们可以看到问答集成了知识表示、信息检索、自然语言处理和智能推理等技术毕竟用户希望的是获取一段特定信息问题的答案需求的解决方案比如用户问题怎么重置密码这个时候我们返回的应该是用户问题重置密码的解决方案答案所以智能客服的问答应用信息检索的时候做了相应的调整检索返回的是答案即计算概率最大的候选答案可以理解为所谓的推荐同时一般会在问题查询处理的时候增加问题分类模块也就是某个问题是什么类型可以针对类型更好的回答分类器可以通过标注类型的对话数据进行训练。3.3、知识库现在我们了解了智能客服模型的实现但对话系统如果没有语料库还是不会对话正所谓巧妇难为无米之炊。语料库也就是我们智能客服所说的知识库。知识库可以来自我们整理的知识图谱或者问答库等知识库的难点在于数据的冷启动、数据的清洗及整理。数据的冷启动也就是生成知识库的原始数据有没有的问题数据冷启动同样影响信息检索模型的训练不过智能客服一般都是限定于领域应用于自身企业的服务前期客服都是人工服务所以我们一般可以积累人工对话的数据作为知识库的原始数据一般是选择一定周期内的数据具有通用性。数据的清洗及整理也就是有了原始数据后如何生成完整可读的知识库。我们常见的一种知识库就是所谓的问答库即问题答案对当然一般还会有其他标签比如人工标注的问题类型。问答库的生成我们可以通过原始对话数据对同一标识的对话表示同一用户与人工客服的完整对话根据对话身份ID的不同分别对同一ID的话段通过N-gram拼接起来主要通过词袋出现的unigram、bigram、trigram一般到trigram太少句子不通顺太多计算量大毕竟N元模型的大小几乎是N的指数函数即O(|V|^N)V为词汇量然后通过N-gram拼接算法把N-gram片段拼接起来即可一般可以通过NLTK工具包处理成为一段较为通顺的句段最后再经过人工审核及标注形成完整可读的问答知识库。其中词袋指的是一段文本比如一个句子或是一个文档可以用一个装着这些词的袋子来表示这种表示方式不考虑文法以及词的顺序N-gram即N元语法指的是文本中连续出现的n个语词N元语法模型是基于(n-1)阶马尔可夫链的一种概率语言模型通过前面出现的n-1个单词预测下一个单词通过n个语词出现的概率来推断语句的结构当n分别为1、2、3时又分别称为一元语法unigram、二元语法bigram与三元语法trigram下图为上述对话C段落经过N-gram拼接处理后再经过人工审核标注的问答库示例不过由于问答库的问题单一性用户采用相似问法提问时可能由于模型等问题找不到对应的答案导致用户不满。即使我们对问题进行扩展等泛化处理采用松弛模式允许匹配忽略部分文本的结果但会引起一些不正确的结果也引起用户的不满。所以为了提高问题的准确性我们可以通过种子模式即采用整理好的知识库的问题关键词在原始或清洗后的对话数据集上进行搜索查看用户常见的问法进行问答扩展增加问题的相似问法比如上图的问答库的问题“购买一部2000元的小米手机”可扩展相似问法“推荐一部2000元的手机品牌不限”。当然知识库越丰富越好毕竟越丰富则覆盖的业务范围问题越广解决用户需求的可用性越好就像我们人类一样知识面越广则能解决更多问题能力越好。3.4、设计与评价智能客服不是开放式的聊天对话系统而是基于特定业务领域和业务场景的对话系统目的是快速解决用户的需求一个最理想的对话系统就是用最少代价就能帮助用户实现目标的系统所以智能客服应以用户为中心的设计原则用户满意度至关重要。设计智能客服由于自身的目的性应当根据自身的业务场景选择相应的对话策略、提示、错误信息反馈等设计原则。常见的设计要点研究用户和业务分析用户画像以及调研用户常见的问题获知用户的潜在问题进行相应的推荐引导以及个性化回答用户比如每个用户进入智能客服界面的问题引导都不一样对话策略问题高相似即反馈答案一定程度相似可反馈相似的几个问题收敛引导用户提问低相似的问题可引导用户重新提问或引导转接人工客服同时增加闲聊库保证用户对话的顺畅性避免部分用户闲聊无应答。当然还有快速收敛用户输入时通过联想提问显示提示问题引导用户选择提问一般也会有万能指令的策略可以在对话的任何地方使用以便用户请求相应的操作比如我们常见的万能指令帮助返回帮助菜单、人工/人工客服转接人工客服对话数据完整性用户转接人工客服后保证用户与系统对话的数据同时转接至人工客服对话窗口方便人工客服快速了解用户需求也避免用户再次提问提高客服接线率和时间效率提高用户满意度对设计进行迭代数据监控根据指标数据分析优化根据用户满意度的意见进行优化知识库的维护及更新包括模型自主学习评价用户满意度是我们智能客服的衡量标准用户可以在系统界面满意度问卷进行显性反馈这是我们直接拿到的用户真实评价。但反馈用户满意度毕竟需要操作成本很多用户都不会去反馈所以我们拿到直接的满意度评价比较少更多会结合其他衡量指标进行综合评价系统。评价一般有外在和内在的评价指标外在指标指的是我们业务可见的一些指标比如智能客服的问题解决率、人工客服系统的接线率/会话时长等衡量指标内在指标指的是模型算法的一些指标信息检索常见的评价指标准确率precision、召回率recall、F-测度值。可根据具体业务场景选取适合的评价指标。4、总结当前受限NLP算法水平的限制目前智能客服更多是辅助人工客服未来想进一步替代人工客服NLP技术理应做到实现更好的多轮对话建模以及个性化回复从而理解用户的真实意图及对话自然。毕竟对于智能客服来说重要前提就是准确理解用户问题同时可以联系上下文与用户进行自然地多轮对话理解用户意图解决用户问题这样才能更好进一步替代人工客服。5、参考文献《自然语言处理综论》第二版https://36kr.com/p/5136136.htmlhttps://www.leiphone.com/news/201703/6PNNwLXouKQ3EyI5.htmlhttps://www.msra.cn/zh-cn/news/features/ming-zhou-conversation-engine-20170413编辑于 2018-12-20「真诚赞赏手留余香」
