搅拌机东莞网站建设技术支持,微信引流推广怎么做,自己做网站费用,深圳市工程交易中心转载公众号 | DataFunTalk分享嘉宾#xff1a;刘丹阳博士 美团 实习生编辑整理#xff1a;毛佳豪 中国平安浙江分公司(实习)出品平台#xff1a;DataFunTalk导读#xff1a;新闻阅读是人们日常生活中必不可少的活动#xff0c;随着新闻逐渐从纸质端转变到电子端#xff0…转载公众号 | DataFunTalk分享嘉宾刘丹阳博士 美团 实习生编辑整理毛佳豪 中国平安浙江分公司(实习)出品平台DataFunTalk导读新闻阅读是人们日常生活中必不可少的活动随着新闻逐渐从纸质端转变到电子端大家可以从各种社交平台上进行新闻的阅读。同时我们身处信息爆炸的时代一天可能就有上万篇的新闻文章产生这对于用户来说会造成非常严重的信息过载的问题。因此个性化新闻推荐系统就应运而生它可以有效地提升了新闻服务的质量。本次分题目为《结合知识图谱的个性化新闻推荐系统》主要介绍背景介绍新闻知识图谱知识图谱与新闻推荐的准确性知识图谱与新闻推荐的可解释性01背景介绍阅读新闻是人们日常生活中必不可少的活动并且由于新闻阅读逐渐从纸质端转变到电子端现在大家可以从各种社交平台上进行新闻的阅读。同时身处信息爆炸的时代一天可能就有上万篇的新闻文章产生这样对于用户来说会造成非常严重的信息过载的问题。因此个性化新闻推荐系统就应运而生它能有效地提升新闻服务的质量。个性化新闻推荐系统的构建有两种方法基于传统方法通过特征工程的方法构建用户和新闻的匹配。比如将新闻的tf-idf特征和用户之前阅读的新闻的tf-idf特征进行直接匹配。基于深度学习通过学习用户和新闻的隐式语义表示在隐向量空间里进行匹配再对用户进行推荐。知识图谱能给个性化推荐系统带来哪些好处首先知识图谱为物品引入了更多的语义关系可以更深层次地发现用户的兴趣。比如用户看一个电影通过知识图谱就可以知道电影的各种各样的信息因此通过知识图谱就可以引入高质量的信息包括用户的表示。同时因为知识图谱是构建非常优良的图结构通过连接用户和商品、商品和商品就可以找到非常有意义的路径并通过这些路径来构建可解释理由。因此通过知识图谱就可以在给出推荐的同时也给出推荐的理由增强用户对推荐系统的满意度和接受度。02新闻知识图谱1. 新闻知识图谱的研究动机对于特定的推荐领域需要专门设计的领域知识图谱因为特定领域的知识图谱对该领域会更加适用比如美团外卖就有外卖知识图谱医疗应用有医疗知识图谱。而新闻推荐与其他领域比如外卖、医疗相比它有其非常独到的特点——内容非常庞杂。新闻领域会涉及到各个方面的信息并且由大量的文本构成。接下来我会以例子去介绍我们是如何去构建一个新闻知识图谱的如何把和新闻无关的信息去掉同时增加一些和新闻紧密相关的信息。2. 新闻知识图谱的研究方法首先做新闻推荐一般都是用类似于百科的知识图谱百科式的知识图谱构造非常精良格式统一知识全面。但是这也就存在了一个问题包含了大量的与新闻推荐无关的信息即它里面会包含大量的冗余信息。比如特朗普眼睛的颜色这样的信息对于新闻推荐是没有太大的作用的。构建图相关的应用的时候节点会有很多的邻居如果在采样的时候采样到信息量比较少的节点就会非常影响最终的推荐效果。所以我们设计了一个非常简单的选择算法把跟新闻相关的信息选择进来主要思想是首先统计大量的新闻语料我们收集了可能几十万上百万篇的新闻语料。然后把出现在新闻语料中的知识实体当成种子节点再以这些种子节点为中心往外层扩展比如扩展一跳或者两跳如果一跳或者两跳能到达一些最初的种子节点范围内就认定这个是跟新闻更加相关的关系。最后对一跳、两跳分别赋予不同的权重并统计各种关系的权重然后把最重要的关系保留下来同时保存这个关系下的三元组这就是选择与新闻相关信息的方法。同时我们也补充了一些跟新闻相关的特定信息比如用户在阅读新闻的时候会非常关注新闻的主题并且每个用户的兴趣都是比较固定的比较喜欢某一类的新闻。因此主题对新闻推荐来说是至关重要的。所以我们增加了两种类型的主题节点显式主题节点、隐式主题节点。显式主题节点是新闻本身所属的类别这在编辑中就能体现出来比如它是体育新闻是NBA新闻还是足球新闻等等同时我们通过LDA topic model也可以对它训练一些隐式的语义节点作为主题节点增加进来。然后我们通过连接出现在这篇新闻中的实体和主题节点来构建与新增加的主题相关的三元组。同时虽然一些新闻实体在知识图谱中没有直接相连但是它们其实能强烈地体现在新闻阅读习惯中。比如经常出现在同一篇新闻中的实体或者同一用户感兴趣的实体这些实体其实反映了用户行为或者新闻本身特征的一个协同关系。举例说明比如你是个足球迷你在看到梅西相关新闻的时候可能也会关注C罗但是他们在知识图谱中没有直接相连然后我们通过增加这样的一些连接关系来丰富新闻领域的知识图谱。3. 实验过程①图谱数据统计下图是通用知识图谱和我们修改得到的新闻知识图谱的数据对比情况KG是原始的新闻知识图谱News-Relevant KG是去掉无关关系后的知识图谱Collaborative Relations in NG是增加了协同关系的知识图谱, Topic Entities in NG是主题节点的知识图谱。②实验数据介绍我们选取了MSN新闻四周的语料用来测试我们通用知识图谱和新闻知识图谱进行对比。同时我们在多种推荐任务上都进行了测试比如我们最擅长的个性化新闻推荐任务还有新闻分类任务。③实验模型介绍为了更直观地验证效果我们选择了非常简单的模型仅仅用到了新闻向量和用户向量再加上通过知识图谱预训练得到的实体向量。其中我们对比了两种实体向量分别是通用知识图谱训练出来的实体向量以及新闻知识图谱训练出来的实体向量。如下图所示在不同的任务上我们使用了不同的架构。④实验结果下图是实验结果对比的是不使用知识图谱的结果、使用通用知识图谱以及新闻知识图谱的结果上面的表格各模型在个性化推荐任务上的表现下面的表格是模型在不同的新闻分类任务上的表现。可以看到新闻知识图谱相对于通用知识图谱是有提升的说明了新闻知识图谱构建的有效性。而我们也会将新闻知识图谱作为一个基础应用到后面的工作中。03知识图谱与新闻推荐的准确性1. 新闻推荐特点新闻推荐系统与其他推荐系统相比还是存在非常鲜明的不同点的。首先新闻推荐有很强的时效性比如我们不会关注一周前发生了什么新闻只关心今天发生了什么新闻这样会造成非常严重的冷启动问题。其次理解新闻内容本身的内容是非常重要的。新闻里包含了大量的知识实体比如人名、地名、事件等等而知识图谱可以给新闻带来一个非常好的补充因此知识图谱对新闻推荐有独特的重要意义。最后用户在阅读新闻的时候兴趣也是多样的比如既关心政治又关心体育。并且随着时间推移以及热点新闻的不断出现他们的兴趣也会发生一些动态的演化。因此对于新闻推荐来说最主要的几个模块是如何建模新闻、如何根据用户新闻阅读历史建模用户、如何将新闻建模与用户建模进行个性化的匹配。2. 知识图谱与新闻推荐结合的研究动机接下来的工作是我们发表在Recsys2020会议中的一个工作该工作介绍了如何更好地利用新闻中的知识实体来提升新闻的表示。首先介绍一下该工作的问题背景新闻中包含了大量的知识实体这些知识实体可以非常好地帮助我们理解新闻内容不过一篇新闻文章可能会包含几十个实体每个实体出现的次数可能都不一样该如何衡量这些知识实体的重要性并且如何将知识实体和新闻本身的表示进行结合也是非常棘手的问题。同时因为NLP技术、新闻文本表示技术都在日新月异地发展我们不可能在每一个新的模型出来时再针对性地设计一个结合知识的模型这样工作量就会比较大。所以我们研究的是如何将知识信息融合到我们预训练好的新闻表示中得到一个更好的表示来提升最终新闻推荐的效果。3. 知识图谱与新闻推荐结合的研究方法①模型结构为此我们设计了一个模型该模型主要核心有三层实体表示层、语境嵌入层、信息蒸馏层。通过这三层给根据NLP模型得到的新闻表示DV注入一个知识实体的信息得到一个知识增强的新闻表示。第一层是实体表示层。首先把出现在这篇新闻中的实体通过预训练的方式取出但是不同的实体在知识图谱中有各种各样的邻居这些邻居也能够丰富它的表示因此我们采取一种KGAT的方式通过考虑它不同的关系来聚合它的邻居信息从而得到更全面的出现在新闻中的实体表示。第二层是语境嵌入层这一层主要考虑实体在新闻文章当中的嵌入特点比如出现的位置是在文章的title里还是body又或者是出现的频次、实体类别是人物还是地点等等。这些信息对于实体信息都是有非常重要的作用所以我们设计了语境嵌入层来更加全面地建模这个实体。第三层是信息蒸馏层其目的是判断不同的实体在不同的新闻中的重要性。比如体育新闻中体育明星的重要性会更高湖人队的新闻中可能詹姆斯的重要性会更高一些。所以我们将新闻的文本表示作为监测信号去监督不同实体的重要性并进行重要性的加权最后拼接到本身的初始新闻表示上得到知识增强的新闻表示。②训练框架同时我们的框架也可以采取一种多任务学习的方式因为对于不同的新闻推荐任务来说任务之间的各种标签会提供一些额外的信息。比如我们通过本地新闻预测任务来预测新闻是不是与本地相关。在此任务中知识实体也可以提供不同程度的帮助有些知识实体是地点对于本地新闻预测任务就会起到很好的帮助。并且不同的新闻任务之间也会传递一些信息通过知识实体来把不同任务之间的标签进行传递从而对不同任务起到促进作用。③实验结果下图是个性化推荐任务上的结果我们采用了两种基础的新闻向量表示方法一种是实际业务中使用的LDADSSM另一种是学术界使用非常多的BERT模型。根据这两种模型得到新闻的预训练表示之后再结合知识实体并通过我们设计的模型去增强这两种表示。结果显示无论是在LDADSSM模型还是BERT模型上我们对于这两种基础向量都取得了效果上的提升。因为BERT模型具有强大的表示能力并且有非常强大的预训练的库所以会比业务中使用的LDADSSM模型效果表示得好一些。下图是在不同新闻分类任务上的结果在item2item的推荐实验上我们的模型也是取得了比之前baseline更好的效果。我们也进行了消融实验将我们模型核心的三层模块进行比较通过消融实验证明我们每个模块都起到了非常好的作用。由于我们的模型是在预训练表示的基础上再注入知识所以效率其实是非常高的。相对于以前的一些模型无论是在训练还是测试任务上我们的模型在效率上还是非常占优势的。④可视化分析同时我们也做了可视化的分析下图展示了模型在一篇新闻中最终学到的weight在不同知识实体上的表现。可以看到对于这篇新闻来说重要的实体会学习到更高的权重。下图是我们对于最终生成的向量表示做的一个可视化以此来证明向量在不同的类别上有更加明显的区分也说明我们得到的知识增强的向量所学习到的信息是更好的。4. 我所做的工作①研究动机接下来介绍我在美团做的工作我的工作主要动机有三个首先上文讲述了如何通过知识图谱增强新闻的表示但对于新闻推荐来说准确地表示用户兴趣也非常关键所以我们更深层次地研究如何利用知识图谱来更加全面地建模用户在新闻阅读过程中的兴趣的表示。其次新闻中其实包含了大量的新闻实体这些实体能反映一篇新闻复杂多样的兴趣。新闻不同于商品内容更加复杂一篇新闻中往往会包含各种各样的兴趣所以引入知识可以更加全面地了解一篇新闻的兴趣。在此基础上我们就可以进一步了解用户的多样的、动态的兴趣。②研究方法下面介绍一下具体的工作。首先是异构图表示学习的方法。新闻本身包含了丰富的文本信息同时我们通过把它和知识图谱进行连接得到一个空间的结构化信息。所以我们一方面可以通过一些预训练的模型得到文本信息的表示同时也可以通过图学习的结构信息得到空间结构的表示最后通过异构图学习的方式将这两种不同的信息表示融合到一个向量空间里。接下来我又设计了双记忆网络模型来建模用户的多种多样的信息表示。使用记忆网络是因为它有两个非常显著的优势。对于建模序列化信息它有非常好的优势。记忆网络顾名思义相对于GRU或者LSTM来说具有更强的记忆能力因此在建模更长的序列信息时它有更好的学习能力。多槽的构造使它对于学习用户的多兴趣或者多向量表示有天生的结构优势。因此我这里采用了一个双记忆网络用兴趣记忆网络学习兴趣的表示同时用户记忆网络去建模序列化信息。其中对于兴趣我们也从两个方面进行建模首先从文章总体的兴趣考虑其次因为文章中包含很多实体所以我们从更细粒度的层次——实体角度来建模用户的兴趣表示。最终会得到用户总体的兴趣分布和细粒度的兴趣分布这两个兴趣分布具有相辅相成的作用。下图是我们的数据集同时应用了Microsoft News还有美团的点评数据集。③实验结果从下表可见模型在两种不同的数据集上都取得了比baseline更好的效果。同时我们对于不同的数据集实验了不同的兴趣数量可以看到在Microsoft news上兴趣数量要比点评数据集上稍微多一点主要是因为Microsoft news的新闻更加多样性可以反映用户更多的兴趣。下图是我们做的可解释性的简略分析。引入知识图谱的一个好处是在分析用户兴趣的时候不光可以在新闻的层次上进行分析还可以在更加基本更加底层的实体表示层次进行兴趣分析这样它的兴趣会更加直观。 04知识图谱与新闻推荐的可解释性1. 研究动机随着技术的发展很多推荐系统的效果已经非常优良了所以我们现在更多时候会关注一些更深层次的东西比如可解释性的效果这个对于提升用户接受度和满意度是非常有帮助的。商品推荐可能已经有可解释性工作了那新闻推荐和商品推荐的可解释性工作有什么不同的地方首先新闻中包含了大量的实体并且新闻知识图谱也比商品知识图谱要复杂得多比如新闻知识图谱关系可能有上千种但亚马逊的商品知识图谱可能只有十几种关系。因此对于如此复杂的数据和图如何生成可解释路径是非常有挑战性的工作。现在也有一些解决的方法有基于路径的方法比如KPRN模型它先搜索用户和商品之间所有的路径然后对所有路径进行打分再进行排序最终选择比较优秀的可解释路径。还有一些基于强化学习的方法比如PGPR模型它从用户出发进行游走游走到一个item后就把这个游走的路径作为一个可解释路径。不过新闻中包含了大量实体所以如果在用户与新闻之间只给出一条可解释路径可能会与用户在阅读新闻时关注的地方不同。这样的话也会造成不全面的问题。2. 研究方法针对这个问题我们另辟蹊径地设计了一个比较新颖的可解释的范式——锚点知识图。具体原理是在做可解释推荐之前对于每篇新闻都相对应地生成一个锚点知识图所谓的锚点知识图就是以这篇新闻的节点出发去搜索与这篇新闻紧密相关的知识实体比如节点的一跳是包含在这篇新闻中的实体那我会在这些实体中选择对这篇新闻来说比较重要的实体并继续选择这些实体在图谱中的邻居。通过这样的选择机制我们可以给每篇新闻生成一个针对于它的一个紧密的子图这个图的规模一般在百这种数量级上。在给每篇新闻生成一个锚点知识图之后我们就可以通过两篇新闻之间的锚点知识图的交互生成解释路径。相关的新闻之间可能会生成多条路径而不相关的新闻可能就不需要可解释路径了。生成锚点知识图采取的方法也是基于强化学习的方法我们设计了一个MDP决策过程定义了状态、动作、状态转移三个模块。其中比较创新的地方在于我们设计了多种多样的奖励机制比如即时奖励和终止奖励即时奖励就是在生成锚点知识图的过程中我们会立刻赋予它一个奖励数值例如在走到知识图谱上的一个节点的时候我会立即判断一下该节点是不是与知识图谱紧密相关的。同时在锚点知识图生成结束之后会有一个终止奖励即知识图生成之后我们会判断一下这个锚点知识图是不是真的与相关的新闻之间产生了比较高质量的解释路径同时锚点知识图的生成也会选择一些与新闻比较相关的节点这些知识节点是不是真的对于新闻推荐有帮助我们通过这样不同的奖励机制来保证学习过程。接下来我们采用演员评论家(actor-critic)算法来训练强化学习网络。演员会根据策略函数来选择加入锚点知识图中的实体而我们会通过最大化期望去学习这个演员网络同时评论家会根据值函数来评估动作选择的好坏。这个过程通过最小化TD error来进行训练。并且我们也采取了多种学习策略来使它更容易学习。首先是热启动训练我们会选取一个小数据集去枚举一些路径通过这个路径来产生监督学习的label再通过这些label来去初始训练actor-critic网络。同时因为新闻知识图谱比较复杂对于两篇新闻来说如果我们选取到完全不相关的两篇新闻作为负样本的话可能学习不到有用的信息。因此我们采取了在知识图谱上进行游走的策略让它能更加有效地学习。最后我们会联合训练推荐任务和推理任务来达到一个多任务学习的更好的效果。3. 实验结果我们这里采取的是微软的新闻推荐数据集还有一个工业数据集如下表所示我们选取了两类baseline与我们的模型进行对比。一类是DKN、NAML等传统的新闻推荐方法这些方法是不具有可解释性的。另一类是基于强化学习的推荐算法PGPR、ADAC这些推荐算法不能有效利用新闻的文本信息因此效果比较差。而我们的方法既可以生成可解释路径同时因为锚点知识图的生成它也会选取一些跟新闻紧密相关的实体在一定程度上增强了新闻的表示在推荐上也取得了不错的效果。下表是消融实验的结果。可以看到去除一些模块效果会有明显下降。下图是可解释性分析上面区域展示了部分锚点知识图。可以看到对一个新闻来说它会朝着与它相关的方向去选择锚点知识图而跟新闻不太相关的知识实体如”US”就没有包含在锚点知识图中。在下面区域展示了两篇新闻通过锚点知识图的交互就可以产生多条的可解释路径。4. 可解释性分析同时我们对可解释性也做了一个量化分析。模型中本就包含RNN模块所以我们用RNN模块的分数来粗略评估可解释路径的质量可以看到我们在数量还有质量上都比baseline模型要高。这就是今天介绍的结合知识图谱的个性化新闻推荐系统。我即将入职美团知识计算组我们组会涉及各种各样图学习的内容比如会有丰富的业务场景落地同时我们也在开发平台和训练引擎也会做很多基础研究欢迎所有对图学习感兴趣的同学进群交流。下图是我们的微信交流群如果想交流或者加入计算组可以扫描二维码。05问答环节Q1做推荐的时候是否可以通过构造事件图谱来进行推荐比如买了房子接下来要装修装修就会涉及到买窗帘、硬装、软装之类的A1做新闻的时候确实会包含事件很多时候不能把新闻的人物、地点单独考虑通过事件会更加全面一些。但是事件构建难度较大因为我并不是知识图谱构建的专家所以我在尝试后并没有找到很好的方法。但是这个在制作方面确实是非常有意义的如果能在图谱中加入事件的节点对新闻推荐肯定会有非常好的帮助。不过对于新闻来说很多事件是突然发生的可能之前知识中并没有该事件这个就属于动态图的研究范畴了即增加新知识这是非常有挑战的。Q2商品的库存与销售可以做知识图谱吗A2我认为是可以的。知识图谱是非常广泛的概念新闻知识图谱更类似于百科式的实际上我们在美团业务中用的知识图谱更多的是把用户和商户、用户和商品做一个连接。其实只要通过构图能够提升它的表示或增强了解我们认为图谱都是有用的都可以通过构图来学习。所以商品的库存与销售可以通过合理的方式来构建图谱比如库存可能具体的数字会带来噪音但你可以把大于1000的、500-1000的等等对应到节点上然后加入到图中这个估计对知识图谱会有很好的补充作用。Q3在建模过程中会用到如随机游走或者负采样等策略在知识图谱中会不会去专门挖掘一些比如pattern的整一块的知识吗A3你所提到的图的pattern类似于metagraph这个别的工作里确实也有通过关系来构建Metapath或者Metagraph这个也是非常有效的尤其是在一些简单的商品知识图谱中。但对于新闻来说就比较复杂因为它可能存在上千种关系 Metagraph下来就非常复杂了所以暂时就没有考虑。但是我相信如果设计好的话是非常有用的。Q4请问老师现在有开源的知识图谱吗A4开源的知识图谱是非常多的不过每个公司也都有私有的知识图谱来适应各自的业务。现在开源知识图谱用的比较多的是wiki data、DBPedia等等大概有十几个如果你想了解不同知识图谱的对比的话市面上有相关书籍和博客将开源图谱的数据进行对比你可以根据自己需求去选择最适用的知识图谱。对于我们新闻来说wikidata是最适合的知识图谱也是目前还在更新比较全的知识图谱。Q5能否在开源图谱上进行预训练使得在构建自己业务的知识图谱的时候能够效率更高一点。A5这个主要取决于业务和开源图谱的相关性假如两者的数据比较类似那开源图谱甚至可以直接拿来用但是数据没有那么相关的话可以采取预训练的方法我觉得这应该是非常有效的。Q6: 在现在推荐领域的研究更多的是在开源知识图谱上做还是要自己收集数据、自己构建再进行研究?A6: 从科研角度上看利用开源图谱会更加方便比如我这几个工作里的新闻推荐就是基于wikidata的。但是如果涉及到具体业务的话那还是要根据自己的业务进行改造效果会更好一些。01/分享嘉宾刘丹阳 博士美团搜索与NLP部知识计算组 实习生中国科学技术大学博士先后在微软亚洲研究院和美团实习。博士期间研究结合知识图谱的个性化新闻推荐系统加入美团后主要负责图学习技术的研究和在业务中的落地。OpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
