龙岩北京网站建设,网站推广方案模板,宣城有木有专业做网站的,商务网站的建设有哪几个步骤来源#xff1a;知乎—机器学习小谈地址#xff1a;https://zhuanlan.zhihu.com/p/386458680本文按照以下章节进行组织#xff1a;1. 背景意义2. 基于路径的方法3. 基于嵌入的方法4. 总结与展望01背景意义1.1 什么是可解释性#xff1f;首先#xff0c;什么是可解释性。由… 来源知乎—机器学习小谈地址https://zhuanlan.zhihu.com/p/386458680本文按照以下章节进行组织1. 背景意义2. 基于路径的方法3. 基于嵌入的方法4. 总结与展望01背景意义1.1 什么是可解释性首先什么是可解释性。由于可解释性人工智能、机器学习、神经网络等方兴未艾可解释性的定义依旧没有准确的确定。目前较为受到认可的解释应该论文[1]提供解释Interpretability as the ability to explain or to present in understandable terms to a human翻译过来的意识就是可解释性是一种以人类认识的语言(术语)给人类提供解释的能力。当然实际上人类也是高度进化的生物不需要完整的解释人类可以根据现有的知识自动进行脑补。所以这里引入可解释的边界。例如为什么你这么聪明因为我喜欢吃鱼。为什么吃鱼会聪明因为鱼类富含DHA。为什么DHA聪明因为 ...我们不可能无穷无尽地解释下去。根据不同的人群我们的可解释的工作也不一样。例如给大众解释吃鱼能够聪明就行了因为吃鱼能够聪明我们很多人已经从小到大耳熟能详了。如果我们给专业人士解释DHA为什么会是大脑聪明我们身边很多人也答不出来这可能就需要外部知识去解决了例如知识图谱。当然可解释的这种边界越深这个模型的能力也越强。1.2 当前可解释性方法XAI总结了一些可解释性的方法。例如比较著名的可视化[2]方法这种方法在计算机视觉上使用较多。又例如模仿模型[3]这种方法比较简单例如用一些可解释性的模型去模仿深层黑盒模型从模仿者的结构来来研究可解释性。有例如特征相关这些是研究显著性特征的方向区分特征的重要性来提供可解释性但是这种解释一般比较弱。还有很多的方法我在上一篇文章的神经网络的可解释性综述讨论比较多欢迎大家可以参考我的这篇文章或者其他的资料。经典可解释性方法分类1.3 知识图谱对比其他知识表示的优势2012年Google推出了一款从Metaweb中衍生而来的产品名字叫做Knowledge Graph知识图谱彼时其功能在于搜索内容时提供附加的衍生结果。随着人工智能的发展知识图谱开始应用于更多的场景关注度不断攀升成为认知智能领域的核心技术之一。最重要的是知识图谱逐渐成为人工智能应用的强大助力。相比普通的传统知识表示知识图谱具有专家知识、质量精良等优点当然知识图谱也可以从不同的数据源中统一结构具有数据类型多样性的优点。通过节点和关系把所有不同种类的信息Heterogeneous Information连接在一起得到一个关系网络为真实世界的各个场景直观建模。随着近几年知识图谱技术的进步一个重要变化就是越来越多的研究与落地工作从通用知识图谱转向了领域或行业知识图谱转向了企业知识图谱。对比通用知识图谱随着人工智能在细分以及新兴领域上的应用专业型知识图谱越来越受到重视。相比于其他结构知识库知识图谱的构建以及使用都更加接近人类的认知学习行为因此对于人类阅读会更加友好知识图谱的优势1.4 决策树模型 vs 基于知识图谱的解释在可解释性角度看来由于知识图谱大多数属于异构图结构对比其他的数据结构有更强的表达能力以及对应的更多用途的图算法。基于知识图谱的可解释性通常比之前的解释方法更有深度更容易让人类理解。如左图是决策树中抽出的规则总结食物的健康原因。对比右图人工智能模型借助医疗生物领域知识图谱例如基于路径得出的解释显然比左图更容易理解、更有说服力。决策树解释vs知识图谱解释对于知识图谱在可解释人工智能上带来的优势以及它们当前方法理论、限制以及机遇Freddy Lecue博士在2020年的论文On the role of knowledge graphs in explainable AI[4]。给我们从人工智能的Machine Learning、Knowledge Representation and Reasoning(KRR)、Game Theory、Uncertainty in AI(UAI)、Robotics、Computer Vision 和 Natural Language Processing等分支分析了研究方法、可解释性面对的挑战、限制以及机遇。而本文主要从两个方法-基于路径的方法以及基于嵌入的方法对知识图谱在人工智能中的研究进行一个概述。02基于路径的方法基于路径的解释方法主要应用在推荐系统上较多。下面主要介绍一个KPRN-基于知识图谱路径推理的可解释性推荐方法。这是我们在做综述的时候注意到的一篇论文Explainable Reasoning over Knowledge Graphs for Recommendation[5]在2019年发表于AAAI。通过用户-物品的异构知识图谱可以通过找到的关联路径作解释。这类关联路径不仅表述了知识图谱中实体和关系的语义还能够帮助我们理解用户的兴趣偏好赋予推荐系统推理能力和可解释性。该论文提出了一种基于循环神经网络的方法KPRN建模用户和物品对在知识图谱中存在的关联路径按照路径的解释分数对路径进行排序后输出。它的训练数据主要来源于用户的历史记录CTR其标签是用户最后对该项目音乐歌曲的评分或者是其他评价方式。例如有数据记录用户最终点击了Castle on the hill之前有哪些操作以及用户对该歌曲的最终评分。Explainable Reasoning over Knowledge Graphs for Recommendation我们先看一下模型模型分为三层嵌入层将知识图谱的实体以及对应的关系映射到一个向量作为输入。再上一层是解码层这里用了LSTM单元这一步的作用主要是根据这些路径对下游任务进行解码学习这些路径的时序依赖。最后经过池化层的处理后根据不同的路径分数对物品进行一个打分。KPRN训练当这种模型训练好之后我们可以使用这种模型对用户进行物品推荐的同时追溯推荐的原因。例如这里路径S3最高分。这条路径得出的一个解释是“有很多观看该电影的用户都喜欢The Incredible Journey而这部电影刚好也是由你喜欢的电影Fantasia的导演Jams Algar指导的不妨你可以试试。”当然这个解释可以用生成模型生成。我们甚至还能从其他的高分路径得到这个用户感兴趣的导演James等。KPRN的一个解释案例除了KPRN之中方法之外我们统计到了不少其他方法例如这是一篇同一年发表在ACM的论文Reinforcement knowledge graph reasoning for explainable recommendation[6]它的思路用强化学习的方法去代替有监督学习通过一个智能体自动在图上探索解释的路径使得这种方法得到的解释更加灵活。具体细节大家可以自行去看这一篇论文。关于KPRN收到的一个主要问题关于刚刚基于路径的算法在预测的时候是怎样挑选路径的。一个点到另外一个点的路径数量随着长度限制应该是指数级别的这篇文章是如何解决这种问题的呢同时我也注意到它的训练数据是用户的CTR模型学习这种CTR路径来为用户提供可解释性你觉得真的有那么高的解释性吗也许用户的一次点击是随心所欲的呢答复这个问题问的很细节。我也曾经好奇过但是我发现作者挑选路径仅仅基于路径的长度来筛选譬如筛选路径长度少于6跳的。但是我同时也会疑问解释一定就跟长度有关吗难道长路径的解释就一定比短路径要差我发现很多读者也提出不同的想法例如用随机游走之类的算法收敛的时候对路径的概率进行排序最后选择topk之类这些也我们可以深挖的方向。关于第二个问题其实我也觉得单单依据用户CTR历史信息作为可解释性的一种训练也是不靠谱的。因为用户点击或者进行其他行为例如评论或者收藏之类的不一定是有意的有时候就是随心所欲。我认为这里确实可以过滤的就是过滤掉一些可能是用户随心所欲的行为例如看点击的时间频率之类的或者甚至人工打标记来训练一个过滤器之类的。不过我认为作者的初心只是想提出有这样的一种基于路径的方向后面的例如强化学习的方法要比种方法强不少我觉得读者有兴趣可以探究一下。03基于嵌入的方法下面我再给大家分享另一种方法-基于嵌入的方法以QUERY2BOX为例。首先简单介绍一下嵌入-embedding。知识图谱的表示学习受自然语言处理关于词向量研究的启发因为在word2vec的结果中发现了一些词向量具有空间平移性如图embeddingvecking−vecqueen≈vecman−vecwoman同理我们是否可以参考word2vec将知识图谱中包括实体和关系的元素映射到一个连续的向量空间中为每个元素学习在向量空间中表示向量空间中的表示可以是一个或多个向量或矩阵。这些方法有很多之前也有很多文章提过大家可以参考参考。而当前的一些嵌入也就是用把实体映射成向量或者高维度空间中的一个点有不少缺点例如对于人工智能系统其中的对话机器人面对复杂的问题例如有鱼类食物富含的物质对身体哪些部位有好处这种带有更深的逻辑推理问题往往都有不止一个的答案蕴含很多集合与集合之间的操作因此用单个点或者向量是难以表示的。同时这些单点进行合取/析取也就是并集和交集操作也是不自然的。“鱼类食物富含的物质对身体哪些部位有好处”逻辑依赖图所以小结当前方法将复杂问题建模成向量空间的一个点。其普遍缺点是1.一个复杂的问题可能代表着一个很大的答案实体集合用一个点类比一个典型实体表示是不合理的2.向量空间中定义两个点的逻辑操作符合取/析取也是不合理的QUERY2BOXReasoning over Knowledge Graphs in Vector Space using Box Embeddings[7]发表在2020年的ICLR会议上。那么QUERY2BOX是思路是什么呢大家也可以从主题才到QUERY2BOX是用“箱子”不再是一个点来进行嵌入。它的目标是想融入一阶逻辑推理EPFO能力到这些嵌入之中。大家可以看到右图这些一个一个的box嵌入看起来是适合集合之间的操作的而且这些操作都是产生一个个新的box因此它的操作也是封闭一种闭包。从论文的总结看box-embeddings有以下优势1.Box-embeddings更适合复杂而且答案多组合的推理问题2.Box之间依然可以进行一阶逻辑操作EPFO(Existenial Positive First-order)3.Box操作的结果是产生新的box因此操作符是封闭的那么QUERY2BOX是如何实现这种box-embedings?还是刚刚那个问题“鱼类食物富含的物质对身体哪些部位有好处“。我们看一下具体的细节。图A我们首先将复杂的抽象问题分解为依赖图这是一种DAG。如果直接回答这些逻辑问题对于人工智能来说非常吃力那么这种依赖分解对于人工智能则轻松得多因此将查询转换为DAG依赖图是容易实现的一个环节。从人类的角度看我们分析了问题的逻辑后我们就可以借助外部知识知识图谱寻找答案。对于下图C我们可以找到鱼类和食物的交集“三文鱼和鲢鱼”从该交集我们可以继续找到其成分EPA、DHA等从而可以继续找到对身体有益部分橙色的实体。从计算机的角度根据DAG可以编译为计算机理解的运算-计算图如图B。计算机可以根据这些操作图C例如对鱼类进行Projection得到新的box与食物的box进行交集Interp就得到了鱼类食物诸如此类地一步一步推导出答案橙色的箱子。QUERY2BOX关于箱子的定义这里箱子是一个虚拟的中心点和偏移定义的p是箱子里面的实体的坐标off函数根据不同的实体计算一个偏移量。其中off函数查看源代码是一个神经网络实现的动态计算偏移量的函数可以根据不同的实体p估计其偏移量。而论文提出是这样训练的训练的时候有实体在箱子外面的也有实体在箱子里面的因此他们分为两个距离度量dist-outside和dist-insidedist-outside的在箱子外的实体距离有多远目的是想把属于这个箱子的实体“拉扯”到箱子里面而dist-inside是想让箱子内部的实体更加接近箱子的中心。关于参数 ∈[0,1]如果 0意味着优化目标是把所有的答案实体控制在box内部即可。如果 1距离则变成原始L1距离将会把所有实体向中心拉扯。对于刚刚的计算图Projection的定义是实体集合和他们对应的关系集合在集合层面上进行投影操作这一步跟TransE很相似。Prohection定义对于合取操作(Interp)它们的设计会复杂一点。它们在交集时候交集的箱子会分配不同的权重类似注意力机制并且交集后的箱子的大小也会由一个MLP进行大小调整这里用了sigmoid这里对箱子进行一定大小衰减。Interp定义对于析取操作就是并集大家可以想到并集后的元素或者空间一般都是越来越大的。这样的话如果后面再有其他的操作计算成本就会更很多。而他们想出了一种优化方法。根据逻辑命题的范式存在定理其实对应任何的公式都能够找到等值的CNF和DNF。这里转换为DNF也就是说所有的析取操作并集操作将推到最后才进行。如下图这里就进行DNF转换让并集操作在最后计算。Union定义通常在模型中这一层会放在中间作为可解释层展示给用户。在18年提出的VRN网络用于语音识别就是这种架构。不过当时box-embedding还没有提出来它们这一层使用一种基于路径的方式进行推理。可能有同学就想到了这一层换成Box-embedding后面编码器改成box-embedings的编码器那不就是可以采用这个最新的技术呢这个也是我们的一个机会。拓展问题关于box-embeddings部分为什么就用这样的箱子的结构有很多数据也不一定是规规矩矩按照超立方体来分布的用球体是否可以甚至是一些其他的复杂形状。答复首先这篇论文也没有拓展过其他的形状的embeddings。但是根据我自己的想法我觉得他们用box-embeddings是有道理的。因为超立方体的逻辑运算肯定是要比其他形状的运算是要快的它只需要确定一个中心和长宽之类就可以了。当然你也许会说那球体也应该很快呀不就确定一个中心和半径就可以了吗但是我觉得这样会有第二个问题就是球体的交集或者并集就很可能不再是球体了可能是一些其他形状的空间了这样子就引起了运算不封闭的问题box进行EPFO之后依旧是box但是球体和其他形状就不一样了。当然了在极坐标或者其他坐标系下也是可能的这种情况类似TransE和RotaE。04总结和展望一些总结Hete-CF[8]LTN[9]NTP[10]拓展问题既然基于图结构的知识图谱有强于其他数据结构的可解释能力以及算法。那么可以问问出了基于路径或者基于嵌入的提供解释性之外还有哪一些类型吗答复当然是有其他类型的。例如混合型的如涟漪神经网络RippleNet这种网络是既有基于路径的也有基于嵌入的。有例如比较火的是图神经网络譬如自然语言处理里面就有与图神经网络相结合搞可解释性的。大概原理首先将文本进行图表示例如语法解释树也是一种图结构这种解释可以用一些语法相关的图谱去完成一些展望这里引用Freddy Lecue论文中的图对计算机视觉以及我的构想图对自然语言处理中的命名实体抽取参考1. Towards a rigorous science of interpretable machine learning F Doshi-Velez, B Kim - arXiv preprint arXiv:1702.08608, 2017 - arxiv.org https://arxiv.org/abs/1702.086082. K. Simonyan, A. Vedaldi, and A. Zisserman, “Deep inside convolutional networks: Visualising image classification models and saliency maps,” arXiv preprint arXiv:1312.6034, 2013. https://arxiv.org/abs/1312.60343“Extracting Decision Trees From Trained Neural Networks”. SIGKDD. July 23-26,2002 https://www.sciencedirect.com/science/article/pii/S00313203980018124. On the role of knowledge graphs in explainable AI F Lecue - Semantic Web, 2020 - content.iospress.com https://content.iospress.com/articles/semantic-web/sw1903745. Explainable reasoning over knowledge graphs for recommendation X Wang, D Wang, C Xu, X He, Y Cao… - Proceedings of the AAAI …, 2019 - ojs.aaai.org https://ojs.aaai.org/index.php/AAAI/article/view/44706. Since 2021 Since 2020 Since 2017 Custom range... Sort by relevance Sort by date [PDF] arxiv.org Reinforcement knowledge graph reasoning for explainable recommendation Y Xian, Z Fu, S Muthukrishnan, G De Melo… - Proceedings of the 42nd …, 2019 - dl.acm.org https://dl.acm.org/doi/abs/10.1145/3331184.33312037. Query2box: Reasoning over knowledge graphs in vector space using box embeddings H Ren, W Hu, J Leskovec - arXiv preprint arXiv:2002.05969, 2020 - arxiv.org https://arxiv.org/abs/2002.059698. hete-cf: social-based collaborative filtering recommendation using heterogeneous relations c luo, w pang, z wang, c lin - 2014 ieee international …, 2014 - ieeexplore.ieee.org https://arxiv.org/pdf/1412.7610.pdf9. Luciano Serafini and Artur d’Avila Garcez. Logic tensor networks: Deep learning and logical reasoning from data and knowledge. arXiv preprint arXiv:1606.04422, 2016. https://arxiv.org/abs/1606.0442210. Tim Rocktaschel and Sebastian Riedel. End-to-end differentiable proving. In ¨ NIPS, pages 3788–3800, 2017. https://arxiv.org/pdf/1705.11040未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
