家具公司网站模板,搜索附近的电子产品,花生壳内网穿透网站如何做seo优化,百度搜索站长平台笔记整理#xff1a;许泽众#xff0c;浙江大学博士在读论文链接#xff1a;https://arxiv.org/abs/2003.01332本文主要提出一种处理异构图的方法#xff0c;所谓异构图#xff08;Heterogeneous graph#xff09;是指在一个图中会出现不同类型的边和节点的图。早期对于图… 笔记整理许泽众浙江大学博士在读论文链接https://arxiv.org/abs/2003.01332本文主要提出一种处理异构图的方法所谓异构图Heterogeneous graph是指在一个图中会出现不同类型的边和节点的图。早期对于图的处理图的方法一般集中于同构图的处理。近年来开始关注对异构图的处理但是一般都具有以下缺点1.大多涉及到为每种类型的异构图设计元路径meta-path但是这种元路径需要手工定义这不仅需要领域知识同时降低了效率2.或者假设不同类型的节点/边共享相同的特征和表示空间这显然是不合适的或者单独为不同节点类型或边类型保留各自单独的非共享权重这忽略了异构图之间的交互性3.大多忽略了每一个异构图的动态特性个人觉得这一点和之前的两点不是在解决同一个问题应该知只是为了丰富文章内容4.无法对Web规模的异构图进行建模。为了处理异构图文章的核心思想是将每条边的模型参数分解为三个矩阵相乘。其分解根据每条边的三元组 初始节点类型边类型目标节点类型来定义。这就是文中所提的元关系meta-relation。整体的计算参照transformer。以下图为例对于左图这样的异构图可以定义出不同的元关系每个meta-relation由三部分组成。文中提出相比于R-GCNHGT的优势在于因为使用了三部分来定义元关系这使得模型对于出现频次较低的关系的学习能力更强因为另外两部分出现的频次可能不低。整个模型的框架可以分为三部分Heterogeneous Mutual AttentionHeterogeneous Message Passing 和 Target-Specific Aggregation。分别用来计算attention传递信息信息聚合。第一部分受transformer的启发将目标节点映射为query源节点映射为Key。与传统Transformer不同的点在于HGT中每个元关系都有一组不同的投影权重W传统Transformer是所有单词使用同一组权重。ATT-head表示第i个注意力头K(s) 代表源节点s投影成的第i个Key向量Q(t) 代表目标节点t投影成第i个Query向量μ(·) 表示每个关系三元组的一般意义作为对注意力自适应缩放Attention(·) 的操作主要是把h个 ATT-head 连接得到每个节点对s,t的注意力向量从本质上说该操作就是对于每个目标节点t从邻接节点N(t)收集的注意力向量再进行一次softmax得到概率分布。第二部分与第一步类似这一步也将元关系融入信息传递过程来缓解不同类型节点和边的分布差异。第三部分最后一部分依据前两部分的计算结果将表示更新。文章的第二部分主要是提出相对时间编码RTE技术处理动态图。传统的方法是为每个小时间片time slot构建图但这种方法会丢失大量的不同时间片间的结构依赖信息。因此受Transformer的位置编码position embedding启发作者提出RTE机制建模异质图上的动态依赖关系。主要思想就是将时间差的信息编码到表示中从而引入时间对表示的影响。这里有一点在于train的时候见过的时间差不能覆盖所有可能的时间差所以作者引入以下偏置函数将时间差泛化到可见范围。为了处理web规模的数据设计了针对异构图的采样算法 HGSampling。它的主要思想是样本异构子图中不同类型的节点以相同的比例并利用重要性采样降低采样中的信息损失。本文在其之前举例的开放学术图谱上进行实验但是这里值得注意的是在对各种entity进行embedding的初始化的时候实际上添加了相当多的信息例如对field、venue等节点就采用了自己argue的metapath2vec模型来进行初始化所以实验结果的有效性应该也与这种设定有较强的关系。以下是部分实验结果同时还给出了一个根据计算的attention自动构建的meta-path的样例OpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
