网站联合推广方案,开源网站模板cms,网站建设和网页建设的区别,网页安全站点设置论文笔记整理#xff1a;陈名杨#xff0c;浙江大学在读博士生#xff0c;研究方向为知识图谱表示学习。图表示学习是一个当前关注度较高的领域#xff0c;并且有许多真实的应用。然而当前的很多图表示学习方法都是对一个领域或者某一个图训练一个模型#xff0c;也就是说… 论文笔记整理陈名杨浙江大学在读博士生研究方向为知识图谱表示学习。图表示学习是一个当前关注度较高的领域并且有许多真实的应用。然而当前的很多图表示学习方法都是对一个领域或者某一个图训练一个模型也就是说这些训练的模型是不能迁移到领域外新的数据。这篇文章受到在NLP领域预训练工作的启发设计了一种无监督的图对比编码Graph Contrastive CodingGCC模型来捕获不同图之间的全局拓扑特征。这里将GCC的预训练任务设计为区分不同图内不同点的局部子图结构并且利用对比学习Contrastive Learning来学习到一些固有的、可迁移的结构表示。这里提出的GGC的整体思想是在预训练阶段给一些不同的图然后在上面做一些自监督学习预训练得到一个表示学习的模型然后把这个模型用在一些更多没有见过的的图上对不同的任务进行微调下面将对具体的方法及模型的设计进行介绍。这里预训练的任务是instance discrimination也就是将每个节点看作是一个自己的类然后区分不同节点作为学习目标。从对比学习的视角来看待给定一个被编码的query q以及一个包含K个keys的字典对比学习是要在dictionary里面找一个和query最匹配的key认为是和query同类的实例在这篇文章中使用的InfoNCE作为学习目标除了这个整体的学习目标外还需要考虑下面一些问题。1. 如何设计图中的实例既然使用对比学习作为整个方法的总体目标这里需要设计对比的实例在本篇文章中作者使用图中节点的r-ego network作为这个节点的实例表示这r-ego network就是以某一个点为中心其他点和这个点的最短距离小于r的点的集合的sub-graph。2. 如何设计实例间的相似和不相似在计算机视觉中有多种的数据增强方式。在本篇文章的场景中把对于同一个点的两个采样结果不同的r-ego network作为相似的实例而把不同点的采样作为不相似实例。3. 如何设计图的编码方式这里使用一种当前SOTA的GNN方法Graph Isomorphism NetworkGIN作为对图的encoder方法。整体方法的流程图如下所示实验部分该模型在不同的图上进行与训练其中与训练所使用的数据集如下在下游任务的实验中尝试了不同对比学习策略E2EMoCo以及不同的微调策略实验结果如下 这篇文章提出的基于对比学习的图预训练模型可以有效的建模和迁移图中的结构特征从而达到预训练的目的对比其他的从头开始学习的监督学习模型该模型也可以获得相当的测试表现。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
