深圳网站建设小程序天安云谷,网页设计需要的技术,苏州高端网站制作官网,广州做外贸网站的公司简介图神经网络#xff08;GNN#xff09;和Transformer的结合是近年来的研究热点。这类结合不仅能够让两者发挥各自的优势#xff0c;还能推动模型的创新#xff0c;提高处理图数据的效率和性能。
具体点讲#xff0c;通过利用Transformer#xff0c;我们可以扩展GNN的感受…图神经网络GNN和Transformer的结合是近年来的研究热点。这类结合不仅能够让两者发挥各自的优势还能推动模型的创新提高处理图数据的效率和性能。
具体点讲通过利用Transformer我们可以扩展GNN的感受野包括那些距离中心节点较远的相关节点。相对的GNN也可以帮助Transformer捕捉复杂的图拓扑信息并从相邻区域高效地聚合相关节点。
目前基于Transformer的GNN和图Transformer是GNNTransformer的两大关键结合方式这其中有不少个人认为很值得学习的成果。比如GNN 嵌套 Transformer 模型GraphFormers、仅使用一层全局注意力的简化图Transformer模型SGFormer。
本文挑选了18种GNN结合Transformer的最新创新方案和同学们分享并简单提炼了方法和创新点配套模型和代码也都整理了。
论文原文和代码需要的同学看文末
TransGNN
TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems
方法论文提出了TransGNN模型通过交替使用Transformer和GNN层来相互增强它们的能力。TransGNN利用Transformer层扩大了接受野并将信息聚合从边缘中解耦从而增强了GNN的信息传递能力。
为了有效捕捉图结构信息作者们设计了细致的位置编码并将其集成到GNN层中以将结构知识编码到节点属性中从而提高了Transformer在图上的性能。
为了提高效率作者们提出了对Transformer进行最相关节点的采样并提出了两种高效的样本更新策略以减少复杂性。
创新点 引入了一种新颖的模型TransGNN其中Transformer和GNN协同合作。Transformer扩大了GNN的感受野而GNN捕捉关键的结构信息以增强Transformer的性能。 为了解决复杂性的挑战作者引入了一种采样策略以及两种更新相关样本的高效方法。 对TransGNN的表达能力和计算复杂度进行了理论分析揭示了TransGNN相对于具有小额外计算开销的GNN来说具有更大的潜力。 GraphFormers
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph
方法论文提出了一种名为GraphFormers的模型架构用于文本图的表示学习。该模型将GNN和预训练语言模型相结合通过将GNN嵌入到语言模型的Transformer层中将文本编码和图聚合融合为一个迭代的流程从而更准确地理解每个节点的语义。此外还引入了渐进学习策略通过对操纵过的数据和原始数据进行逐步训练增强了模型整合图信息的能力。
创新点 图神经网络嵌套TransformerGraphFormers 它结合了图神经网络GNNs和语言模型。在GraphFormers中GNN组件与语言模型的Transformer层并行设置允许文本编码和图聚合的融合。这种架构能够从全局角度精确理解每个节点的语义从而产生高质量的文本图表示。 两阶段渐进学习为了增强模型整合来自图的信息的能力作者引入了一种两阶段渐进学习策略。在第一阶段模型在被操纵的数据上进行训练其中节点被随机污染迫使模型利用全部输入节点。在第二阶段模型在原始数据上训练以适应目标分布。这种渐进学习策略提高了GraphFormers的表示质量。 单向图注意力为了减少不必要的计算作者引入了单向图注意力。只需要中心节点参考其邻居而邻居节点保持独立编码。这允许缓存和重用现有邻居的编码结果显著节省了计算成本。 Exphormer
EXPHORMER: Sparse Transformers for Graphs
方法本文介绍了一种名为EXPHORMER的框架用于构建强大且可扩展的图变换器。EXPHORMER采用两种机制虚拟全局节点和扩展图这些数学特性使得图变换器的复杂度仅与图的大小成线性关系并且能够证明所得到的变换器模型具有理想的理论特性。
创新点 EXPHORMER是一种新的稀疏图转换器架构具有可扩展性和竞争力的准确性。 EXPHORMER基于两种机制即虚拟全局节点和扩展图实现了稀疏注意机制。 EXPHORMER的数学特性包括谱扩展、伪随机性和稀疏性使得图转换器具有与图规模线性复杂度和理想的理论特性。 在GraphGPS框架中使用EXPHORMER可以产生在各种图数据集上具有竞争力的实证结果包括在三个数据集上的最新结果。 EXPHORMER可以扩展到比以前的图转换器架构更大的图数据集。 SGFormer
SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations
方法本文提出了一种名为SGFormer的模型通过一个简单的全局注意力模型来学习大图上的节点表示。该模型具有线性的时间和空间复杂度能够高效地处理大规模图。
创新点
SGFormer模型 提出了SGFormer模型它是一种简化的图Transformer模型只使用了单层单头的注意力机制。 SGFormer模型具有线性的时间和空间复杂度能够有效地处理从数千到数十亿个节点的大规模图数据。 SGFormer模型在12个图数据集上取得了非常有竞争力的性能比其他强大的图神经网络和最先进的图Transformer模型都要好。 单层注意力模型的表达能力 通过将Transformer层与信号去噪问题相连接证明了单层注意力模型可以产生与多层注意力相同的去噪效果。 单层注意力模型可以实现最速下降表明它具备足够的表达能力能够学习全局信息。 关注下方《学姐带你玩AI》
回复“结合18”获取全部论文代码
码字不易欢迎大家点赞评论收藏
