中英网站怎么做,装企营销网站建设,北京建设部网站首页,免费版企业邮箱注册2018 ICLR
1 intro
1.1. GCN的不足
无法完成inductive任务 inductive任务是指#xff1a; 训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图上进行#xff0c;测试阶段需要处理未知的顶点。GGN 的参数依赖于邻接矩阵A/拉普拉斯矩阵L#xff0c;所以换了…2018 ICLR
1 intro
1.1. GCN的不足
无法完成inductive任务 inductive任务是指 训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图上进行测试阶段需要处理未知的顶点。GGN 的参数依赖于邻接矩阵A/拉普拉斯矩阵L所以换了一张图就会有不同的A和L处理有向图的瓶颈不容易实现分配不同的学习权重给不同的邻居 1.2 本文思路
引入masked self-attentional layers 来改进前面图卷积的缺点 对不同的相邻节点分配相应的权重既不需要矩阵运算也不需要事先知道图结构attention为每个节点分配不同权重关注那些作用比较大的节点而忽视一些作用较小的节点 2 GAT
和一般注意力机制一样GAT的计算也分为两步 计算注意力系数加权求和
2.1 输入 输出
2.1.1 输入
单个 graph attentional layer的输入是一个节点特征向量集合 N是节点数量F是每个节点特征维度
2.1.2 输出
新的节点特征集合 2.2 计算注意力系数
2.2.1 全局attention的弊端
self-attention是一种Global graph attention会将注意力分配到图中所有的节点上但是这样会存在以下问题 1丢失结构信息 基于空间相似假设一个样本与一定范围内的样本关系较密切2样本较多的时候计算量非常大
2.2.2 masked self-attention
为了解决这一问题作者使用了一种 masked attention 的方法 对于一个样本来说只利用邻域内的样本计算注意力系数和新的表示即仅将注意力分配到节点的一阶邻居节点集上针对每个节点执行 self-attention机制 eij就是i点和其邻居j点的注意力相关系数为一个映射函数这边计算eij的时候漏了一个激活函数论文中使用的是LeakyReLUhihi是点i和点j的特征向量 计算完点i和所有邻居的注意力相关系数后引入softmax对所有相邻节点进行正则化 || 表示拼接concat操作
2.2.3 加权求和
得到归一化的注意力系数后使用归一化的值计算对应特征的线性组合作为每个顶点这一层最后的输出特征
2.2.4 多头自注意力
使用K个独立的 attention 机制然后他们的特征拼接在一起 这样每一层输出的维度为KF‘对于最后一个卷积层不采用拼接的方式合并不同的attention机制的结果了而是采用求平均的方式进行处理
3 实验
3.1 数据集 3.2 实验结果
3.2.1 transductive learning
训练和测试在一张图上 3.2.2 inductive learning
训练和测试不在一张图上
