如何建立电子商务网站,达内学费价格表,软件开发工具通常也称为,网站栏目页优化论文链接#xff1a;https://arxiv.org/pdf/1711.04071.pdf代码链接#xff1a;https:// github.com/cai-lw/KBGAN 本文针对在生成负样本时有大部分负样本可以很好地和正样本区分开#xff0c;对训练的影响不大#xff0c;提出了使用生成对抗网络#xff08;GANs#xff… 论文链接https://arxiv.org/pdf/1711.04071.pdf代码链接https:// github.com/cai-lw/KBGAN 本文针对在生成负样本时有大部分负样本可以很好地和正样本区分开对训练的影响不大提出了使用生成对抗网络GANs的方法解决生成的负样本不够好的问题。它是第一个考虑用对抗学习生成负样本的工作。设计模型时本文把基于概率的log损失的表示学习模型作为生成器得到更好的负样本质量使用基于距离的边缘损失的表示学习模型作为判别器得到表示学习的最终结果。由于生成器的步骤离散导致不能直接运用梯度反向传播对此作者使用了一步强化学习设置使用一个降低方差的强化方法实现这个目标。方法上本文先列举了两种损失函数(1)Margin loss function:(2)Log-softmax loss function:再通过分析均匀负采样的缺陷等概率替换会使容易区分的负样本对学习的贡献较小会让模型学到一些简单的特征而不是尽可能去理解语义对此作者认为使用log损失函数从替换实体得到的所有负样本中筛选出更有用的负样本很有必要。最后通过模型图我们发现论文使用softmax概率模型为生成器G通过概率分布进行采样判别器部分D接收生成的负样本和ground truth triple并计算分数G通过梯度策略最小化生成的负三元组的分数D通过梯度下降最小化正样本和负样本的边缘损失。假设生成器得到的负样本概率分布为1那么判别器的score function为2生成器的目标是最大化负距离的期望为由于 R_G 是一个离散采样步骤得不到梯度本文借鉴了其他论文提到的梯度策略理论获取梯度进行优化【这一部分论文把这个过程对标到强化学习认为生成器是agent判别器是environment (h, r, t) 是 state负样本概率分布 P_G 是policy(h’, r, t’)是action-f_D(h’, r, t’)是reward认为是 one-step RL 是在每个 epochactions 不会影响 state但每个 action 后会重新从一个不相关的state开始为减小算法方差而不引入新参数作者从 reward 减掉一个常量】概率分布的计算使用以下公式f_G(h, r, t)为生成器的scorefunction算法伪代码如下实验部分论文选用的数据集有FB15K-237, WN18, WN18RR结果发现使用 DISMULT 或 COMPLEX 作为生成器都不会对性能有较大影响且 TransD, TransE 在 KBGAN 中很明显优于它们的 baseline。笔记整理李娟浙江大学直博生研究方向为表示学习.OpenKG.CN中文开放知识图谱简称OpenKG.CN旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
