辅助色网站,宜昌网站设计公司,网站的建设的公司出名,用帝国cms系统怎么做网站key word: 学术论文 Motivation#xff1a; 传统的EmbeddingMLP算法是通过内积和Hadamard product实现特征交互的#xff0c;这篇文章的作者提出了采用SENET实现动态学习特征的重要性#xff1b;作者认为简单的内积和Hadamard product无法有效对稀疏特征进行特征交互 传统的EmbeddingMLP算法是通过内积和Hadamard product实现特征交互的这篇文章的作者提出了采用SENET实现动态学习特征的重要性作者认为简单的内积和Hadamard product无法有效对稀疏特征进行特征交互因此提出bilinear function实现特征交互提出了FIBINET preface 笔者认为这篇文章没有多大的模型创新点本质上就是使用了SENET和内积与Hadamard product的融合实现 一、模型设计
SENET 实现动态学习特征重要性包括三个部分squeeze step, excitation step and re-weight step,为了方便学习笔者将这一过程更直观的展示出来 Squeeze step对每个field实现mean pooling操作【原来SENET模型是采用max pooling操作】得到一个标量值每一个field对应一个标量值最后输出的向量维度 1 × f i e l d 1 \times field 1×fieldexcitation step 将得到的标量向量经过两层全连接层第一层先实现维度减小第二层FC层再还原原来的维度从而得到每个field的权重值re-weight step最后将得到的权重值与初始输入的embedding进行加权从而提高重要特征的重要性减少不相关特征的重要性 Bilinear-Interaction Layer 本质上就是对内积和Hadamard product的融合作者提出了三种不同field的融合形式 一般性融合的形式化表达 p i j v i ⋅ W ⊙ v j p_{ij}v_i ·W \odot v_j pijvi⋅W⊙vj 其中 v i , v j v_i,v_j vi,vj表示不同field的embedding而 W W W的不同设计决定了三种不同的融合形式
Field-All Type 所有field共有同一个 W W W Field-Each Type 每个field都有一个 W W W共有field个 p i j v i ⋅ W i ⊙ v j p_{ij}v_i ·W_i \odot v_j pijvi⋅Wi⊙vj
Field-Interaction Type 每个field和其他不同的field都有一个 W W W共有field × \times ×field个 p i j v i ⋅ W i j ⊙ v j p_{ij}v_i ·W_{ij} \odot v_j pijvi⋅Wij⊙vj
❓ 为什么作者把这个模块称为bilinear-interaction layer 作者对原始Embedding和经过SENET的Embedding都进行了融合field得到 p [ p 1 , p 2 , . . . , p n ] , q [ q 1 , q 2 , . . . , q n ] p[p_1,p_2,...,p_n],q[q_1,q_2,...,q_n] p[p1,p2,...,pn],q[q1,q2,...,qn]两个向量并对两个向量实现concat操作合成一个新的向量 F c o n c a t ( p , q ) F_{concat}(p,q) Fconcat(p,q) Output Layer
简单形式直接对 F c o n c a t ( p , q ) F_{concat}(p,q) Fconcat(p,q)向量求和并通过 s i g m o i d sigmoid sigmoid函数复杂形式再经过神经网络进行预测输出 二、实验
实验数据集
Criteo2 dataset90%作为训练集
Avazu80%作为训练集
评价指标
AUC
Log loss
实验结果
