安平丝网网站建设,外贸推广信邮件,不懂代码如何开始网站程序建设,网站权重一般有几个等级简介
ESMM#xff08;Entire Space Multi-task Model#xff09;是2018年阿里巴巴提出的多任务学习模型。基于共享的特征表达和在用户整个行为序列空间上的特征提取实现对CTR、CVR的联合训练 解决的问题
SSB#xff08;sample selection bias#xff09;
如下图1所示Entire Space Multi-task Model是2018年阿里巴巴提出的多任务学习模型。基于共享的特征表达和在用户整个行为序列空间上的特征提取实现对CTR、CVR的联合训练 解决的问题
SSBsample selection bias
如下图1所示传统的CVR模型的训练样本是基于点击样本构成的只是真实展现样本的一部分 图1 SSB DBdata sparsity
训练CTR模型的数据量比CTR模型的量级少很多相对较少的数据量增加了模型训练的难度 解决的方案
针对SSB
方案
在整个用户行为序列空间上建模Modeling over entire space
数学表达
如下所示 公式1 其中y、z分别表示CTR、CVR的labelpCTCVR p(y1,z1|x)、pCTR p(y1|x)都是在整个样本空间上建模的最终得到pCVR
针对DB
方案
共享用户整个行为序列空间上的特征表达Feature representation transfer对于CVR网络可以实现从展现但未点击的样本中学习 模型结构和Loss设计
模型结构 图2 ESMM模型结构 其中CTR、CVR网络共享embedding参数。
Loss
考虑Loss的时候考虑pCTCVR、pCTR的交叉熵损失之和而不单独考虑pCTCVR、pCTR来训练模型然后基于公式1计算pCVR。原因在于 可以达到联合训练的目的pCTR是很小的数值若单独训练则采用除法会带来计算的不稳定导致pCVR不在[0,1]区间。 具体的Loss如下所示 公式2 其中l(·)是交叉熵损失函数。 模型效果
数据集
分为Public Datase、Product Dataset均来自淘宝推荐系统的traffic logs。数据集详情如下 图3 数据集大小 数据集下载链接数据集下载链接
各模型相同的参数
激活函数ReLUembedding维度18维MLP每层维度360*200*80*2adam求解器beta1 0.9beta2 0.999平滑项10^(-8)
Public Dataset的模型效果
数据集划分
50%数据训练50%数据做测试
模型效果 图4 Public Dataset的模型效果 对比CVR、CTCVR结果
CTCVR的计算pCTCVR pCTR * pCVRpCVR训练上述的每个模型得到的结果pCTR基于同一个被独立训练的CTR模型和BASE模型采用想用的结构和超参得到
各CVR模型说明
模型样本模型说明BASE有点击的样本结构为图2的ESMM模型结构中的CVR网络AMAN所有的展现样本negative sampling strategyand best results are reported with sampling rate searched in {10%, 20%, 50%, 100%}模型对应的文献One-class collaborative fltering2008年OVERSAMPLING有点击的样本copies positive examples to reduce difficulty of training with sparse data,with sampling rate searched in {2, 3, 5, 10}模型对应的文献Mining with rarity: a unifying framework2004年UNBIAS有点击的样本fit the truly underlying distribution from observations via rejection sampling模型对应的文献Bid-aware gradient descent for unbiased learning with censored data in display advertising2016年DIVISION所有的展现样本estimates pCTR and pCTCVR with individually trained CTR and CTCVR networks and calculates pCVR by 公式1ESMM-NS所有的展现样本a lite version of ESMM without sharing of embedding parametersESMM所有的展现样本相比ESMM-NS有共享的embedding参数
Product Dataset的模型效果 图5 Product Dataset的模型效果 注各模型说明同Public Dataset的模型效果 结尾
亲爱的读者朋友感谢您在繁忙中驻足阅读本期内容您的到来是对我们最大的支持❤️
正如古语所言当局者迷旁观者清。您独到的见解与客观评价恰似一盏明灯能帮助我们照亮内容盲区让未来的创作更加贴近您的需求。
若此文给您带来启发或收获不妨通过以下方式为彼此搭建一座桥梁 ✨ 点击右上角【点赞】图标让好内容被更多人看见 ✨ 滑动屏幕【收藏】本篇便于随时查阅回味 ✨ 在评论区留下您的真知灼见让我们共同碰撞思维的火花
我始终秉持匠心精神以键盘为犁铧深耕知识沃土用每一次敲击传递专业价值不断优化内容呈现形式力求为您打造沉浸式的阅读盛宴。
有任何疑问或建议评论区就是我们的连心桥您的每一条留言我都将认真研读并在24小时内回复解答。
愿我们携手同行在知识的雨林中茁壮成长共享思想绽放的甘甜果实。下期相遇时期待看到您智慧的评论与闪亮的点赞身影✨
万分感谢您的点赞、收藏⭐、评论️、关注❤️ 自我介绍一线互联网大厂资深算法研发工作6年4年以上招聘面试官经验一二面面试官面试候选人400深谙岗位专业知识、技能雷达图已累计辅导15求职者顺利入职大中型互联网公司。熟练掌握大模型、NLP、搜索、推荐、数据挖掘算法和优化提供面试辅导、专业知识入门到进阶辅导等定制化需求等服务助力您顺利完成学习和求职之旅有需要者可私信联系 友友们自己的知乎账号为“快乐星球”定期更新技术文章敬请关注
