网上发布信息的网站怎么做的,wordpress收起边栏,深圳网络营销运营,百科网站程序一.推荐系统介绍和应用
(1)推荐系统通俗解读
推荐系统就是来了就别想走了。例如在大数据时代中京东越买越想买#xff0c;抖音越刷越是自己喜欢的东西#xff0c;微博越刷越过瘾。
(2).推荐系统发展简介
1)推荐系统无处不在#xff0c;它是根据用户的行为决定推荐的内容…一.推荐系统介绍和应用
(1)推荐系统通俗解读
推荐系统就是来了就别想走了。例如在大数据时代中京东越买越想买抖音越刷越是自己喜欢的东西微博越刷越过瘾。
(2).推荐系统发展简介
1)推荐系统无处不在它是根据用户的行为决定推荐的内容。用户每天在互联网中都会留下足迹这样就会越来越多的用户画像。
2)为什么要推荐系统
卖的好的商品就那几种其它就不管了吗答案是否定的。80%的销售来自20%的热门商品要想提高销售效率需把不好卖的商品推荐出去。
3)推荐系统发展
1亚马逊1998年用简单的协同过滤做了推荐系统能提高30%的销售额。22015年深度学习崛起(有数据喂过来机器自动来提特征等操作了不用人为主观来判断了)推荐也随着改变。3今天是百花齐放各大论文层出不穷。
(3).应用领域与多方位评测指标
1)广告都是钱如地图导航地图导航上的附近吃玩住的广告单击进去要收费。
2)不仅只是推荐产品还可帮助完成决策例如图模型做的事情太多了真是万物互联。例如可能认识的好友推荐
3)知识图谱也是做好产品的必备技能这样图模型才能做得好。
(4)任务流程与挑战概述
1)推荐系统里的常用词
item:商品embedding:隐向量用数值能让计算机识别的向量例如对用户商品评分矩阵的分解召回粗略计算要返回的结果打分要排名得有一个统一的标准重排最终结果排序。
2)推荐系统经典流程
1模式是离线近线在线(召回粗排精排)。
2离线通常跑较大模型与算法先得到当前数据的大致结果。
3粗排通常跟用户走用户做了什么推荐结果也更新
4精排需根据业务规则返回结果例百度中前几名的结果交的广告钱肯定交得更多。
3)推荐系统的难点与挑战
1人的标签与画像不再是难点但人的兴趣等会变你的推荐结果也要更新吧这时特征工程也肯定要变才行所以构建特征工程现在是难点。
2冷启动怎么办例用户与商品冷启动例用户新进来抖音抖音不知道它的特征标签画像等那抖音推什么给他呢抖音肯定不会放过每个用户。
(5)常用技术点分析
1)embedding方向:如何更好地表示数据让计算机更好地读懂数据肯定不用one-shot(例如一个商品在100个城市中其中只用一个1表示某个城市其它99个都是用0表示来编码这样做就会出现稀疏庞大的矩阵因为99个0没太多实际意义)。隐向量embedding的方法在推荐中几乎无处不用例如常见的点击率估计的FM与DEEPFM算法中。
2)向量就是把内容转成计算机能识别的数字例如一句话当中把每个字都转成不同维度的能让计算机识别的向量来那一句话就能让计算机理解读懂了。向量是数值能参与计算与建模也是我们做特征提取过程中最需要解决的问题。
3)nlp方向:如何基于文本数据来推荐感觉有点难。文本处理方法较多例 如LDA词向量矩阵分解等。
4)知识图谱方向2021年以来最火的技术点肯定要用到推荐系统中。数据越多越能体现知识图谱的强大万物互联。
5)cv方向卷积图卷积图像与视频数据也是用户行为的体现。卷积不仅应用图像与视频数据中矩阵数据都可以尝试卷积。
(6)与深度学习的结合
1)深度学习就是end2end的结构先设计出一个网络然后输入数据到网络中最后等输出结果。把深度学习认为把复杂问题简单化的过程。
2)为什么需要深度学习
宏观人工特征工程难度大深度学习可把特征做得更好。
二.推荐系统中常用的协同过滤与矩阵分解
(1)协同过滤与矩阵分解简介
物以类聚人以群分
1)协同过滤
1基于用户的协同过滤算法
2基于商品的协同过滤算法
2)矩阵分解
1矩阵分解(如何得到用户对所有商品的评价)
2矩阵分解中隐式与显式分解情况
(2)基于用户与商品的协同过滤
1)基于用户的协同过滤(实际运用比较少)
用户的协同过滤关键是相似度计算设计好
1首先找到相似用户(相似度计算)
2属性特征行为特征等都可以当作计算输入。
3例如user1中意1,2,3,4;而user2中意2,3。如果这二个用户计算后相似度较高那就可把1与4推荐给user2
2)用户的协同过滤的不足
1因为用户的数据量是庞大的构建的矩阵将很稀疏并且计算复杂度也很高。例如商品多但用户买的商品却极少。又例如用户与商品都比较大时计算矩阵相似度就很难了。
2人是善变的用户特征也要随时要变
3用户冷启动问题
3)商品的协同过滤(实际运用中这个比较常用)
1还是要先得到用户与商品的交互数据
2若发现物品13经常一起出现我们认为他两相关性较高那这时user2买了物品2与3所以可以把物品1也可推荐给user2了。
(3)相似度计算与推荐实例
用户与电影实例
例如excel中的横向表示用户纵向表示电影现在估计出用户5对电影1的打分。首先算出商品1的协同过滤(即电影1与23等等的相似度值)然后取相似度值为前2的商品出来当作加权系数分别是0.64与0.52而用户5对相似度值前2的商品做了打分分别是2与3分这时就可加权平均估算出用户5对电影1的打分0.64*20.52*3)/(0.640.52)
(4)矩阵分解的目的与效果
例如1亿用户与1000万商品构成的矩阵计算时间是很久的那现在就需想一个中介来作为桥梁把这矩阵分解后计算。
矩阵分解是推荐系统中使用最多的方法了。
例如现有数据横向表示歌曲列向表示用户当用户听过某首歌曲就对应行列中打上1否则空白这时要预测这空白处的值(将听过就1否则打上0)这个矩阵看上去就是一个很稀疏的矩阵来的。
矩阵分解原理就是原矩阵假设为m*n的就如上面的m表示用户n表示歌曲那对它预测时可用上面说的协同过滤方法。当然现在是用矩阵分解来做原理是 m*n的矩阵m*k的矩阵一乘以k*n的矩阵二例如矩阵一中k表示用三维的向量表示每个用户的特征同理矩阵二中k表示用三维的向量表示每个歌曲的特征这样两边矩阵的规模是一样的(shape值一致)。即前一矩阵的列等以后一矩阵的行就可用矩阵乘法。
(5)矩阵分解中的隐向量
通过上面的矩阵分解原理可知隐向量其实就是特征的高维表达只不过很难去理解。而最终目的是预测大矩阵中的空白值我们做法就是给定目标函数这时可想到用机器学习中的回归等算法然后对这二个分解后的小矩阵进行优化最终把大矩阵(m*n)中空白的值补充完整相当于更新了剩下的向量值。最后还原回大矩阵。
(5)目标函数简介
1)原始目标函数与回归方程很像最终目的就是优化后的2个小矩阵还原回去后越接近大矩阵越好。小矩阵优化还是用梯度下降并加上正则惩罚项防止某些值异常大。
2)对原始目标函数进行改进因为用户可能对商品打分很低或商品本身就很好的固有属性所以在原始目标函数中对每一个用户与商品分别加入一个偏置项作为向量的一部分参与计算。
3)公式为设用户矩阵为X商品矩阵为YR为评分的大矩阵a为惩罚项系数。则有
min(sum(R-X转置*Y)的平方)a*(sum(X的平方sum(Y的平方))其中sum表示求累加和。可把前一部分的min(sum(R-X转置*Y)的平方)当作回归后半部分a*(sum(X的平方)sum(Y的平方))当作正则化而正则化一般通用格式就是a*(矩阵的平方)。这里的平方是指向量相乘不是某个貝体值。
(6)隐式情况分析
1)上面说的用户直接对歌曲打分并构建出向量特征的情形是属于显式情况而通常收集的数据是用户的行为没那么直接的例如观看的时间点击次数等指标像这种就是属于隐式情况。
2)这种隐式数据怎么求解呢
1首先定义个置信度例置信度公式为C1k*X其中X是单击次数k是置信度系数1是默认常数表示置信度默认值(即没点击商品C都是为1)。这公式告式告式我们单击次数越多置信度越大。置信度值Y越大越要向用户推荐商品。
2重新定义评分规则是有点击(不管点击次数是多少)的就设为1否则为0设评分值为P。这里点击次数越多为什么评分越高呢因为它公式中还有一个置信值来控制。虽然没有评分但这里自定义出一个评分出来。最后得到隐式情况的最新优化目标的公式为
G(X,Y)(sum(C)*((P-X转置*Y)的平方))a*(sum(X的平方sum(Y的平方))其中C表示置信度值其它与显式中说明的一样。
3从上面隐式这个公式可知置信度值C越大则预测准备点否则它的损失值就越大了。
4隐式公式求解也是交替使用最小二乘法来求解固定Y优化X再固定X优化Y。
六.点击率估计FM与DeepFM算法
(1)CTR(点击通过率:即用户点这个广告的概率)估计与其经典方法概述
人家认为深度学习的逻辑回归或线性神经网络或树模型都可做这种二分类问题因为输入就是一个广告矩阵数据但实际上没那么简单用户是否点击广告与多个因素和环境有关的所以将用FM与DeepFM算法来搞FM与DeepFM算法是要解决特征工程中的特征间的组合。
(2)二项式特征的作用与挑战
1)特征情况特征维度高主要还涉及很多离散型的特征通常都是通过one-shot来处理所以稀疏性高。如果还考虑特征间的组合这样计算起来是相当吓人的。
2)如何解决高维并且非常稀疏的特征
1我们知道最终是解决特征间组合带来的问题这是直接用二阶多项式来解决。二阶多项式的公式Y(X)W0sum(Wi*Xi)sumsum(Wij*Xi*Xj)
其中WiWij都表示权重值sum是指累加和。其中前部分W0sum(Wi*Xi)是线性模型(其中W0当作是偏置项)即W0sum(Wi*Xi)表示的是一阶特征而后面的sumsum(Wij*Xi*Xj)是二阶部分。我们最终目的是算出权重参数值来对于这个公式求解你也许认为和一阶类似直接用梯度下降(偏导)来算但是这真的会没问题吗像Xi*Xj这二个稀疏矩阵(好多为0相乘后大概率会为0那这样用梯度下梯来算就没意义了。所以用以前这种直接用梯度下降来算是有问题的。而且sumsum是相乘的(累加后再相乘)如果维度很大时计算也会很恐怖的。
(3)二阶公式推导与化简
(4)FM算法解析
1)上面公式二阶部分的Wij可用两个隐向量内积表示向量是可由多少个维度表示的。设WijVi,Vj其中Vi与Vj是二个隐向量它的计算主要是对二阶部分做内积展开合并同类项与合并成平方项等操作其实FM是借用隐向量来求解权重值。
2)原公式中的二项式计算的时间复杂度是O(n的平方)现在只需求kn(其中n是指隐向量个数k是维度维度值通常不大例k4)就好像大矩阵mn(小矩阵mk)*(小矩阵kn)。那这些隐向量V又怎么表示出来感觉还要进行预训练很麻烦一样噢解决方法就直接用升级版本DeepFM。
3)特征间组合较多时自然会想到好兄弟神经网络。因为可把神经网络想像成特征提取器当特征庞大到无法人为处理时就用神经网络给我们来做吧。
(5)DeepFM整体架构解读
1)FM融合到神经网络中
1不管用啥算法但凡用深度学习做都更简单了。
2整体架构FMDNN(即隐藏层全连接)最后在(FM输出结果DNN输出结果)上加多一个sigmoid输出概率结果
3embedding是FM的重点它不但是输入进行embedding权重值也是进行embedding
4还是需要进行特征组合的
(6)输入层所需数据样例
输入的一条样本假设有7个特征(用field表示)每个特征由向量组成向量又可以是大于等于1维的向量。例如由男生/女生;哈尔滨/沈阳/长春;打篮球/不打篮球这7个特征组成当取男生,哈尔滨,打篮球时对应的索引值是0,2,5。这三个索引对应的数据值假设均为1其余四个为0这里是指取这些特征就用1表示。在做embedding时传入的通常为索引值而不是实际数据。
(7)embedding层的作用与总结
1)其实是设计多组权重参数
2)其中包括了一阶与二阶的
3)权重参数就是embedding
七.DeepFM算法实战
