深圳网站建设seo优化,博客网站排名大全,义乌市建设局网站,wordpress 微官网主题下载论文笔记-NeurIPS2017-DropoutNet: Addressing Cold Start in Recommender Systems DropoutNet#xff1a;解决推荐系统中的冷启动问题摘要1.引言2.前言3.方法3.1模型架构3.2冷启动训练3.3推荐 4.实验4.1实验设置4.2在CiteULike上的实验结果4.2.1 Dropout率的影响4.2.2 实验结… 论文笔记-NeurIPS2017-DropoutNet: Addressing Cold Start in Recommender Systems DropoutNet解决推荐系统中的冷启动问题摘要1.引言2.前言3.方法3.1模型架构3.2冷启动训练3.3推荐 4.实验4.1实验设置4.2在CiteULike上的实验结果4.2.1 Dropout率的影响4.2.2 实验结果 4.3在RecSys上的实验结果 5.总结 DropoutNet解决推荐系统中的冷启动问题
论文: DropoutNet: Addressing Cold Start in Recommender Systems 代码: DropoutNet
摘要
大多数潜在模型主要集中在用户-物品交互的建模上关于冷启动问题的研究相对较少。因此本文提出了一种名为 DropoutNet 的基于神经网络的潜在模型以解决推荐系统中的冷启动问题。与现有方法不同的是DropoutNet 没有引入额外的基于内容的目标项而是专注于优化表明神经网络模型可以通过 dropout 明确训练以应对冷启动问题。
1.引言
冷启动等同于缺失数据问题即缺失偏好信息。因此DropoutNet 并不添加额外的目标项来建模内容而是修改学习过程明确地使模型适应缺失的输入。该方法的关键思想是通过对输入小批量应用dropout训练DNN以对缺失输入进行泛化。
通过选择适当的dropout比例DropoutNet 在热启动时的性能与最先进的模型相当而在冷启动时则显著优于其性能。DropoutNet 比大多数结合内容信息的方法简单并且使用单一的目标函数联合优化所有组件以最大化推荐准确性。该方法的另一个优点是它可以在任何现有的潜在模型之上应用以提供或增强其冷启动能力。
2.前言
定义如下 用户集合: U { u 1 , u 2 , … , u N } U \{ u_1, u_2, \ldots, u_N \} U{u1,u2,…,uN} 物品集合: V { v 1 , v 2 , … , v M } V \{ v_1, v_2, \ldots, v_M \} V{v1,v2,…,vM} 偏好矩阵: R R R 用户 u u u 对物品 v v v 的偏好: R u v R_{uv} Ruv 对物品 v v v 表达偏好的用户集合: U ( v ) { u ∈ U ∣ R u v ≠ 0 } U(v) \{ u \in U \mid R_{uv} \neq 0 \} U(v){u∈U∣Ruv0} 对用户 u u u 表达偏好的物品集合: V ( u ) { v ∈ V ∣ R u v ≠ 0 } V(u) \{ v \in V \mid R_{uv} \neq 0 \} V(u){v∈V∣Ruv0} 冷启动条件: V ( u ) ∅ V(u) \emptyset V(u)∅ 和 U ( v ) ∅ U(v) \emptyset U(v)∅ 用户的内容特征: Φ U \Phi^U ΦU 物品的内容特征: Φ V \Phi^V ΦV 用户 u u u 的内容特征向量: Φ u U \Phi_u^U ΦuU 物品 v v v 的内容特征向量: Φ v V \Phi_v^V ΦvV 当内容缺失时特征向量设置为 Φ u U 0 \Phi_u^U0 ΦuU0或 Φ v V 0 \Phi_v^V0 ΦvV0
3.方法
DropoutNet 使用潜在表示作为偏好输入。潜在模型通常用低秩矩阵 U U U 和 V V V 的乘积来近似偏好矩阵积来近似偏好矩阵 KaTeX parse error: Undefined control sequence: \* at position 19: …uv} \approx U_u\̲*̲V_v^T其中 U u U_u Uu 和 V v V_v Vv 分别是用户 u u u 和物品 v v v 的潜在表示。 U U U 和 V V V 都是密集且低维的秩为 D ≤ min ( N , M ) D \leq \min(N, M) D≤min(N,M)。考虑到潜在方法在各种协同过滤数据集上的强大表现可以合理假设潜在表示准确地总结了用户和物品的偏好信息。此外低输入维度显著降低了深度神经网络DNN的模型复杂性因为第一个隐藏层的激活大小与输入大小成正比。鉴于这些优势将每个用户 u u u 和物品 v v v 的输入设定为 [ U u , Φ u U ] [U_u, \Phi_u^U] [Uu,ΦuU] 和 [ V v , Φ v V ] [V_v, \Phi_v^V] [Vv,ΦvV]。
3.1模型架构
模型架构如图1所示对于每个用户两个形式的输入通过相应的DNN进行处理连接之后传递给微调网络 f U f_U fU然后输出潜在表示 U ^ u \hat{U}_u U^u。对于每个物品得到潜在表示 V ^ v \hat{V}_v V^v。在训练过程中所有组件通过反向传播共同优化。一旦模型训练完成就将其固定并进行前向传播以映射 U → U ^ U \to \hat{U} U→U^ 和 V → V ^ V \to \hat{V} V→V^。所有检索操作都使用 U ^ \hat{U} U^ 和 V ^ \hat{V} V^ 进行相关性评分则按之前的方式估算为 s ^ u v U ^ u V ^ v T \hat{s}_{uv} \hat{U}_u \hat{V}^T_v s^uvU^uV^vT。
3.2冷启动训练
借鉴去噪自编码器的思想本文的目标是学习一个模型即使在输入的部分缺失时仍能产生准确的表示。为此提出了一个目标即在输入通过模型后重现相关性评分 目标O是最小化输入潜在模型和DNN产生的评分之间的差异。当所有的输入可用时也就是热推荐时通过将内容权重设置为0来使模型专注于偏好输入。这意味着模型不再考虑内容的影响只依赖于用户的偏好来生成相关性评分。在这种情况下模型学习到一个恒等函数即对于给定的偏好输入输出的评分与输入完全相同。这是一个理想的状态因为它意味着模型在这种情况下可以准确地反映用户的偏好。
在冷启动情况下 U u U_u Uu 或 V v V_v Vv或两者可能缺失因此主要思路是通过应用输入丢弃dropout进行训练。使用随机的小批量优化随机抽取用户-物品对来计算梯度并更新模型。在每个小批量中随机选择一部分用户和物品并将它们的偏好输入设置为 0然后将小批量传递给模型。对于“丢弃”的对模型必须在没有看到偏好输入的情况下重构相关性评分 使用丢弃dropout进行训练具有双重效果丢弃的对促使模型仅使用内容信息而没有丢弃的对则鼓励模型忽略内容简单地重现偏好输入。这两者的结合可以达到一种平衡。使用丢弃的另一个优点是它最初是作为一种正则化模型的方法开发的。在这里也有类似的效果即使对于更深和更复杂的模型通常也不需要额外的正则化。
类似于去噪自编码器DropoutNet 模型被训练来从噪声版本中重建输入。噪声以丢弃的形式出现完全去除一部分输入维度。然而DropoutNet 的目标不是重建实际的未损坏输入而是最小化原始空间和重建空间中点之间的成对距离。考虑相关性评分 S { U u V v T ∣ u ∈ U , v ∈ V } S \{ U_u V^T_v | u \in U, v \in V \} S{UuVvT∣u∈U,v∈V} 和 S ^ { U ^ u V ^ v T ∣ u ∈ U , v ∈ V } \hat{S} \{ \hat{U}_u \hat{V}^T_v | u \in U, v \in V \} S^{U^uV^vT∣u∈U,v∈V} 作为一维空间中的点集DropoutNet 目标是保留由模型生成的 S ^ \hat{S} S^ 中点的相对排序与原始集 S S S 的相对排序。DropoutNet 专注于重建距离提供了更大的灵活性使模型能够学习全新的潜在空间而不是将其绑定到另一个模型学习的表示上。这个目标类似于许多流行的降维模型它们将数据投影到低维空间中同时保留点之间的相对距离。
3.3推荐
训练完成后固定模型并进行前向传播以推断新的潜在表示。为了在观察到冷启动用户 u u u 的首个偏好时更新潜在表示 U ^ u \hat{U}_u U^u需要推断输入偏好向量 U u U_u Uu。由于许多主流潜在模型使用复杂的非凸目标使用新偏好更新潜在表示是一项非平凡的任务需要迭代优化。为避免这一问题本文使用一个简单的技巧将每个用户表示为其交互过的物品的加权和直到输入潜在模型被重新训练。形式上给定生成了新交互集 V ( u ) V(u) V(u) 的冷启动用户 u u u用该用户在 V ( u ) V(u) V(u) 中物品的平均潜在表示来近似 U u U_u Uu 使用这一近似通过用户 DNN 进行前向传播可以获得更新的表示 U ^ u f U ( mean v ∈ V ( u ) V v , Φ u U ) \hat{U}_u f_U\left(\text{mean}_{v \in V(u)} V_v, \Phi_u^U\right) U^ufU(meanv∈V(u)Vv,ΦuU)。这一过程可以在收集新数据的近实时情况下持续进行直到输入潜在模型被重新训练。冷启动物品的处理方式类似使用用户表示的平均值。通过这种近似获得的表示的分布可能会偏离输入潜在模型生成的分布。使用类似于冷启动的丢弃方法显式地为此进行训练。在学习过程中每个小批量中随机选择的用户和物品的偏好输入被替换为方程 (4)。在丢弃和这一转换之间交替并控制每种转换的相对频率即丢弃比例。算法 1 概述了完整的学习过程。
4.实验
4.1实验设置
数据集CiteULike 和 ACM RecSys 2017
基线WMF、CTR、DeepMusic 和 CDL
4.2在CiteULike上的实验结果
4.2.1 Dropout率的影响
图 2 显示了 dropout 率在 0 到 1 之间的热启动和冷启动 recall100 的准确性。
结论
热启动的准确性几乎保持不变下降幅度不到 1%直到 dropout 达到 0.7 时迅速下降。另一方面冷启动的准确性随着 dropout 的增加而稳步上升。此外在没有 dropout 的情况下冷启动性能较差即使是 0.1 的 dropout 也能使其提高超过 60%。这表明在某些 dropout 值的范围内可以在冷启动准确性上获得显著提升而不会对热启动造成损失。
4.2.2 实验结果
本文使用 WMF 和 CDL 作为输入偏好模型偏好输入 dropout 率均为 0.5热启动和冷启动的 recall100 结果如表 1 所示。
结论 大多数基线在热启动上产生了相似的结果因为几乎所有模型都使用 WMF 目标来建模 R。其中一个例外是 DeepMusic这归因于 DeepMusic 中项目潜在表示仅为内容的函数因此缺乏偏好信息。 DN-WMF 和 DN-CDL 的表现与最佳基线相当表明将偏好信息作为输入添加到模型中显著改善了性能。相比之下像 DeepMusic 这样的仅基于内容的模型效果较差。 Dropout0.5 不会影响热启动性能我们的模型仍然能够恢复输入潜在模型的准确性。冷启动结果则更加多样化最佳冷启动基线如预期为 DeepMusic。
4.3在RecSys上的实验结果 结论 所有基线的表现相近除了 DeepMusic这表明仅基于内容的模型在热启动上不太可能表现良好。 用户和项目冷启动的结果显示 DN-WMF 的表现明显优于 DeepMusic对于大多数截断提升超过 50%。进一步表明即使最终目标是冷启动将偏好信息作为输入纳入模型是非常重要的。
5.总结
提出了 DropoutNet一种用于推荐系统冷启动的深度神经网络模型。DropoutNet 在训练过程中应用输入 dropout以适应缺失的偏好信息。缺失数据的优化迫使模型利用偏好和内容信息而不明确依赖两者同时存在。这使得模型在热启动和冷启动场景中都具有出色的泛化能力。此外与通常具有复杂多项目标函数的现有方法不同DropoutNet 的目标函数只有一个单一项易于实现和优化。DropoutNet 可以有效地应用于任何现有的潜在模型之上提供冷启动能力并充分发挥深度架构在内容建模中的优势。从实证上看DropoutNet 在两个公共基准上展示了最先进的结果。
