免费数据分析网站,好看的网页界面设计,腾讯空间个人认证 企业认证 网站认证哪种功能用途最齐全??,中铁建设集团有限公司下属公司发表于#xff1a;ICML23 推荐指数#xff1a; #paper/⭐ (个人不太喜欢他的行文方法#xff0c;有部分内容有点让人看不懂) 总结#xff1a;很常见的套路#xff1a;构造同配视图异配视图#xff0c;进行同配传播异配传播#xff0c;然后利用类对比损失#xff0c;类重…发表于ICML23 推荐指数 #paper/⭐ (个人不太喜欢他的行文方法有部分内容有点让人看不懂) 总结很常见的套路构造同配视图异配视图进行同配传播异配传播然后利用类对比损失类重构损失进行两次联合训练最后利用KL散度联合优化
思路
异配图的搭建 W ˉ 1. − W , A ˉ 1. − A , H W ˉ ⊙ A ˉ , \bar{W}1.-W,\\\bar{A}1.-A,\\H\bar{W}\odot\bar{A}, Wˉ1.−W,Aˉ1.−A,HWˉ⊙Aˉ,
相似性矩阵的重构 min S i : ∑ j 1 N S i j ∥ x i − x j ∥ 2 \min_{S_{\boldsymbol{i}:}}\sum_{j1}^NS_{\boldsymbol{i}j}\left\|x_i-x_j\right\|^2 Si:minj1∑NSij∥xi−xj∥2 min S i : ∑ j 1 N S i j ∥ x i − x j ∥ 2 S i j 2 . \min_{S_{i:}}\sum_{j1}^NS_{ij}\left\|x_i-x_j\right\|^2S_{ij}^2. Si:minj1∑NSij∥xi−xj∥2Sij2.
图过滤器 F ( I − 1 2 L ) k X , F(I-\frac12L)^kX, F(I−21L)kX, 但是上述式子只考虑了同配图。因此引入异配视图 F μ ( 1 2 L H ) k X ( 1 − μ ) ( I − 1 2 L S ) k X F\mu(\frac12L_H)^kX(1-\mu)(I-\frac12L_S)^kX Fμ(21LH)kX(1−μ)(I−21LS)kX
双图聚类网络 Z F E θ F ( F ) , Z A E θ A ( A ) . Z_{F}E_{\theta_{F}}(F),\\Z_{A}E_{\theta_{A}}(A). ZFEθF(F),ZAEθA(A). Z F Z_{F} ZF代表特征映射 Z A Z_{A} ZA代表结构映射 之后使用CR损失 L C R 1 d 2 ∑ ( M − I ~ ) 2 1 d 2 ∑ i 1 d ( M i i − 1 ) 2 1 d 2 − d ∑ i 1 d ∑ j ≠ i M i j 2 , \begin{aligned} \mathcal{L}_{CR} \frac1{d^2}\sum\left(\mathbf{M}-\widetilde{\mathbf{I}}\right)^2 \\ \frac1{d^2}\sum_{i1}^d\left(\mathbf{M}_{ii}-1\right)^2\frac1{d^2-d}\sum_{i1}^d\sum_{j\neq i}\mathbf{M}_{ij}^2, \end{aligned} LCRd21∑(M−I )2d21i1∑d(Mii−1)2d2−d1i1∑dji∑Mij2, 如果不理解可以理解为对比损失。建议将对比损失和这个一起思考就可以搞明白对比损失的实质了。这个损失是常用的套路) 其中 M i j Z A i ⊤ Z F j ∥ Z A i ∥ ⋅ ∥ Z F j ∥ . M_{ij}\frac{Z_{Ai}^\top Z_{Fj}}{\|Z_{Ai}\|\cdot\|Z_{Fj}\|}. Mij∥ZAi∥⋅∥ZFj∥ZAi⊤ZFj. 第二步又引入了SCE损失作为特征F的重构损失并用 β \beta β来控制缩放率 L S C E ∑ i 1 N ( 1 − F i ⊤ F ˉ i ∥ F i ∥ ⋅ ∥ F ˉ i ∥ ) β , β ≥ 1 \mathcal{L}_{\mathrm{SCE}}\sum_{i1}^N\left(1-\frac{F_i^\top\bar{F}_i}{\|F_i\|\cdot\|\bar{F}_i\|}\right)^\beta,\beta\geq1 LSCEi1∑N(1−∥Fi∥⋅∥Fˉi∥Fi⊤Fˉi)β,β≥1 最后用KL散度对结果进行优化 L C L U K L ( P ∥ Q ) ∑ i ∑ u p i u log p i u q i u \mathcal{L}_{CLU}KL(P\|Q)\sum_i\sum_up_{iu}\log\frac{p_{iu}}{q_{iu}} LCLUKL(P∥Q)i∑u∑piulogqiupiu 联合优化损失如下 L L C R L S C E L C L U . \mathcal{L}\mathcal{L}_{CR}\mathcal{L}_{SCE}\mathcal{L}_{CLU}. LLCRLSCELCLU.
