网站建设网络营销平台 云搜系统,类似站酷的设计类网站,为什么备案关闭网站,好的网站和网页有哪些数学基础
KL散度
描绘一个分布p和另一个分布q之间的偏离程度 当 p ( x ) q ( x ) p(x)q(x) p(x)q(x)时散度取得最小值
JS散度
另一种衡量两个概率分布相似性的方法
GAN
需要训练两个网络#xff1b;损失来回波动#xff0c;不好分辨#xff0c;不容易收敛#xff…数学基础
KL散度
描绘一个分布p和另一个分布q之间的偏离程度 当 p ( x ) q ( x ) p(x)q(x) p(x)q(x)时散度取得最小值
JS散度
另一种衡量两个概率分布相似性的方法
GAN
需要训练两个网络损失来回波动不好分辨不容易收敛可能会学到一些不希望学到的东西即不好掌控
鉴别器D
预测给定的真实样本的概率并区分真假样本
生成器G
通过学习数据分布生成假样本以欺骗判别器获得一个高的数据分布两个模型相互竞争进行博弈并相互进行改进。
Autoencoder Encoder: 将原始高维输入数据转化为低维输入大小大于输出大小 编码器在处理过程中完成了数据的降维 Decoder从代码中恢复数据可能居于越来越大的输出层。
VAE
其思想和其他自编码器模型不同主要用到变分贝叶斯和图形模型VAE通过对Encoder对输入我们这里以图片为输入进行高效编码然后由Decoder使用编码还原出图片在理想情况下还原输出的图片应该与原图片极相近。
Diffusion Model
GAN因为使用对抗训练训练不稳定缺少多样性生成VAE依赖于替代损失流模型必须使用专门的体系结构来构造可逆转换扩散模型受非平衡热力学启发其定义了一个马尔可夫链通过像数据中添加噪声然后反向学习扩散过程进而构造样本
Forward diffusion process
给定从真实数据中采样的数据点并向样本中添加少量高斯噪声产生一系列的有噪声的样本 随着t逐渐变大数据样本逐渐失去可区分的特征最终当T趋于无穷时 X T X_T XT等价于正态高斯分布 可以推出 x t x_t xt的推导公式而当样本逐渐变得嘈杂时更新步幅也随之变大 其中 a t 1 − β t a_t1-\beta_t at1−βt, β \beta β逐渐变大从0.0001到0.002之间进而 α \alpha α也逐渐变小可以看到 x t x_t xt的公式中 x t x_t xt与 x t − 1 x_{t-1} xt−1有关同时再加上一点高斯分布噪音 同理 x t − 1 x_{t-1} xt−1也可以用 x t − 2 x_{t-2} xt−2表示出来带入到 x t x_t xt的表达式中得到红线部分 z 1 , z 2 z_1,z_2 z1,z2两个高斯分布噪音的相加式子中对高斯分布乘上一个数相当于对分布的方差进行变化如果加减操作相当于对分布的均值发生变化因此可以发现二者的方差已经变化 相乘之后的分布仍服从高斯分布因此二者可以做加法新的分布还是高斯分布只不过是方差相加 因此可以看出 x t x_t xt的分布和他的前t项相关是其前t项连乘这样就能做到直接得到加噪过程中任意一项的图像分布。
Reverse Process 反向过程即通过 x t x_t xt逐渐推出 x 0 x_0 x0的过程通过使用贝叶斯公式可以完成这一过程其中 q ( x t ∣ x t − 1 ) q(x_t|x_{t-1}) q(xt∣xt−1)为正向过程已知 q ( x t − 1 ∣ ∣ x 0 ) q(x_{t-1|}|x_0) q(xt−1∣∣x0)也都已知这里三个式子都是服从高斯分布因此乘以一个数和加上一个数分别改变其方差和均值和前面的过程相同。 根据贝叶斯公式需要将其中两项相乘再除以第三项因为这三项都服从正态分布因此将他们做乘除即幂次相加减
参考资料
B站强推2023公认最通俗易的扩散模型【Diffusion】3小时入门到精通比GAN什么是扩散模型
