做网站付款会有凭证吗,河南省人事考试网,网络广告推广计划方案,全网营销推广运营培训学校文章目录生成对抗网络(GAN)基础生成对抗网络 优点#xff1a;缺点#xff1a;生成对抗网络深度GANDCGAN结构细节特征研究DCGAN总结条件GAN模型结构INFOGANInfoGAN: 自动学习z中部分变量意义Wasserstein GANGAN存在问题原因WGAN特点改进方法#xff1a;生成对抗网络(GAN)基础…
文章目录生成对抗网络(GAN)基础生成对抗网络 优点缺点生成对抗网络深度GANDCGAN结构细节特征研究DCGAN总结条件GAN模型结构INFOGANInfoGAN: 自动学习z中部分变量意义Wasserstein GANGAN存在问题原因WGAN特点改进方法生成对抗网络(GAN)基础
组成 D 判别网络 G 生成网络 Loss判别是真实模型的概率是否真值 原理 z: 均匀分布变量 x某空间的数据 zx 生成某空间数据 黑线目标标准分布 绿线生成数据分布 蓝线判断函数 根据x大小判断是否真实的概率
初始状态生成数据同真实数据差距明显容易判别训练过程对是否真实判断得到的loss引导生成模型更新 差距减少最终状态生成数据同真实数据相似无法识别假设前提判别模型D生成模型G具有学习能力能够收 敛 目标 Grelusigmoid nnDmaxout
生成对抗网络 优点
不需要大量label数据 loss来源于D判定产生大量生成数据用 于训练接近无监督学 习可以和深度神经网络 结合
缺点
数据直接生成没有 推导过程生成器判别器需要 配合共同训练难度较大容易出现训练失败
生成对抗网络
可能性
连接神经网络扩展输入不仅是噪声信号时域信号生成
深度GAN
卷积神经网络GAN 变化生成器 G判别器 D(conv feat -1)
DCGAN结构细节
没有pooling stride conv或deconv运用batchnorm不要FC非线性激励ReLU(G), LeakyReLU (D).
特征研究
向量运算 噪声输入运算生成不同图片 向量运算 方向插值生成中间朝向数据
DCGAN总结
GAN同深度CNN网络结合噪声输入有着重要作用可以实现有意义运 算对输入信号实际意义可以有更深研究定性 输出有可能
条件GAN
cGANconditional 用一些信息对GAN的生成图片进行范围约束 信息的类型文字图片 训练过程输入 随机信息 约束信息特征 约束条件是图片生成相关的图片 映射关系无限可能 图片分割 轮廓生成 热图生成 图片补全 高精度生成
模型结构
随机输入同图片结合 G学习图片到转化图片的映射 关系D判断生成图片和真实 图片是否一致 cGANconditional 模型结构DPatchGAN 图片整体优化会造成生成的图片边界模糊高 频信息难以估计。 解决方案判别器关注在local区域
INFOGAN
DCGAN中随机参数z的值有一定实际意义如果有 text label可以学习这种约束关系如果没有label数据 能否自动学会确定映射关系
InfoGAN: 自动学习z中部分变量意义
Z分为两部分c和zc代表数据分布某种物理意义z随机信号DCGANInfoGAN 没有额外数据标注 DCGAN z对生成数据控制作用不确定需要尝试观察 InfoGAN 没有额外标注能够学到c与生成图片关系。 引 入Mutual Info概念。参与目标函数的确定关系越紧密I越 高训练过程使Mutual Info高实现生成图片同c的联系。 InfoGAN结果 确定c向量长度 观察各个c物理意义 特点无监督学习 自动学到模式 可用于生成特点图片 要求训练图片模式 比较明显
Wasserstein GAN
GAN存在问题
训练困难G k次D一次。。 Loss无法知道优化 生成样本单一 改进方案靠暴力尝试
原因
Loss函数选择不合适使模型容易面临梯度消失 梯度不稳定优化目标不定导致模型失败
WGAN特点
无需平衡DG的训练组合解决collapse model问题保证样本多样性结构更改简单有效
改进方法
判别器最后一层去掉sigmoid生成器和判别器的loss不取log判别器的参数更新截断不要用基于动量的优化算法
