学校网站页面设计,做网站要会那些ps,简述网站规划的任务,qq直接登录网站无需下载今天#xff0c;带大家一起来了解一下如今非常火热的深度学习模型#xff1a;生成对抗网络#xff08;Generate Adversarial Network#xff0c;GAN#xff09;。GAN 非常有趣#xff0c;我就以最直白的语言来讲解它#xff0c;最后实现一个简单的 GAN 程序来帮助大家加… 今天带大家一起来了解一下如今非常火热的深度学习模型生成对抗网络Generate Adversarial NetworkGAN。GAN 非常有趣我就以最直白的语言来讲解它最后实现一个简单的 GAN 程序来帮助大家加深理解。什么是 GAN好了GAN 如此强大那它到底是一个什么样的模型结构呢我们之前学习过的机器学习或者神经网络模型主要能做两件事预测和分类这也是我们所熟知的。那么是否可以让机器模型自动来生成一张图片、一段语音而且可以通过调整不同模型输入向量来获得特定的图片和声音。例如可以调整输入参数获得一张红头发、蓝眼睛的人脸可以调整输入参数得到女性的声音片段等等。也就是说这样的机器模型能够根据需求自动生成我们想要的东西。因此GAN 应运而生GAN即生成对抗网络主要包含两个模块生成器Generative Model和判别器Discriminative Model。生成模型和判别模型之间互相博弈、学习产生相当好的输出。以图片为例生成器的主要任务是学习真实图片集从而使得自己生成的图片更接近于真实图片以“骗过”判别器。而判别器的主要任务是找出出生成器生成的图片区分其与真实图片的不同进行真假判别。在整个迭代过程中生成器不断努力让生成的图片越来越像真的而判别器不断努力识别出图片的真假。这类似生成器与判别器之间的博弈随着反复迭代最终二者达到了平衡生成器生成的图片非常接近于真实图片而判别器已经很难识别出真假图片的不同了。其表现是对于真假图片判别器的概率输出都接近 0.5。对 GAN 的概念还是有点不清楚没关系举个生动的例子来说明。最近红色石头想学习绘画是因为看到梵大师的画作也想画出类似的作品。梵大师的画作像这样说画就画红色石头找来一个研究梵大师作品很多年的王教授来指导我。王教授经验丰富眼光犀利市面上模仿梵大师的画作都难逃他的法眼。王教授跟我说了一句话什么时候你的画这幅画能骗过我你就算是成功了。红色石头很激动立马给王教授画了这幅画王教授轻轻扫了一眼满脸黑线气的直哆嗦“0 分这也叫画差得太多了” 听了王教授的话红色石头自我反省确实画的不咋地连眼睛、鼻子都没有。于是又 重新画了一幅王教授一看不到 2 秒钟就丢下四个字1 分重画红色石头一想还是不行画得太差了就回去好好研究梵大师的画作风格不断改进重新创作直到有一天红色石头拿着新的画作给王教授看王教授看了一看说有点像了。我得仔细看看。最后还是跟我说不行不行细节太差继续重新画吧。唉王教授越来越严格了红色石头叹了口气回去继续研究最后将自我很满意的一幅画交给了王教授鉴赏这下王教授戴着眼镜仔细品析许久之后王教授拍着我的肩膀说画得很好我已经识别不了真假了。哈哈得到了王教授的夸奖和肯定心里美滋滋终于可以创作出梵大师样的绘画作品了。下一步考虑转行去。好了例子说完了接受大家对我绘画天赋的吐槽。这个例子其实就是一个 GAN 训练的过程。红色石头就是生成器目的就是要输出一幅画能够骗过王教授让王教授真假难辨王教授就是判别器目的就是要识别出红色石头的画作判断其为假的整个过程就是“生成 — 对抗”的博弈过程最终红色石头生成器输出一幅“以假乱真”的画作连王教授判别器都难以区分了。这就是 GAN懂了吧。GAN 模型基本结构在认识 GAN 模型之前我们先来看一看 Yann LeCun 对未来深度学习重大突破技术点的个人看法The most important one, in my opinion, is adversarial training (also called GAN for Generative Adversarial Networks). This is an idea that was originally proposed by Ian Goodfellow when he was a student with Yoshua Bengio at the University of Montreal (he since moved to Google Brain and recently to OpenAI).This, and the variations that are now being proposed is the most interesting idea in the last 10 years in ML, in my opinion.Yann LeCun 认为 GAN 很可能会给深度学习模型带来新的重大突破是20年来机器学习领域最酷的想法。这几年 GAN 发展势头非常强劲。下面这张图是近几年 ICASSP 会议上所有提交的论文中包含关键词 “generative”、“adversarial” 和 “reinforcement” 的论文数量统计。数据表明2018 年包含关键词 “generative” 和 “adversarial” 的论文数量发生井喷式增长。不难预见 未来几年关于 GAN 的论文会更多。下面来介绍一下 GAN 的基本结构我们已经知道了 GAN 由生成器和判别器组成各用 G 和 D 表示。以生成图片应用为例其模型结构如下所示GAN 基本模型由 输入 Vector、G 网络、D 网络组成。其中G 和 D 一般都是由神经网络组成。G 的输出是一幅图片只不过是以全连接形式。G 的输出是 D 的输入D 的输入还包含真实样本集。这样 D 对真实样本尽量输出 score 高一些对 G 产生的样本尽量输出 score 低一些。每次循环迭代G 网络不断优化网络参数使 D 无法区分真假而 D 网络也在不断优化网络参数提高辨识度让真假样本的 score 有差距。最终经过多次训练迭代GAN 模型建立最终的 GAN 模型中G 生成的样本以假乱真D 输出的 score 接近 0.5即表示真假样本难以区分训练成功。这里重点要讲解一下输入 vector。输入向量是用来做什么的呢其实输入 vector 中的每一维度都可以代表输出图片的某个特征。比如说输入 vector 的第一个维度数值大小可以调节生成图片的头发颜色数值大一些是红色数值小一些是黑色输入 vector 的第二个维度数值大小可以调节生成图片的肤色输入 vector 的第三个维度数值大小可以调节生成图片的表情情绪等等。GAN 的强大之处也正是在于此通过调节输入 vector就可以生成具有不同特征的图片。而这些生成的图片不是真实样本集里有的而是即合理而又没有见过的图片。是不是很有意思呢下面这张图反映的是不同的 vector 生成不同的图片。说完了 GAN 的模型之后我们再来简单看一下 GAN 的算法原理。既然有两个模块G 和 D每个模块都有相应的网络参数。先来看 D 模块它的目标是让真实样本 score 越大越好让 G 产生的样本 score 越小越好。那么可以得到 D 的损失函数为其中x 是真实样本G(z) 是 G 生成样本。我们希望 D(x) 越大越好D(G(z)) 越小越好也就是希望 -D(x) 越小越好-log(1-D(G(z))) 越小越好。从损失函数的角度来说能够得到上式。再来看 G 模块它的目标就是希望其生成的模型能够在 D 中得到越高的分数越好。那么可以得到 G 的损失函数为知道了损失函数之后接下来就可以使用各种优化算法来训练模型了。动手写个 GAN 模型接下来我将使用 PyTorch 实现一个简单的 GAN 模型。仍然以绘画创作为例假设我们要创造如下“名画”以正弦图形为例生成该“艺术画作”的代码如下def artist_works(): # painting from the famous artist (real target) r 0.02 * np.random.randn(1, ART_COMPONENTS) paintings np.sin(PAINT_POINTS * np.pi) r paintings torch.from_numpy(paintings).float() return paintings
然后分别定义 G 网络和 D 网络模型G nn.Sequential( # Generator nn.Linear(N_IDEAS, 128), # random ideas (could from normal distribution) nn.ReLU(), nn.Linear(128, ART_COMPONENTS), # making a painting from these random ideas)D nn.Sequential( # Discriminator nn.Linear(ART_COMPONENTS, 128), # receive art work either from the famous artist or a newbie like G nn.ReLU(), nn.Linear(128, 1), nn.Sigmoid(), # tell the probability that the art work is made by artist
)我们设置 Adam 算法进行优化opt_D torch.optim.Adam(D.parameters(), lrLR_D)
opt_G torch.optim.Adam(G.parameters(), lrLR_G)最后构建 GAN 迭代训练过程plt.ion() # something about continuous plottingD_loss_history []
G_loss_history []
for step in range(10000): artist_paintings artist_works() # real painting from artist G_ideas torch.randn(BATCH_SIZE, N_IDEAS) # random ideas G_paintings G(G_ideas) # fake painting from G (random ideas) prob_artist0 D(artist_paintings) # D try to increase this prob prob_artist1 D(G_paintings) # D try to reduce this prob D_loss - torch.mean(torch.log(prob_artist0) torch.log(1. - prob_artist1)) G_loss torch.mean(torch.log(1. - prob_artist1)) D_loss_history.append(D_loss) G_loss_history.append(G_loss) opt_D.zero_grad() D_loss.backward(retain_graphTrue) # reusing computational graph opt_D.step() opt_G.zero_grad() G_loss.backward() opt_G.step() if step % 50 0: # plotting plt.cla() plt.plot(PAINT_POINTS[0], G_paintings.data.numpy()[0], c#4AD631, lw3, labelGenerated painting,) plt.plot(PAINT_POINTS[0], np.sin(PAINT_POINTS[0] * np.pi), c#74BCFF, lw3, labelstandard curve) plt.text(-1, 0.75, D accuracy%.2f (0.5 for D to converge) % prob_artist0.data.numpy().mean(), fontdict{size: 8}) plt.text(-1, 0.5, D score %.2f (-1.38 for G to converge) % -D_loss.data.numpy(), fontdict{size: 8}) plt.ylim((-1, 1));plt.legend(loclower right, fontsize10);plt.draw();plt.pause(0.01)plt.ioff()
plt.show()我采用了动态绘图的方式便于时刻观察 GAN 模型训练情况。迭代次数为 1 时迭代次数为 200 时迭代次数为 1000 时迭代次数为 10000 时完美经过 10000 次迭代训练之后生成的曲线已经与标准曲线非常接近了。D 的 score 也如预期接近 0.5。完整代码有 .py 和 .ipynb 两种版本需要的请点击「阅读原文」获取。一个值得关注的 AI 技术的公众号。作者红色石头是专注于人工智能的 CSDN 博客专家和知乎专栏作者。本公众号主要涉及人工智能领域 Python、ML 、CV、NLP 等前沿知识、干货笔记和优质资源我们致力于为您提供切实可行的 AI 学习路线。个人网站 www.redstonewill.comAI有道优质文章精选干货 | 126 篇 AI 原创文章精选ML、DL、资源、教程 【通俗易懂】机器学习中 L1 和 L2 正则化的直观解释 简单的交叉熵损失函数你真的懂了吗 划重点十分钟掌握牛顿法凸优化 简单的梯度下降算法你真的懂了吗夕小瑶的卖萌屋_关注星标小夕带你解锁AI秘籍订阅号主页下方「撩一下」有惊喜哦
