地方网站全网营销,wordpress主题控制区的标签,网站导航三角怎么做,网站源码下载搭建雷锋网 AI 科技评论按#xff1a;能够迭代进化、模仿指定数据特征的GAN#xff08;生成式对抗性网络#xff09;已经是公认的处理图像生成问题的好方法#xff0c;自从提出以来相关的研究成果不少#xff0c;在图像增强、超分辨率、风格转换任务中的效果可谓是惊人的。 能够迭代进化、模仿指定数据特征的GAN生成式对抗性网络已经是公认的处理图像生成问题的好方法自从提出以来相关的研究成果不少在图像增强、超分辨率、风格转换任务中的效果可谓是惊人的。 具体可以参见 Valse 2017 | 生成对抗网络GAN研究年度进展评述 - 雷锋网(公众号雷锋网) 利用GAN达到图像超分辨率和风格转换示例 今年也有利用GAN做的简笔画到图像转换模型pix2pix代码地址 https://github.com/phillipi/pix2pix demo地址 https://affinelayer.com/pixsrv/ 。除了下图转换猫的还有建筑物的、鞋子的、包包的模型非常有想象力随便画也没关系感兴趣的读者可以自己到demo地址里画画看。 demo中用把线条转换成猫的示例 GAN能生成艺术作品吗 GAN既然已经有如此的图像生成能力了我们能不能用GAN生成艺术作品呢毕竟许多现代艺术作品看照片好像也并不怎么复杂比如下面这幅超写实主义的就更不用说了。 蒙德里安《红黄蓝的构成》 然而要创造出一副人类觉得有艺术价值的作品并没有那么简单。人类喜欢创新性的作品人类不喜欢完全模仿的作品《蒙娜丽莎》和《兰亭集序》只有原作者的原版才被认可是世界艺术瑰宝后世的人就算基于它们创作也要有自己的创新才能带来新的艺术价值才能被观赏者认可。 根据GAN的基本结构鉴别器D要判断生成器G生成的图像是否和其它已经提供给鉴别器D的图像是同一个类别特征相符这就决定了最好的情况下输出的图像也只能是对现有作品的模仿如果有创新就会被鉴别器D识别出来就达不成目标了。上面几个GAN的例子就能体现出鉴别器D带来的这个特点用GAN生成的艺术作品也就注定缺乏实质性的创新艺术价值有限。 那么能不能让GAN具有一些创新的能力让这些创新有艺术价值、带有这些创新的作品还能够被人类认可呢罗格斯大学艺术与人工智能实验室、Facebook人工智能研究院FAIR、查尔斯顿学院艺术史系三方合作的这篇论文就通过CANCreative Adversarial Network创造性对抗网络给出了一种答案。神经网络库Keras的作者François Chollet也在Twitter上推荐了这篇文章。 先看看作品如何 CAN模型生成的一些艺术作品 可以看到生成的艺术作品风格非常多样从简单的抽象画到复杂的线条组合都有内容层次也有区分。论文中也有对比测试结果CAN生成的作品不仅比GAN生成的更讨人喜欢甚至来自巴塞尔艺术展的人类艺术作品都比不上CAN。具体数据看后文 如何认识艺术创新 刚才说到艺术作品需要有创新性CAN中的C就是Creative创新性的意思。那么创新性要如何衡量呢、如何达到呢 以往基于GAN的图像生成方法研究中人类可以把训练好的网络生成的图像和客观事实相对比超分辨率、图像补全问题中或者根据经验判断风格转换问题中用来衡量网络的效果也有过一些更早期的算法让人类作为训练反馈的一环引导网络的训练过程。但是对于这次的课题需要设计一个能自动训练和生成、还要衡量作品的创新性的系统而言以往的方法就起不到什么帮助。 同时在作者们看来为了能模仿人类艺术创作的过程算法中很重要的一部分就是要把算法的创意过程和人类艺术家以往的艺术作品联系起来像人类一样把对以往艺术的理解和创造新艺术形态的能力整合在一起。 为了能够想办法找到一个能够衡量创新性、参与迭代训练的创新性指标作者们找来了一组艺术理论。 D.E.Berlyne认为从生理心理学的角度讲人类的状态中有一种叫做“唤醒水平”的指标它可以衡量一个人有多警醒、多兴奋唤醒水平可以从最低的睡觉、休息一直到暴怒、激动。而一副作品具有“唤醒潜力”的总体特质它可以提升或者降低观者的唤醒水平它是作品新颖性、意外性、复杂性、多义性和疑惑性高低的综合体现这几个属性越高作品的唤醒潜力就越高。 Colin Martindale1943-2008提出过一个假说他认为在任一时刻创意艺术家们都会尝试增加他们作品的“唤醒潜力”这就是一种拓宽创作习惯边界的方法。但是这种增加动作必须使得观察者的负面反应尽可能小尽量使观察者不付出额外的努力否则过于激进的产品就会受到负面的评价。 Colin Martindale还提出过一个假说他认为当艺术家探索艺术风格的更多作用的时候转换艺术风格就会有提高“唤醒潜力”的作用。 这组理论只是解释艺术创新的理论中的寥寥几个但是它们综合起来给出了两个具有计算性的、可以用于迭代训练的指标 创新作品的创新程度不能过高观者不认为作品是艺术作品的可能性应当尽可能小 新的艺术风格就是创新的体现。 CAN网络的构建 根据提炼出的这两个指标论文中基于GAN的原型构建了这样一种新型的对抗性网络CAN。 CAN模型的系统框图 首先对于“指标1创新作品的创新程度不能过高观者不认为作品是艺术作品的可能性应当尽可能小”就可以转换为经典的对抗性网络G生成图像经过艺术作品训练过的D判断G生成图像的是不是艺术作品。这样的对抗性网络生成的图像就已经可以被人类看作是艺术作品。 然后论文中的模型还根据“指标2新的艺术风格就是创新的体现”增加了一部分新结构用来处理艺术风格。 论文中使用了25类不同的带标签艺术作品用于D的训练包含了抽象印象派、立体派、现代派、巴洛克、文艺复兴早期等等风格的共7万5千多幅。然后经过训练的D除了要反馈一幅图像“是否是艺术作品”外还要反馈“能否分辨图像是哪种艺术风格”。G然后就会利用D的反馈生成尽量难以分辨艺术风格的图像——难以归类到现有分类中的就是创新了。 “是否是艺术作品”、“是否难以分辨艺术风格”是两种对立的信号前一种信号会迫使生成器G生成能够被看作的艺术的图像但是假如它在现有的艺术风格范畴中就达到了这个目标鉴别器D就能够分辨出图像的艺术风格了然后生成器就会受到惩罚。这样后一种信号就会让生成器生成难以分辨风格的作品。所以两种信号就可以共同作用让生成器能够尽可能探索整个创意空间中艺术作品的范围边界同时最大化生成的作品尽可能游离于现有的标准艺术风格之外。 这也就是论文标题「CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms」的含义创造性对抗网络可以学习艺术风格然后背离这些现有的风格进行艺术创作。 还说艺术风格现在是“不好分辨”“好分辨”不行吗 相比GANCAN增加的反馈是“是否难以分辨艺术风格”追求的是生成的图像艺术风格难以分辨。虽然根据艺术理论的推导新的艺术风格是一种创新但既然是多加了一个反馈追求“生成的图像艺术风格容易分辨”可以吗会不会也能生成不错的作品呢 从另一个角度看假如追求“难以分辨”的CAN确实比追求“容易分辨”的CAN生成的图像更好那这就是模型选取了合理的反馈的最佳体现。 说做就做。除了CAN之外论文中还建立了三种模型用来对比。 DCGAN 64x64经过艺术作品训练的DCGAN深度卷积生成式对抗网络输出分辨率为64x64 DCGAN 256x256相比DCGAN 64x64生成器多加了两层网络输出分辨率为256x256 scCANstyle-classification-CAN追求“生成的图像艺术风格容易分辨”的CAN 这三种模型生成的画面像下面这样 两种DCGAN和scCAN生成的画面 scCAN生成的画面中确实有了可辨认的风格比如人物特写、风景或者群像。但是直观看上去并不怎么讨人喜欢。 让我们再来看一组CAN生成的图像上方是人类评价最高的、下方是人类评价最低的。应该说都比scCAN生成的图像精彩得多。 人类评价最高和最低的CAN生成的图像 人类能给CAN的图像打几分 根据刚才的图像可以看到CAN的效果当然不错DCGAN 256x256的图像其实也挺好。那么CAN的图像对观画的人来说是不是真的已经难以分辨创作者了呢跟真的艺术家创作的作品相比高下又如何呢 为了具体比较论文中做了几个实验让人类给不同组的作品打分。 实验1、2 来自抽象印象派艺术家的作品、选自巴塞尔艺术展的作品、CAN生成的图像、DCGAN生成的图像一共4组作品由普通人判断这些作品来自人还是电脑并给作品打分。 结果实验1里有53%的人认为CAN的图像是来自人类的认为DCGAN 64x64的图像来自人的有35% 实验2里认为CAN的图像来自人类的比例是75%DCGAN 256x256则是65%。来自抽象印象派艺术家的作品无疑是比例最高的但有意思的是两个实验里认为巴塞尔艺术展的作品来自人的比例都还不如CAN高实验1中41%实验2中48%。 实验2的结果数据先让人类评价者从几个角度评价作品再判断是否是人类创作的。认为图像是人类创作的评价者比例为Q6 实验3让人类评价者从用心程度、视觉结构、互动性、启发性几个角度给作品评分结果CAN全部得分最高。这个结果可谓出人意料。 实验3结果数据 实验4为了确认CAN和scCAN之间新颖性和美学表现的高低请了一群艺术史学生对随机选出的CAN和scCAN图像进行评价。认为CAN的图像更新颖的比例为59.47%认为CAN的图像更加有美学吸引力的比例为60%确实有显著区别。 结论 论文中表示虽然这样的模型还是不能对艺术风格概念有任何语义方面的理解不过它确实展现出了从以往的艺术作品中学习的能力。至于为什么人类会在多个方面给CAN打出高分作者们也希望和大家进行开放性的探讨。 论文原文地址 https://arxiv.org/abs/1706.07068 雷锋网 AI 科技评论编译 本文作者杨晓凡 本文转自雷锋网禁止二次转载原文链接
