网站被抄袭怎么办,网页制作q元素,做ppt网站动态,兰州 网站建设公司哪家好来源#xff1a;AI科技评论作者#xff1a;琰琰编辑#xff1a;刘冰一在不少玩家眼中#xff0c;GTA 5#xff08;GTA V#xff09;称得上是一款旷世神作#xff01;GTA 也叫“侠盗猎车手”#xff0c;是R星旗下一款超高人气动作冒险类游戏#xff0c;目前已经发售至第… 来源AI科技评论作者琰琰编辑刘冰一在不少玩家眼中GTA 5GTA V称得上是一款旷世神作GTA 也叫“侠盗猎车手”是R星旗下一款超高人气动作冒险类游戏目前已经发售至第五版。这款以犯罪为主题的经典游戏极具真实感它的背景是以美国洛杉矶和南部加州为原型三位角色也有着和人类相同的世界观玩家可以任意选择或者切换角色每个角色都有独立的人格和故事。更有意思的是这款游戏在剧情和动作设计堪称一部好莱坞大片疾驰的赛车、激烈的枪战、精彩的追逐让不少玩家欲罢不能。如果硬要给这款游戏提点改进意见可能就是提升提升场景的真实感毕竟哪个玩家不想在现实世界上演“速度与激情”呢没想到英特尔AI 实验室真的把这个奢望变成了现实。最近该实验室研究团队提出了一种增强合成图像的新方法该方法把GTA中的城市街景变成了真实世界的场景。再来看一张与GTA V场景的对比图画面中的汽车、天空、路面变得更加平滑更有光泽感。光秃秃的草地也变成了更浓密颜色更鲜亮的草丛。还自动“脑补”出了右侧的建筑物这种增强图像方法并非1:1还原了游戏中的原始街景而是在此基础上渲染和生成了一个全新的城市样貌。研究人员介绍其AI算法使用了来自德国真实街景的Cityscapes数据集通过对该数据集的训练AI“脑补”出了不存在的汽车、街道和建筑物等使其场景更具真实感。以下是完整视频内容1实现方法这项研究成果出自Intel AI 实验室发表的一篇名为“Enhancing photorealism enhancement”的研究论文。这篇论文对图像增强的实际工作原理提供了深入、彻底的理解。论文地址https://arxiv.org/pdf/2105.04619.pdf用AI渲染游戏人物和场景的概念并不新鲜但现有方法大多会产生严重的伪影不稳定或者渲染速度太慢。在本篇论文中研究人员提出了一种基于卷积网络的增强合成图像真实感的新方法。具体来说卷积网络利用传统渲染管道生成中间表示通过新的对抗目标训练在多个感知层次上提供强大的监督。在训练过程中对图像块进行采样以消除图像伪影。最后经过对深层网络模块的多种体系结构的改进。实验结果表明与最近的图像到图像转换方法和各种其他基线相比该方法在稳定性和真实性方面取得了实质性进展。以上为具体方法的概述图为了提高输出图像的真实感研究人员在该网络中添加了额外输入。具体来说他们从图像管道中提取了中间渲染缓冲区intermediate rendering buffers G-buffers。G-buffer经过编码器网络处理后能够提供图像场景中关于景深、形状、光照、透明度、材质等特征信息。这些特征将作为图像增强网的输入用来调制图像特征。图像增强网络采用HRNetV2架构它在各种密集预测任务上表现出了很强的性能。HRNet能够以不同分辨率运行的多个分支处理图像。同时以较高的分辨率呈现更精细的图像结构。在篇工作中研究人员对其进行了如下调整第一用regular卷积代替初始的strided 卷积使网络在全分辨率下运行并保留更精细的细节。第二在每个分支中的residual blocks 中通过渲染感知非规范化rendering-aware denormalization ,RAD模块来替换批处理规范化层。Residual blocks由卷积层核大小为3、光谱归一化spectral normalization和ReLUs组成。它在Conv 1和Conv P中执行通道宽度的改变或缩小。如果通道宽度和分辨率不变则省略Conv P的推理环节。RAD模块和G-buffer编码器中均有使用Residual blocks。RAD模块通过几何图形、材料、光照等来自G-buffer的语义信息来调制图像特征张量。这些图像特征通过group normalization进行标准化然后再通过元素权重γ, β进行缩放和移位。每个RAD模块中有三个Residual blocks来变换G-buffer特征可以更好地适应权重变化。在训练方面图像增强网络有两个目标。第一用LPIPS loss评估输入和输出图像之间的差异。第二用鉴别器评估增强图像的真实性。鉴别器用来区分经过网络增强的图像和来自数据集的真实图像。它由健壮的语义分割网络、感知特征提取网络和多个鉴别器网络组成。研究人员采用MSeg进行语义分割VGG16进行感知特征提取。这两个网络都是预训练的在训练图像增强网络时没有进行优化。然后将分割网络应用于来自目标数据集的真实图像和未修改的渲染图像这为真实图像和合成图像提供了兼容的语义信息。将VGG特征提取网络应用于真实图像和增强图像。在被训练的过程中鉴别器使用一种特定的采样策略来选择真实和合成的图像块以显著减少常见的伪影。2实验评估论文中研究人员进行了一组对照实验具体评估了采样策略、G-buffers、使用G-buffers的架构以及对抗性损失的不同设置等指标。结果如下图在采样策略方面通过对uniform采样与matching patch pairs采样在不同尺寸196、256、400下的对比表明较小的patch减少了原始和目标图像数据之间的不匹配较大的patch伪影更强如下图第2列和第3列。较小的patch采样可显著降低sKVD。在matching patches采样中中高层次的sKVD有所降低了而最低层次上的sKVD略有增加。这可以解释为uniform采样patch的优势是可以被更高水平的分布不匹配所抵消。在引入G-buffers策略上对比了三种方法第一简单地将它们附加到渲染图像Concat中。它使用标准的HRNet架构进行图像增强没有RAD模块或RAD块。第二将RAD模块替换为SPADE模块。第三使用本篇论文的RAD模块。结果表明简单的concatenation比SPADE模有更好的结果。SPADE模块在整个数据集中很不稳定对比真实图像有明显的伪影和颜色偏差。如下图中间列在鉴别器评估方面比较了PatchGAN它使用四个鉴别器网络每个鉴别器网络以不同的比例摄取图像。实验表明PatchGAN鉴别器的输出结果明显缺乏真实感。如下图推理层和自适应反向传播都发挥了作用但不在同一感知水平。如果移除自适应反向传播会降低最高层次上sKVD移除推理层会增加高层次的sKVD。当考虑到所有层次时推理和自适应反向传播相结合是有益的。推理层的效果如下图总的来说本篇论文的方法显著增强了渲染图像的真实感。针对真实数据集中具有清晰对应关系的物体和场景它能够产生高质量的增强这些增强在几何和语义上与输入图像一致同时与相应数据集的样式相匹配。在 Geforce RTX 3090 GPU上该方法在当前未优化的实现中推理需要半秒钟。由于用作输入的G-buffer是在GPU上生成的因此可以更深入地集成到游戏引擎中提高效率和真实感水平。此外该方法生成的图像在结构上与输入场景一致这有助于使用可用于合成数据的基本事实注释。为了支持未来的研究研究人员将发布GTAV和VIPER数据集的增强图像。引用链接https://www.theverge.com/2021/5/12/22432945/intel-gta-v-realistic-machine-learning-cityscapes-datasethttps://www.engadget.com/gta-v-ai-photorealism-135046313.html未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
