博乐建设工程信息网站,pr的选择应该优先选择的链接为,广西住房与建设厅网站首页,wordpress注册报名✍#x1f3fb; 本文作者#xff1a;凌潼、依竹、桅桔、逾溪 1. 概述 当今电商领域#xff0c;内容营销的形式正日趋多样化#xff0c;视频内容以其生动鲜明的视觉体验和迅捷高效的信息传播能力#xff0c;为商家创造了新的机遇。消费者对视频内容的偏好驱动了视频创意供给… ✍ 本文作者凌潼、依竹、桅桔、逾溪 1. 概述 当今电商领域内容营销的形式正日趋多样化视频内容以其生动鲜明的视觉体验和迅捷高效的信息传播能力为商家创造了新的机遇。消费者对视频内容的偏好驱动了视频创意供给的持续增长视觉内容作为连接消费者和商品的桥梁在广告系统中正变得日益重要。 然而与传统的图文内容相比视频内容的制作难度和成本都要高得多。制作一个高质量的视频需要专业的技能、设备以及时间这使得成品的质量层次不齐且难以批量化生产。随着人工智能和生成式内容创造AIGC技术的进步使得通过智能化手段批量制作优质视频创意成为可能并且能够为客户带来显著价值。 近日OpenAI Sora 的发布让人们看到了视频智能创作的曙光如今各大团队也纷纷开始了“国产版 Sora”的探索之路在 Sora 出现之前阿里妈妈智能创作与AI应用团队在视频 AIGC 领域已有近一年的研究和探索与业务相结合我们孵化出了 尺寸魔方、商品视频动效生成等基于扩散模型的视频生成和编辑工具。本文将聚焦于商品视频动效生成介绍我们在视频 AIGC 应用于视频创意上的探索与实践。 借助自研的AtomoVideo 视频生成技术中文阿瞳木视频项目地址https://atomo-video.github.io/我们探索出了一种自动化地将电商平台上现有的图片素材转换为高质量的视频动效的方法并在万相实验室、广告投放平台等场景进行了落地和上线服务于广大阿里妈妈广告客户。 2. 核心技术 整个商品视频动效的生成过程面临诸多挑战尤其是在电商场景下商品主体的细节是不允许被改变的也是商家非常在意的基本准则。因此如何在保持商品外观准确性的同时进行更加合理的动效视频生成是非常值得探索的问题。我们在现有T2V模型的基础上提出使用 Noise Rectification无需训练的噪声矫正器来实现图像到视频的生成为了进一步提升视频连贯性和保真度进而提出 AtomoVideo阿瞳木视频生成技术 将基础模型进行升级赋能电商视频动效生成。 2.1 Noise Rectification: 无需训练的噪声矫正器 文本到图像生成T2I在过去一年取得了飞速的发展诸多设计行业从业者、科技爱好者利用 Stable Diffusion WebUI、ComfyUI 等开源工具已经可以生成摄影级图像和实现商业级落地应用。相比之下受限于训练机器资源和数据集收集困难等挑战视频生成远没有图像生成领域发展迅速近半年随着 Pika、Gen-2 等视频编辑工具的出现社区中也涌现了许多文本到视频生成T2V的工作为了将此类 T2V 的工作迁移至我们的商品动效生成中我们提出了一种无需训练的噪声矫正器Noise Rectification可以自然地实现 T2V 到 I2V 的转变。 具体来说我们对给定图片添加一定步数的噪声以此来模拟训练过程中的加噪过程这样我们便获得了含有输入图像信息的噪声先验在此基础上进行降噪即可保留一定输入图片的风格等信息。然而这种“垫图”式 T2V 生成方式在电商领域对给定图片做动效生成时会丢失大量原图像中的细节信息严重破坏原有图片的美观度。为此我们专门设计了一个与“垫图”生成可以完美配合的噪声矫正器Noise Rectification噪声矫正器流程图如下所示 Noise Rectification示意图 考虑到模型训练无法达到完美损失即模型预测噪声总会存在偏差从而导致视频保真度的降低。为了缓解模型在 DDIM 去噪过程中的误差累积指实际添加的噪声与每一步中模型预测的噪声的差异对于每一步模型预测的噪声我们利用初始采样的噪声对其进行“噪声矫正”即 通过计算预测噪声和真实噪声之间的差异采样加权的计算方式对预测的噪声进行适当调整。通过这种设计我们的方案可以消除第一帧的噪声误差使得第一帧达到完美保真同时其余帧也会和第一帧保持时序内容上的一致。本方案提出的“垫图噪声矫正”策略不需要引入额外的训练直接作用于动效模型的推理阶段即可提高图生视频的保真度。更多技术细节请参见我们的论文 TitleTuning-Free Noise Rectification for High Fidelity Image-to-Video Generation链接https://arxiv.org/abs/2403.02827项目主页https://noise-rectification.github.io/ 使用该方案后的前后对比效果如下能够明显看到动效视频与给定图像一致性的提升结合可控生成技术我们可以完美还原商品细节。但这种针对 T2V 模型的噪声校正策略在更多通用场景下会存在动效幅度较小的缺点关于这一点的解决我们将在下一章节进行介绍我们的改进。 输入图像生成动效直接垫图生成生成动效使用Noise Rectification生成 2.2 AtomoVideo高保真度的I2V模型升级 在商品信息注入和噪声矫正器的加持下商品动效生成已经具备了不错的生成效果我们也基于以上改进在万相实验室上线了动效生成模块的第一版但由于所使用的基础模型为 T2V 模型并非适用于本任务的 I2V 模型且生成时长仅有2s在淘内场景下使用受限。为此我们专门研发了更适用于本任务的 I2V 基础模型称为 AtomoVideo中文阿瞳木视频该模型对视频的时序一致性和图像保真度提升显著模型结构框架图如图所示 AtomoVideo 模型结构图 我们对模型做了如下几个改进包括优质数据集构建、多粒度图像注入、渐进性动作强度训练等。 1 优质数据集构建收集内部千万规模的“文本-视频”数据对利用美观度、文本视觉相关性、主体检测过滤人物视频、动效强度检测等方式清洗得到优质视频数据子集用于视频生成模型训练。同时我们与设计师合作构建了一个更加优质的数据集汇集了大量在美观度和动效质量上均表现出色的高清视频。 2 多粒度图像注入为增强 I2V 生成的图像保真度和时序一致性我们使用了多粒度的图像注入方法在扩散模型输入侧将图像的low-level和high-level语义进行输入在我们实验中这可以在完美还原给定图像保真度的同时增加生成视频的时序一致性。 3 训练方法我们观察到大多数其他工作如Pika、Gen2等很难生成动作幅度大的视频还有一些工作在生成动作幅度较大的视频时稳定性较差。为了克服这一点我们使用了渐进性动作强度增加的多阶段训练方式由低动效视频数据集开始逐步增加至高动效数据集进行训练我们发现这可以帮助模型在生成较大动作幅度视频的同时依然能够维持较好的时序稳定性。 经过如上的改进和大规模训练我们将基础模型升级为可产生4s720P的视频生成模型。更多相关细节可以阅读我们的技术报告 TitleAtomoVideo: High Fidelity Image-to-Video Generation链接http://arxiv.org/abs/2403.01800项目主页https://atomo-video.github.io 部分生成示例如下更多示例可前往项目主页浏览 输入图片输入文本输出视频Muppet walking down the street in a red shirt, cinematic.Flying through an intense battle between pirate ships in a stormy ocean.a singer of a music band 此外我们将I2V基础模型的原始T2I模型部分进行了参数固定而仅对新增的时序建模层和输入层进行训练因此我们可以将社区广泛使用的图像 ControlNet 与 AtomoVideo 进行结合这也是我们相比于 SVD 等视频开源模型的优势。结合 T2I 领域预训练好的 ControlNet可以实现局部控制生成以尽量还原商品细节当前我们上线版本已全部切换为该模型。 2.3 动效场景模板适配 由于输入商品图像的质量一定程度会影响动效生成的效果有较多图片中并未包含任何动态元素这种情况下进行图像到视频的转换显得比较困难容易产出“偏静态”的视频。因此基于以上考量我们与设计师共建了视频动效场景模板并针对每个不同的场景描述定制化了特殊的动态描述。其中视频动效场景列表包含了诸如“山间云海”、“海底世界”等动态场景同时在大促节日时会专门设计一批用于节日宣传的动态模板进行投放如下图是在38大促期间设计的两个动效模板。 场景模板名称AIGC图片动效视频粉色烟花粉色世界 3. 业务应用 当前电商视频动效生成已经在阿里妈妈-万相实验室https://agi.taobao.com和广告投放平台进行上线支持广告主在线生成视频动效。以下是生成的一些样例 输入图片动效视频 4. 总结与展望 近半年AIGC 视频生成技术取得了令人瞩目的飞跃发展。随着 GEN-2、PIKA 1.0、Sora 等视频创作工具和模型的出现影视制作和多媒体设计等行业正迎来一场创造力的革新风暴这些技术正在推动视频内容制作向着更高的逼真度和更强的可控性迈进。本文介绍了我们团队在视频 AIGC 赋能视频广告创意的探索和实践通过基于扩散模型的视频生成技术结合可控生成技术使得静态电商图片栩栩如生地“动”了起来实现了在电商领域的视频 AIGC 应用落地。 然而目前的技术实现还远未触及视频生成的真正潜力在视频画面的稳定性、内容创造的可控性以及视频时长等关键要素上仍有很大的进步空间值得我们探索。Sora 的出现也让我们看到了未来视频创作工具大规模应用的曙光Diffusion Transformer、Scaling Up 等关键技术给了我们很多启发在未来希望不断提升基础模型生成效果的同时用视频 AIGC 技术赋能更多业务场景。 ▐ 关于我们 我们是阿里妈妈智能创作与AI应用团队专注于图片、视频、文案等各种形式创意的智能制作与投放产品覆盖阿里妈妈内外多条业务线欢迎各业务方关注与业务合作。同时真诚欢迎具备CV、NLP相关背景同学加入一起拥抱 AIGC 时代感兴趣同学欢迎投递简历加入我们。✉️ 简历投递邮箱alimama_techservice.alibaba.com END 也许你还想看 《计算机视觉 in 阿里妈妈》文章合集 丨视频尺寸魔方分层遮掩3D扩散模型在视频尺寸延展的应用 丨ACM MM’23 | 4篇论文解析阿里妈妈广告创意算法最新进展 丨营销文案的“瑞士军刀”阿里妈妈智能文案多模态、多场景探索 丨实现模板自由阿里妈妈全自动无模板图文创意生成 丨告别拼接模板 —— 阿里妈妈动态描述广告创意 丨如何快速选对创意 —— 阿里妈妈广告创意优选 丨化繁为简精工细作——阿里妈妈直播智能剪辑技术详解 丨CVPR 2023 | 基于内容融合的字体生成方法 丨CVPR 2023 | 基于无监督域自适应方法的海报布局生成 关注「阿里妈妈技术」了解更多~ 喜欢要“分享”好看要“点赞”哦ღ~
