个体工商户软件开发网站建设维护,写字就能赚钱做网站,右翼网站,郑州快速网站优化公司首选目前#xff0c;多数文生图模型皆使用的是随机采样模式#xff0c;使得每次生成的图像效果皆不同#xff0c;在生成连贯的图像方面非常差。
例如#xff0c;想通过AI生成一套图像连环画#xff0c;即便使用同类的提示词也很难实现。虽然DALLE 3和Midjourney可以对图像实现…目前多数文生图模型皆使用的是随机采样模式使得每次生成的图像效果皆不同在生成连贯的图像方面非常差。
例如想通过AI生成一套图像连环画即便使用同类的提示词也很难实现。虽然DALL·E 3和Midjourney可以对图像实现连贯的生成控制但这两个产品都是闭源的。
因此英伟达和特拉维夫大学的研究人员开发了免训练一致性连贯文生图模型——ConsiStory。即将开源
论文地址https://arxiv.org/abs/2402.03286 目前文生图模型在生成内容一致性方面比较差的原因主要有两个1无法识别和定位图像中的共同主体文生图像模型没有内置的对象检测或分割模块,很难自动识别不同图像中的相同主体
2无法在不同图像中保持主体的视觉一致性即使定位到主体,也很难使不同步骤中独立生成的主体在细节上保持高度相似。
主流解决这两种难题的方法是基于个性化和编码器的优化方法。但这两类方法都需要额外的训练流程例如针对特定主体微调模型参数,或使用目标图像训练编码器作为条件。
即便使用了这种优化方法训练周期较长难以扩展到多个主体,且容易与原始模型分布偏离。
而ConsiStory提出了一种全新的方法通过共享和调整模型内部表示,可以在无需任何训练或调优的情况下实现主体的一致性。
值得一提的是ConsiStory可以作为一种插件帮助其他扩散模型提升文生图的一致性和连贯性。
主体驱动自注意力SDSA
SDSA是ConsiStory的核心模块之一可以在生成的图像批次中共享主体相关的视觉信息,使不同图像中的主体保持一致的外观。
SDSA主要扩大了扩散模型中自注意力层,允许一个图像中的“提示词”不仅可以关注自己图像的输出结果,还可以关注批次中其他图像的主体区域的输出结果。
这样主体的视觉特征就可以在整个批次中共享,不同图像中的主体互相对齐。 为了防止背景区域之间的敏感信息泄露,该模块使用主体分割蒙版来进行遮蔽——每个图像只能关注批次中其他图像主体区域的输出结果。 主体蒙版是通过扩散模型本身的交叉注意力特征自动提取。
特征注入
为了进一步增强主体不同图像之间细节层面的一致性“特征注入”基于扩散特征空间建立的密集对应图可以在图像之间共享自注意力输出特征。
同时图像中一些相似的优化地方之间共享自注意力特征这可以有效确保主体相关的纹理、颜色等细节特征在整个批次中互相对齐。 特征注入也使用主体蒙版进行遮蔽,只在主体区域执行特征共享。同时还设置相似度阈值,只在足够相似的优化之间执行。
锚图像和可重用主体
ConsiStory中的锚图像提供了主题信息的参考功能主要用于引导图像生成过程确保生成的图像在主题上保持一致。
锚图像可以是用户提供的图像也可以是从其他来源获取的相关图像。在生成过程中模型会参考锚图像的特征和结构并尽可能地生成与一致性的图像。 可重用主体是通过共享预训练模型的内部激活来实现主题一致性的方法。在图像生成过程中模型会利用预训练模型的内部特征表示来对生成的图像进行对齐而无需进一步对齐外部来源的图像。 也就是说生成的图像可以相互关注、共享特征这使得ConsiStory实现了0训练成本避免了传统方法中需要针对每个主题进行训练的难题。
本文素材来源ConsiStory论文如有侵权请联系删除
END
