wordpress用qq,西安seo网站关键词,网站制作网站设计,asp资源下载网站MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion 文生图模型
用于根据给定像素到像素对应关系的文本提示生成一致的多视图图像。
MVDiffusion 会在给定任意每个视图文本的情况下合成高分辨率真实感全景图像#xff0c;或将…MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion 文生图模型
用于根据给定像素到像素对应关系的文本提示生成一致的多视图图像。
MVDiffusion 会在给定任意每个视图文本的情况下合成高分辨率真实感全景图像或将一幅透视图像推断为完整的 360 度视图。
对于以深度/姿势为条件的多视图图像生成MVDiffusion 展示了场景网格纹理的最先进性能。 MVDiffusion 通过运行稳定扩散模型的多个副本/分支来同时生成多个图像并采用新颖的分支间“对应感知注意”CAA机制来促进多视图一致性。 Panorama generation任务
全景图是通过生成八个透视图来实现的每个透视图具有 90° 的水平视场和 45° 的重叠。为了实现这一目标我们通过生成模块使用冻结的预训练稳定扩散模型生成八个 512 × 512 图像
CCA特征图之间的交叉注意力 在条件图像的 UNet 分支中我们将一个由 1 组成的掩码连接到图像总共 4 个通道。然后该串联图像用作修复模型的输入这确保条件图像的内容保持不变。相反在目标图像的 UNet 分支中我们将黑色图像像素值为零与零掩码连接起来作为输入从而要求修复模型根据文本生成全新的图像条件以及与条件图像的对应关系。
训练CAA模块。 Multiview depth-to-image generation任务
多视图深度到图像任务旨在生成给定深度/姿势的多视图图像。
MVDiffusion 的过程从生成模块生成关键图像开始然后由插值模块进行致密化以获得更详细的表示。
多视图深度图像生成的生成模块与全景图生成的生成模块类似。
MVDiffusion 的插值模块受 VideoLDM 的启发在一对“关键帧”之间创建 N 个图像这些图像之前已由生成模块生成。该模型采用与生成模型相同的 UNet 结构和对应注意力权重具有额外的卷积层并使用高斯噪声重新初始化中间图像和关键图像的潜在特征。该模块的一个显着特征是关键图像的 UNet 分支以已生成的图像为条件。具体来说这个条件被合并到每个 UNet 块中。在关键图像的 UNet 分支中生成的图像与 1 的掩码4 个通道连接然后使用零卷积运算将图像下采样到相应的特征图大小。这些下采样条件随后被添加到 UNet 模块的输入中。对于中间图像的分支我们采取不同的方法。我们将像素值为零的黑色图像附加到零掩码并应用相同的零卷积运算对图像进行下采样以匹配相应的特征图大小。这些下采样条件也被添加到 UNet 模块的输入中。此过程本质上是对模块进行训练以便当掩码为 1 时分支重新生成条件图像而当掩码为零时分支生成中间图像。
采用两阶段的培训过程。在第一阶段我们使用所有 ScanNet 数据对 SD UNet 模型进行微调。此阶段是没有 CAA 块的单视图训练。在第二阶段我们将 CAA 块和图像条件块集成到 UNet 中并且仅训练这些添加的参数。我们使用与全景生成相同的损失来训练模型。
计算资源
4 NVIDIA RTX A6000 GPUs 实验结果
