平面广告设计网站,免费制作手机网页,旺道seo网站优化大师,备案网站多少钱前言
controlnet可以让stable diffusion的生图变得可控。 文章连接#xff1a;https://arxiv.org/pdf/2302.05543.pdf
摘要
冻结了stable diffusion的预训练模型并重用它的预训练编码层神经网络结构与零初始化卷积层连接#xff0c;从零开始逐渐增加参数#xff0c;并确…前言
controlnet可以让stable diffusion的生图变得可控。 文章连接https://arxiv.org/pdf/2302.05543.pdf
摘要
冻结了stable diffusion的预训练模型并重用它的预训练编码层神经网络结构与零初始化卷积层连接从零开始逐渐增加参数并确保微调过程中不会有噪声影响Controlnet在小数据集(小于5张万图)和大数据集(大于100万张图)上的训练表现都是稳定的
引言
端到端方式学习大型文本到图像扩散模型的条件控制具有挑战性。带有条件的数据集难找相比一般大模型数据集要小上很多倍。有限的数据如果直接微调预训练模型可能会导致过度拟合和灾难性遗忘。
解决方案限制可训练参数的数量或等级来缓解。 ControlNet 通过锁定stable diffusion参数并制作其编码层的可训练副本来保留大型模型的质量和功能。此体系结构将大型预训练模型视为学习各种条件控制的强大骨干。可训练的副本和原始的锁定模型与零卷积层连接权重初始化为零以便在训练期间逐渐增长。这种架构确保了在训练开始时不会将有害噪声添加到大型扩散模型的深层特征中并保护可训练副本中的大规模预训练骨干不会受到此类噪声的损害。
我们的实验表明ControlNet 可以通过各种条件输入来控制 Stable Diffusion包括 Canny 边缘、Hough 线、用户涂鸦、人类关键点、分割图、形状法线、深度等图 1。我们使用单个条件反射图像带或不带文本提示测试我们的方法并演示了我们的方法如何支持多个条件的组合。此外我们报告说ControlNet 的训练在不同大小的数据集上是健壮和可扩展的并且对于某些任务如深度到图像调节在单个 NVIDIA RTX 3090Ti GPU 上训练 ControlNet 可以取得与在大型计算集群上训练的工业模型相媲美的结果。最后我们进行消融研究以调查模型中每个组成部分的贡献并将我们的模型与几个强大的条件图像生成基线与用户研究进行比较。 相关工作 微调神经网络的一种方法是直接使用额外的训练数据继续训练它。但这种方法可能导致过拟合、模式崩溃和灾难性的遗忘。广泛的研究集中在开发避免此类问题的微调策略上 灾难性遗忘的原因灾难性遗忘的根源在于神经网络的训练过程。神经网络在学习过程中采用梯度下降法试图最小化当前任务的损失函数。然而这种优化行为可能会破坏存储在网络权重中的原有知识。当网络学习新任务时它需要改变自己的权重来适应新的数据这可能会导致旧的知识被覆盖。 解决灾难性遗忘的策略 多经验回放Experience Replay策略通过保留旧任务的一部分数据并在训练新任务时一同训种策略来解决灾难性遗忘问题。 弹性权重共享Elastic Weight Consolidation, EWC通过对网络权重施加额外的约束使其在新旧任务之间找到一个平衡点防止新任务过度改变旧任务的权重。 HyperNetwork旨在训练一个小型递归神经网络来影响一个大型神经网络的权重。已经被广泛用于生成对抗网络1、2。Heathen等[26]和Kurumuz[43]实现了HyperNetworks for Stable Diffusion [72]来改变其输出图像的艺术风格。 Adapter在计算机视觉中适配器用于增量学习[74]和领域适应[70]。这种技术通常与CLIP[66]一起使用用于将预训练的骨干模型转移到不同的任务[23,66,85,94]。最近适配器在视觉变压器[49,50]和ViT-Adapter[14]中取得了成功。在与我们同时进行的研究中T2IAdapter [56] 使稳定扩散适应外部条件。
Additive Learning冻结原始模型权重并使用学习到的权重掩码 [51 74 ]、修剪 [52] 或硬注意力 [80] 添加少量新参数来规避遗忘。Side-Tuning [92 ] 使用侧分支模型通过线性混合冻结模型和添加网络的输出以及预定义的混合权重表来学习额外的功能。
LORA通过学习低秩矩阵的参数偏移来防止灾难性的遗忘 [ 31 ]基于对许多过度参数化模型的观察该模型位于低本征维子空间[2,47]。
Zero-Initialized LayersNichol等[59]讨论了如何在扩散模型中缩放卷积层的初始权重以改善训练他们实现的“零模块”是将权重缩放到零的极端情况。Stability的模型卡[83]也提到了在神经层中使用零权重。ProGAN [36]、StyleGAN [37] 和 Noise2Noise [46] 中也讨论了如何操纵初始卷积权重。 原始操作 神经块将特征图 x 作为输入并输出另一个特征图 y。controlnet操作为了将 ControlNet 添加到这样的块中我们锁定原始块并创建一个可训练的副本并使用零卷积层将它们连接在一起即 1 × 1 卷积权重和偏差都初始化为零。这里 c 是我们希望添加到网络中的条件向量。
Taming Transformer [19]是一种视觉transformer方法
StyleGANs可以通过额外的编码器控制[71][3,22,38,39,55,60,65,71]中研究了更多应用。
方法论
ControlNet ControlNet 将附加条件注入到神经网络的模块中。在这里我们使用术语网络块来指代一组神经层这些神经层通常组合在一起形成神经网络的单个单元例如resnet 块、conv-bn-relu 块、多头注意力块、transformer 块等。假设 F·; Θ 就是这样一个经过训练的神经块参数为 Θ它转换输入特征图 x 到另一个特征图 y 作为 Stable Diffusion 的 U-net 架构与编码器模块和中间模块上的 ControlNet 连接。锁定的灰色块显示了 Stable Diffusion V1.5或 V2.1因为它们使用相同的 U-net 架构的结构。添加了可训练的蓝色块和白色零卷积层以构建 ControlNet。
在我们的设置中x 和 y 通常是 2D 特征图即 x ∈ R其中 {h w c} 分别作为图中的高度、宽度和通道数。为了将ControlNet添加到这样一个预先训练的神经块中我们锁定冻结原始块的参数Θ同时将该块克隆到具有参数Θ的可训练副本。可训练副本采用外部条件向量 c 作为输入。当这种结构应用于像 Stable Diffusion 这样的大型模型时锁定的参数会保留使用数十亿张图像训练的生产就绪模型而可训练的副本会重用这种大规模预训练模型来建立一个深度、鲁棒和强大的骨干以处理不同的输入条件。
可训练副本连接到具有零卷积层的锁定模型表示为 Z·; ·。具体来说Z·; · 是一个 1 × 1 卷积层权重和偏差都初始化为零。为了构建 ControlNet我们使用两个零卷积实例参数分别为 和 。
Controlnet的计算公式 是Controlnet模块的输出在第一个训练步骤中由于零卷积层的权重和偏置参数都初始化为零因此等式2中的两个Z·; ·项的计算结果均为零 这样做法的好处
零卷积通过消除初始训练步骤中的随机噪声作为梯度来保护该主干。 当训练开始时有害噪声不会影响可训练副本中神经网络层的隐藏状态。由于 Zc; Θ 0并且可训练副本也接收输入图像 x因此可训练副本功能齐全并保留了大型预训练模型的功能使其能够作为进一步学习的强大骨干。 Controlnet结构解析
Stable Diffusion 本质上是一个 U-Net。带有编码器、中间块和跳层连接的解码器。编码器和解码器都包含 12 个块完整模型包含 25 个块包括中间块。在 25 个模块中8 个模块是下采样或上采样卷积层而其他 17 个模块是主模块每个模块包含 4 个 resnet 层和 2 个视觉转换器 ViT。每个 ViT 都包含多个交叉注意力和自我注意力机制。例如在图 3a 中“SD 编码器块 A”包含 4 个 resnet 层和 2 个 ViT而“×3”表示该块重复 3 次。文本提示使用CLIP文本编码层编码diffusion时间步使用一个位置编码的时间编码器表示。 ControlNet 结构应用于 U-net 的每个编码器级别图 3b。特别是我们使用 ControlNet 创建了 12 个编码块和 1 个 Stable Diffusion 中间块的可训练副本。这 12 个编码块有 4 种分辨率64 × 64、32 × 32、16 × 16、8 × 8每个分辨率复制 3 次。输出被添加到 U 网的 12 个跳跃连接和 1 个中间块。由于 Stable Diffusion 是典型的 U-net 结构因此这种 ControlNet 架构可能适用于其他模型。 我们连接ControlNet的方式在计算上是高效的——由于锁定的复制参数被冻结因此在最初锁定的编码器中不需要梯度计算来进行微调。这种方法可以加快训练速度并节省 GPU 内存。在单个 NVIDIA A100 PCIE 40GB 上测试时使用 ControlNet 优化 Stable Diffusion 只需要增加约 23% 的 GPU 内存和 34% 的内存与不使用 ControlNet 优化 Stable Diffusion 相比使用 ControlNet 优化 Stable Diffusion 所需的 GPU 内存增加约 23%每次训练迭代所需的时间增加 34%。 图像扩散模型学习逐步对图像进行去噪并从训练域生成样本。去噪过程可以发生在像素空间中也可以发生在由训练数据编码的潜在空间中。Stable Diffusion 使用潜在空间图像作为训练域因为在这个空间中工作已被证明可以稳定训练过程 [72 ]。具体来说Stable Diffusion 使用类似于 VQ-GAN [19] 的预处理方法将 512 × 512 像素空间的图像转换为更小的 64 × 64 个潜在图像。为了将 ControlNet 添加到 Stable Difusion我们首先将输入大小为 512 × 512 的每个输入条件图像例如边缘、姿态、深度等转换为与 Stable Diffusion 大小匹配的 64 × 64 特征空间向量。具体而言我们使用一个由4个卷积层组成的微小网络该卷积层具有4个4×4的卷积核和2个2*2步长由ReLU激活分别使用16、32、64、128个通道用高斯权重初始化并与完整模型联合训练将图像空间条件编码为特征空间条件向量 将条件向量传递到 ControlNet 中。 训练 给定输入图像图像扩散算法逐渐往图像里添加噪声并产生一个噪声图像,t表示添加噪声的步数。给定一组条件包括时间步t、文本提示词、还有指定任务条件就是边缘、深度等条件控制图像扩散算法通过网络来预测添加到噪声图片中的噪声。 L是训练完整的扩散模型的目标函数。这个训练目标直接用来微调带有Controlnet的扩散模型。 训练技巧 训练过程中使用空字符串随即替换掉50%的文本提示词。这种方法增强了 ControlNet 直接识别输入条件图像中的语义例如边缘、姿势、深度等的能力以替代提示词。
训练的现象 在训练过程中由于零卷积不会给网络增加噪声因此模型应该始终能够预测高质量的图像。我们观察到该模型并没有逐渐学习控制条件而是突然成功地跟踪了输入条件图像;通常在不到 10K 的优化步骤中。如图 4 所示我们称之为“突然收敛现象”。 在6133步的时候突然学习到了这个输入的额外控制条件。
推理 CFG-RW
Stable Diffusion依赖CFG技术来生成高质量图像。CFG 的公式为其中 分别是模型的最终输出、无条件输出、条件输出和用户指定的权重。当通过 ControlNet 添加调节图像时可以将其添加到 和 也可以仅添加到。在具有挑战性的情况下例如当没有给出提示时将其添加到和将完全删除CFG指导图b;仅使用将使引导非常强图c。我们的解决方案是首先将条件反射图像添加到 ,然后根据每个块的分辨率 w 64/h 将权重 w乘以 Stable Diffusion 和 ControlNet 之间的每个连接其中 iblock 的大小例如 h 8 h 16 ... h 64。通过降低 CFG 指导强度我们可以获得图d 所示的结果我们称之为 CFG 分辨率加权。 多个Controlnet组合
将图像例如Canny 边缘和姿态分配到 Stable Diffusion 的单个实例中我们可以直接将相应 ControlNet 的输出添加到 Stable Diffusion 模型中图 6。这种组合不需要额外的加权或线性插值。 上图通过姿态和深度进行组合条件输入生成图像。 实验
量化结果 消融实验
此处省略有兴趣自行查阅
量化评估 与工业SDV2 Depth-to-Image模型对比使用NVIDIA A100 集群、数千个 GPU 小时和超过 12M 的训练图像。我们使用 SD V2 的深度调节训练 ControlNet但仅使用 200k 训练样本、一个 NVIDIA RTX 3090Ti 和 5 天的训练。我们使用每个 SDv2-D2I 和 ControlNet 生成的 100 张图像来教 12 个用户区分这两种方法。之后我们生成 200 张图像并要求用户说出每个图像是哪个模型生成的。用户的平均精度为0.52±0.17表明两种方法产生的结果几乎无法区分。 讨论 训练数据集大小的影响 训练数据集即使只有1k训练也不会坍塌数据集的大小当然是越大越好有助于泛化性的学习。 理解内容的能力 兼容社区模型
由于Controlnets并没有改变预训练SD模型的拓扑结构是可以与社区的SD模型兼容的。 结论 ControlNet 是一种神经网络结构用于学习大型预训练文本到图像扩散模型的条件控制。它重用源模型的大规模预训练层来构建一个深度而强大的编码器来学习特定条件。原始模型和可训练副本通过“零卷积”层连接以消除训练过程中的有害噪声。大量的实验验证了ControlNet可以在单个或多个条件下有效地控制稳定扩散无论是否有提示。在不同条件数据集上的结果表明ControlNet结构可能适用于更广泛的条件并促进相关应用。
参考链接
https://arxiv.org/pdf/2302.05543.pdf
GitHub - lllyasviel/ControlNet: Let us control diffusion models!
