基本网站建设,怎样做移动端网站,建设公司需要网站吗,wordpress 百度软件苏州大学与阿丘科技团队发表论文《Free Lunch of Image-mask Alignment for Anomaly Image Generation and Segmentation》#xff0c;聚焦异常图像生成与分割#xff0c;旨在解决真实世界中异常样本匮乏难题。传统方法仅用掩码引导生成#xff0c;该论文提出双分支训练策略…苏州大学与阿丘科技团队发表论文《Free Lunch of Image-mask Alignment for Anomaly Image Generation and Segmentation》聚焦异常图像生成与分割旨在解决真实世界中异常样本匮乏难题。传统方法仅用掩码引导生成该论文提出双分支训练策略可同时生成异常图像与掩码借助对齐正则化损失解决标签偏移问题。推理时仅激活图像生成分支生成合成样本用于训练下游分割模型。此外论文还创新性地将训练好的生成模型融入分割模型训练利用生成反馈损失提升分割模型性能为缓解样本不均衡、降低标注成本等提供了新思路。目前论文已被IJCAI20205接受。研究背景异常图像生成与分割的目标是生成异常图像并在同一流程中生成其对应的掩码标签。异常样本在工业制造与医疗诊断领域普遍稀缺工业场景中生产线以零缺陷为目标的工艺优化、刻意制造缺陷的高成本与技术难度以及在线检测设备的提前拦截共同导致样本不足医疗场景下病变的低发病率、隐私伦理对数据共享的限制及专业标注门槛进一步加剧了这一问题。而异常图像生成与分割任务通过同步输出模拟真实的异常图像及其对应掩码标签区别于传统仅追求视觉逼真的图像生成任务能有效填补真实样本缺口进而缓解样本不均衡问题、降低标注成本同时提升下游分割模型对异常的识别能力与复杂场景适应性。论文由苏州大学与阿丘科技共同完成。论文介绍论文旨在生成异常图像及其分割标签以解决真实世界中异常样本匮乏问题。传统方法仅利用掩码引导异常图像生成与之不同的是论文为生成模型提出了一种双分支训练策略。该策略能够同时生成异常图像与掩码且通过对齐正则化损失确保生成图像与其掩码之间的一致性因而解决了标签偏移问题。在推理阶段仅激活图像生成分支以生成合成样本用于训练下游分割模型。此外论文提出将训练良好的生成模型融入分割模型的训练过程并利用生成反馈损失提升分割模型的性能。与之前方法的对比在训练生成模型时以前的方法a采用掩码引导的图像生成方式。这会引发标签漂移问题生成的图像与掩码对齐效果不佳进而导致图像 - 掩码对齐质量较差。论文的方法b为扩散模型提出了一种双分支训练策略该策略融入了对齐正则化损失以减少扩散模型中的漂移问题。在训练分割模型时以前的方法c仅对真实样本与合成样本进行常规训练未能充分利用训练成熟的扩散模型内部蕴含的图像 - 掩码对应关系。论文的方法d通过生成反馈损失将训练成熟的生成模型融入下游分割模型的训练过程有效利用生成模型来提升分割模型的性能。方法框架a首先训练生成模型双分支训练策略融入了对齐正则化损失。b然后利用少部分真实掩码进行数据增强再以掩码为条件生成对应的缺陷图像最终得到生成缺陷图像及掩码数据集。c之后用真实图像和生成图像及对应掩码来训练分割模型。d最后通过生成反馈损失利用训练成熟的生成模型来微调分割模型。训练生成模型的细节论文展示了对齐正则化机制的效果。具体来说论文对图像和掩码应用相同的噪声然后通过正则化项强制它们各自噪声预测之间的一致性。通过确保掩码与图像两者的噪声预测保持一致性使得掩码与图像之间的特征分布差异得以缩小进而增强掩码的引导作用。为实现结构对齐对齐正则化项 $ \mathcal{L}{al}会计算输入图像分支所预测的噪声 \epsilon{z}与掩码分支所预测的噪声 \epsilon_{h}$ 之间的均方误差。训练分割模型的细节训练过程中分割模型首先对给定的输入图像预测 logits。随后这些 logits 通过一个转换模块进行处理进而得到近似掩码 。该转换模块的示意流程图如下所示首先对初始的掩码进行缩放操作然后对缩放后的掩码应用 softmax 函数将其转换为掩码概率最后通过切片操作提取特定部分的概率分布进而得到近似掩码。随后近似掩码 会与文本嵌入向量 一同作为扩散模型的条件。接着扩散模型对添加噪声后的潜在图像特征 进行处理生成预测噪声 。论文提出的反馈损失 定义为前向扩散过程中添加的真实噪声 与稳定扩散模型预测的噪声 之间的均方误差。该损失基于扩散模型的原始去噪损失精心推导得出可有效作为衡量分割模型准确率的可靠指标。生成效果展示论文提供了生成数据的分布图像。该图展示了经过 VAE 编码后真实掩码、真实图像、无对齐损失的生成图像以及有对齐损失的生成图像的数据分布。结果显示在没有对齐损失的情况下生成图像与真实掩码、真实图像之间均存在显著的分布差距而加入对齐损失后生成图像与真实掩码的分布差距明显缩小与真实图像的差距也相对减小说明方法的有效性。论文提供了在不同场景下与其他生成模型方法的对比。从图中可以看到论文方法生成的图像和掩码能够很好地贴合而其他方法则会出现图像和掩码不对齐的现象。结论为生成异常图像及其对应的掩码标签可通过小规模数据集训练掩码引导的图像生成模型使其能够在掩码条件下生成异常图像。以往方法的局限性生成模型训练标签漂移导致生成图像与掩码的对齐效果不佳。分割模型训练仅对真实样本与合成样本进行常规训练未能利用训练成熟的扩散模型中蕴含的图像 - 掩码对应关系。我们的改进方案生成模型训练为扩散模型设计双分支策略并引入对齐正则化损失以减少漂移问题使生成模型能够稳定学习到精确的图像 - 掩码对齐关系。分割模型训练通过生成反馈损失将训练成熟的生成模型融入分割模型训练。该损失可反映分割模型在异常区域识别任务中的准确率助力其在不同场景下实现高效微调。
