东营做网站优化价格,企业网站优化案例,广州手机网站建设联系电话,小兽 wordpress主题Diffusion Models专栏文章汇总#xff1a;入门与实战 前言#xff1a;在微调扩散模型的时候经常会遇到微调数据集和训练数据集之间的差距过大#xff0c;导致训练效果很差。在图像生成任务中并不明显#xff0c;但是在视频生成任务中这个问题非常突出。这篇博客深入解读如何… Diffusion Models专栏文章汇总入门与实战 前言在微调扩散模型的时候经常会遇到微调数据集和训练数据集之间的差距过大导致训练效果很差。在图像生成任务中并不明显但是在视频生成任务中这个问题非常突出。这篇博客深入解读如何解决微调扩散模型时微调数据集和训练数据集之间的差距过大问题 目录
图片生成中的微调数据集和训练数据集之间的差距过大问题
视频扩散模型
解决方案一
解决方案二 图片生成中的微调数据集和训练数据集之间的差距过大问题
其实在微调图片生成模型中这个问题并不明显例如微调一个古风模型在写实风格的基模上同样可以取得不错的成果数据怼进去训也不会有太多资源上的压力。
视频扩散模型 视频扩散模型这个问题特别明显
1、继续大力出奇迹资源成本高。
2、破坏原有的运动先验。
解决方案一
最简单的解决方案将原有训练基模的数据集和微调数据集混合训练可以1:1混合也可以让微调数据集适当多一些。
但是这样的训练成本比较高。
解决方案二
在论文《ToonCrafter: Generative Cartoon Interpolation》中提出了一种方案名为“Toon Rectification Learning”。
其实就是通过实验证明在微调过程中对image-context projector和空间层微调并将其他层(时间层)冻结最有效。
下面是实验结果
