网站的具体内容,桂林市临桂区,邢台做移动网站公司,网站管理助手4.0教程AI绘图虽然模型种类繁多#xff0c;但是一直存在一个缺点就是不够快。以至于Stability公司专门做了Turbo系列和Cascade版本。但是这些终究治标不治本#xff0c;终于在CVPR2024收入中#xff0c;我觉得DeepCache是一次不错的尝试。
论文
《DeepCache: Accelerating Diffus…AI绘图虽然模型种类繁多但是一直存在一个缺点就是不够快。以至于Stability公司专门做了Turbo系列和Cascade版本。但是这些终究治标不治本终于在CVPR2024收入中我觉得DeepCache是一次不错的尝试。
论文
《DeepCache: Accelerating Diffusion Models for Free》
摘要
扩散模型因其卓越的生成能力最近在图像合成领域获得了前所未有的关注。尽管这些模型性能出众但通常会产生大量的计算成本这主要归因于顺序去噪过程和繁琐的模型大小。压缩扩散模型的传统方法通常涉及大量的再训练带来了成本和可行性方面的挑战。在本文中我们介绍了 DeepCache一种从模型架构角度加速扩散模型的新型免训练范式。DeepCache 利用扩散模型顺序去噪步骤中固有的时间冗余缓存并检索相邻去噪阶段的特征从而减少冗余计算。利用 U-Net 的特性我们在重复使用高级特征的同时还能以非常低廉的成本更新低级特征。这一创新策略反过来又使稳定扩散 v1.5 的速度提高了 2.3 倍而 CLIP 分数仅下降了 0.05使 LDM-4-G 的速度提高了 4.1 倍而 ImageNet 上的 FID 仅略微下降了 0.22。我们的实验还证明DeepCache 优于需要重新训练的现有剪枝和蒸馏方法而且与当前的采样技术兼容。此外我们还发现在相同的吞吐量下DeepCache 能有效地实现与 DDIM 或 DDIM 相似甚至略有改进的结果。
部署
pip install DeepCache代码
import torch# Loading the original pipeline
from diffusers import StableDiffusionPipeline
pipe StableDiffusionPipeline.from_pretrained(runwayml/stable-diffusion-v1-5, torch_dtypetorch.float16).to(cuda:0)# Import the DeepCacheSDHelper
from DeepCache import DeepCacheSDHelper
helper DeepCacheSDHelper(pipepipe)
helper.set_params(cache_interval3,cache_branch_id0,
)
helper.enable()# Generate Image
deepcache_image pipe(prompt,output_typept
).images[0]
helper.disable()测试
我用sdxl base 1.0 4090
无cache Total runtime of the program is 7.61311936378479 有cache Total runtime of the program is 3.8023335933685303
结语
如果用在中低端显卡估计推理效果更为显著吧
