上海搭建商,怎么做网站优化的,统一门户平台,做网站优化公司报价话不多说#xff0c;先看视频 1. AnimateDiff的技术原理 AnimateDiff可以搭配扩散模型算法#xff08;Stable Diffusion#xff09;来生成高质量的动态视频#xff0c;其中动态模型#xff08;Motion Models#xff09;用来实时跟踪人物的动作以及画面的改变。我们使用 …话不多说先看视频nbsp; 1. AnimateDiff的技术原理 AnimateDiff可以搭配扩散模型算法Stable Diffusion来生成高质量的动态视频其中动态模型Motion Models用来实时跟踪人物的动作以及画面的改变。我们使用nbsp;AnimaeDiff 实现时间一致性,使用ControlNet复制参考视频的运动,然后改变不同时间点的提示prompt打造多种场景再组合成视频。它克服了nbsp;AnimateDiff 运动不佳的弱点并保持了较高的帧间一致性。工作流程文件执行的操作为1.将视频作为输入。2.将OpenPose预处理器应用于视频帧以提取人体姿势。3.将AnimateDiff运动模型和ControlNet Openpose 控制模型应用于每个帧。4.支持提示行进为不同的帧指定不同的提示。5.保存最终视频。
2.软件安装 我们使用ComfyUI来搭配AnimateDiff做视频转视频的工作流软件地址如下ComfyUIhttps://github.com/comfyanonymous/ComfyUIAnimateDiffhttps://github.com/guoyww/AnimateDiff
3.ComfyUI AnimateDiff视频转视频工作流 步骤1加载工作流程文件。直接把下面这张图拖入ComfyUI界面它会自动载入工作流或者下载这个工作流的JSON文件在ComfyUI里面载入文件信息。 步骤nbsp;2安装缺少的节点第一次载入这个工作流之后ComfyUI可能会提示有node组件未被发现我们需要通过ComfyUI manager安装它会自动找到缺失的组件并下载安装需要网络通畅。 重新启动nbsp;ComfyUI 并单击队列提示。如果不再看到 ComfyUI 提示缺少节点则可以继续执行下一步。步骤nbsp;3下载checkpoint 模型下载模型DreamShaper 8。将safetensors文件放入文件夹ComfyUI models checkpoints中。刷新浏览器标签页。nbsp;找到节点“Load Checkpoint”。 点击ckpt_name下拉菜单选择dreamshaper_8模型。当然你也可以使用不同的模型。
步骤4选择nbsp;VAE。下载Stability AI发布的VAE 。将文件放入文件夹ComfyUI models vae中。刷新浏览器页面。在“加载 VAE”节点中选择刚刚下载的文件。 步骤5下载AnimateDiff动态特征模型下载mm_sd_v15_v2.ckpt放到ComfyUI custom_nodes ComfyUI-AnimateDiff-Evolved models文件夹。刷新页面在AnimateDiff Loader里可以选择我们需要的动态特征模型 步骤6选择Openpose ControlNet模型下载openpose ControlNet 模型。将文件放入ComfyUI models controlnet中。刷新nbsp;ComfyUI 页面。在加载nbsp;ControlNet 模型高级中在下拉菜单中选择control_v11p_sd15_openpose.pth 。 步骤7在加载视频上传节点中单击视频并选择刚刚下载的视频。 步骤8生成视频可以点击Queue Prompt开始生成视频了视频生成的大部分时间都集中在KSampler这个组件里在生成过程中上面有一个进度条
4.nbsp;调优 4.1生成不同的视频。更改种子值以生成不同的视频。 4.2 更改提示前缀和提示行即可更改主题和背景。
