达州建设企业网站,重视网站商务通,微商城是什么意思,如何让百度收录网址目前使用 Stable Diffusion 进行创作的工具主要有两个#xff1a;Stable Diffusion WebUI 和 ComfyUI。本文重点介绍ComfyUI的部署使用。 ComfyUI 可定制性很强#xff0c;可以让创作者搞出各种新奇的玩意#xff0c;通过工作流的方式#xff0c;也可以实现更高的自动化水平…目前使用 Stable Diffusion 进行创作的工具主要有两个Stable Diffusion WebUI 和 ComfyUI。本文重点介绍ComfyUI的部署使用。 ComfyUI 可定制性很强可以让创作者搞出各种新奇的玩意通过工作流的方式也可以实现更高的自动化水平创作方法更容易传播复现支持多任务批量提交到comfyui支持websocket对接。 但是 ComyUI 的上手门槛有点高对 Stable Diffusion 以及各种扩展能力的原理需要有一定的理解动手能力要求也比较高。但作为专业的软件化平台更适合软件团队集成或二次开发有实际价值的应用。所以我们更推荐使用ComfyUI的方式替代WebUI。
环境准备
插件
插件管理器
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
翻译
git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git
中文提示词输入绘画节点
git clone https://github.com/AlekPet/ComfyUI_Custom_Nodes_AlekPet.git
美化辅助文本补全吸附网络
https://github.com/pythongosssss/ComfyUI-Custom-Scripts.git
ControlNet预处理器
https://github.com/Fannovel16/comfyui_controlnet_aux
分块采样器插件
https://github.com/BlenderNeko/ComfyUI_TiledKSampler.git
放大插件
https://github.com/ssitu/ComfyUI_UltimateSDUpscale.git
Derfuu插件
https://github.com/Derfuu/Derfuu_ComfyUI_ModdedNodes.git
模型
准备如下模型
stabilityai/stable-diffusion-xl-base-1.0stabilityai/stable-diffusion-xl-refiner-1.0stabilityai/sdxl-vaestabilityai/control-loraxinsir/controlnet-canny-sdxl-1.0vaeapprox-sdxlcontrolnet-canny-sdxl-1.0SargeZT/controlnet-sd-xl-1.0-softedge-dexinedthibaudcontrolnet-openpose-sdxl-1.0
下载地址
插件可以提前下载也可以通过ComfyUI-Manager。我们更推荐采用手动下载的方式个人控制性更强后期升级维护更加可控。
#checkpoint
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0
#vae
git clone https://huggingface.co/stabilityai/sdxl-vae#vaeapprox
wget https://github.com/AUTOMATIC1111/stable-diffusion-webui/releases/download/v1.0.0-pre/vaeapprox-sdxl.pt#controlnet
git clone https://huggingface.co/stabilityai/control-lora
git clone https://huggingface.co/xinsir/controlnet-canny-sdxl-1.0
###dexined soft edge preprocessing
wget https://huggingface.co/SargeZT/controlnet-sd-xl-1.0-softedge-dexined/resolve/main/controlnet-sd-xl-1.0-softedge-dexined.safetensors
###ZoeDepth repo 中的默认参数将其着色为灰度
wget https://huggingface.co/SargeZT/controlnet-sd-xl-1.0-depth-16bit-zoe/resolve/main/depth-zoe-xl-v1.0-controlnet.safetensors
###OpenPose
wget https://huggingface.co/thibaud/controlnet-openpose-sdxl-1.0/resolve/main/control-lora-openposeXL2-rank256.safetensors
wget https://huggingface.co/thibaud/controlnet-openpose-sdxl-1.0/resolve/main/OpenPoseXL2.safetensorsgit clone https://huggingface.co/kohya-ss/controlnet-lllitebase 与 refiner 模型的区别 base 模型是用来做文生图refiner 模型是用来做图生图的。首先使用基础模型Base模型生成(有噪音的)潜在变量然后再由专门用于去噪的精修模型refiner进一步处理。基础模型stabilityai/stable-diffusion-xl-base-1.0本身也可以作为独立模块使用串联起效果更好。 模型分类简介
Checkpoint
Checkpoint 是 SD 的核心是最基本的必备模型体积较大也被称为大模型。越大的模型代表融合的元素越多表现的效果细节越丰富。不同的大模型使用不同的图片训练而成对应不同的风格相当于最底层的引擎。我们在模型网站筛选 Checkpoint 就是筛选大模型。大模型后缀分两种ckpt 和 safetensor 。一般 ckpt 融合的数据多一点safetensor 融合的数据少一点模型侧重不同各有优略不代表好坏。
VAE
VAEVariable Auto Encoder变量自动编码器是一个添加到稳定扩散检查点模型中的文件以获得更鲜艳的颜色和更清晰的图像。VAE 通常还有改善手部和面部的额外好处。模型可以内置 VAE也可以使用一些通用的外部VAE某些外部VAE甚至比内置VAE工作得更好。 如stabilityai/sdxl-vae 可以配合基础模型stabilityai/stable-diffusion-xl-base-1.0使用。
ControlNet
ControlNet 是一个控制预训练图像扩散模型的神经网络。它允许输入调节图像然后使用该调节图像来操控图像生成。它调节图像类型众多例如涂鸦、边缘图、姿势关键点、深度图、分割图、法线图等这些输入都可以作为条件输入来指导生成图像的内容。
loras
低秩适应模型在不改变原有模型的情况下去添加一些额外的低秩举证以调整模型权重。提升模型性能以及适应性 可以理解为stable diffusionSD)模型的一种插件和hyper-networkcontrolNet一样都是在不修改SD模型的前提下利用少量数据训练出一种画风/IP/人物实现定制化需求所需的训练资源比训练SD模要小很多非常适合社区使用者和个人开发者。
hypernetworks
中文名字叫超网络功能和embeddinglora类似都是对生成的图片进行针对性的调整,它是一个附加到稳定扩散模型的小型神经网络主要用于修改控制图像风格。使用比较少有逐步被Lora 代替的趋势。
GFPGAN
GFPGAN 是开源的人脸修复算法它利用预先训练好的面部 GAN如 StyleGAN2中封装的丰富和多样的先验因素进行盲脸 (blind face) 修复旨在开发用于现
Embedding
它是一种用于提高AI绘画效果的技术可以将一组图片的特征提取出来保存为一个小文件然后在生成图片时通过输入关键词来激活这个文件从而实现风格的转换或人物的还原。Embedding大小只有几十K或几个M它可以同时调用多个文件进行混合。它必须基于一款模型来生成和使用
源码下载
1下载代码仓库 git clone https://github.com/comfyanonymous/ComfyUI.git 2、下载所有插件并存放在ComfyUI/custom_nodes/ 3、根据前面准备的模型把模型存放在指定宿主机目录使用时挂载到容器
├── Codeformer
├── controlnet
│?? ├── control-lora
│?? ├── control-lora-openposeXL2-rank256.safetensors
│?? ├── controlnet-canny-sdxl-1.0
│?? ├── controlnet-scribble-sdxl-1.0
│?? ├── controlnet-sd-xl-1.0-softedge-dexined.safetensors
│?? ├── depth-zoe-xl-v1.0-controlnet.safetensors
│?? └── OpenPoseXL2.safetensors
├── deepbooru
│?? └── Put your deepbooru release project folder here.txt
├── GFPGAN
│?? ├── alignment_WFLW_4HG.pth
│?? ├── detection_Resnet50_Final.pth
│?? ├── GFPGANv1.4.pth
│?? └── parsing_parsenet.pth
├── hypernetworks
├── karlo
│?? └── ViT-L-14_stats.th
├── Lora
├── Stable-diffusion
│?? ├── sdxl-turbo
│?? ├── stable-diffusion-2-1
│?? ├── stable-diffusion-xl-base-1.0
│?? └── stable-diffusion-xl-refiner-1.0
├── VAE
│?? └── sdxl-vae
└── VAE-approx└── vaeapprox-sdxl.pt18 directories, 11 files
本地环境部署
创建虚拟环境
conda create -n comfyui python3.10 conda activate comfyui
安装pytorch和相关依赖
#安装pytorch pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simpl pip3 install torch torchvision torchaudio
安装相关依赖
pip install -r requirements.txt 插件相关依赖在第一次启动时会自动安装部署 修改配置文件
cp extra_model_paths.yaml.example extra_model_paths.yaml 编辑 extra_model_paths.yaml 修改checkpoints的路径和其他模型路径请根据你实际放置位置来修改 vim extra_model_paths.yaml
a111:base_path: /app/ComfyUI/checkpoints: models/checkpointsconfigs: models/configsvae: models/VAEloras: |models/Loramodels/LyCORISupscale_models: |models/ESRGANmodels/RealESRGANmodels/SwinIRembeddings: embeddingshypernetworks: models/hypernetworkscontrolnet: models/controlnet容器化部署ComfyUI
准备Dockerfile文件
FROM pytorch/pytorch:2.2.1-cuda12.1-cudnn8-runtime
ARG DEBIAN_FRONTENDnoninteractive
ENV TZEtc/UTC
ENV LANGzh_CN.UTF-8
WORKDIR /appRUN pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
RUN pip config set install.trusted-host mirrors.aliyun.comCOPY ComfyUI/ /app/ComfyUI/
WORKDIR /app/ComfyUIRUN pip install --use-pep517 -r requirements.txt
RUN pip install -r custom_nodes/comfyui_controlnet_aux/requirements.txt
RUN pip install -r custom_nodes/ComfyUI-Manager/requirements.txt
RUN pip install -r custom_nodes/ComfyUI_Custom_Nodes_AlekPet/ArgosTranslateNode/requirements.txt
RUN pip install -r custom_nodes/ComfyUI_Custom_Nodes_AlekPet/DeepTranslatorNode/requirements.txt
RUN pip install -r custom_nodes/ComfyUI_Custom_Nodes_AlekPet/GoogleTranslateNode/requirements.txt
RUN pip install -r custom_nodes/efficiency-nodes-comfyui/requirements.txtEXPOSE 8188
CMD [ python,main.py ,--port 8188]执行构建
docker buile -t qingcloudtech/comfyui:v1.0 .启动容器
docker run -it --gpus all \
-p 8188:8188 \
-v /u01/workspace/models/stablediffusion:/u01/workspace/models/stablediffusion \
-v /u01/workspace/comfyui/output/:/app/ComfyUI/output \
qingcloudtech/comfyui:v1.0 python main.py启动容器docker-compose方式
准备配置文件
version: 3.8
services:comfyui:image: qingcloudtech/comfyui:v1.0container_name: comfyuicommand: python /app/ComfyUI/main.pydeploy:resources:reservations:devices:- driver: nvidiacount: allcapabilities: [gpu]volumes:- /u01/workspace/models/stablediffusion/:/u01/workspace/models/stablediffusion/- /u01/workspace/comfyui/output/:/app/ComfyUI/output#- /u01/workspace/ComfyUI/extra_model_paths.yaml:/app/ComfyUI/extra_model_paths.yamlnetwork_mode: host执行启动命令
docker-compose up -d演示访问
http://127.0.0.1:8188 【Qinghub Studio 】更适合开发人员的低代码开源开发平台 【QingHub企业级应用统一部署】 【QingHub企业级应用开发管理】 【QingHub演示】 【https://qingplus.cn】
