团购网站模板html,360建站和凡科哪个好,如何关闭wordpress默认编辑器,创意设计团队AIGC专栏5——EasyPhoto AI写真照片生成器 插件安装与使用 学习前言源码下载地址技术原理储备#xff08;SD/Control/Lora#xff09;StableDiffusionControlNetLora EasyPhoto插件简介EasyPhoto插件安装安装方式一#xff1a;Webui界面安装 #xff08;需要良好的网络SD/Control/LoraStableDiffusionControlNetLora EasyPhoto插件简介EasyPhoto插件安装安装方式一Webui界面安装 需要良好的网络安装方式二Git clone下载安装 clone过程会提示安装进度其它插件安装Controlnet 安装 EasyPhoto训练上传图片参数设置开始训练 EasyPhoto预测模型选择模板选择 学习前言
在视觉方向的AIGC领域AI写真是一个靠谱且经过验证的落地方案随着StableDiffusion领域开源社区的快速发展社区也涌现了类似 FaceChain 这样基于 Modelscope开源社区结合 diffusers 的开源项目用于指导用户快速开发个人写真。
然而对于大量使用SDWebUI的 AIGC 同学们短时间内却没有一个效果足够好的开源插件去适配真人写真这一功能。
对于AI写真而言需要注意两个方向的重点一个是一定要和用户像另外一个是一定要真实。
最近我参与了一个EasyPhoto的项目可以根据模板图像生成对应的用户写真借助Stable Diffusion与Lora的强大生成能力生成图片可以做到较为相似且真实近期也开源了出来。
源码下载地址
https://github.com/aigc-apps/sd-webui-EasyPhoto
麻烦各位朋友点个Star这对我来讲还是很重要的
技术原理储备SD/Control/Lora
StableDiffusion
StableDiffusion作为Stability-AI开源图像生成模型通常分为SD1.5/SD2.1/SDXL等版本 是通过对海量的图像文本对进行训练结合文本引导的扩散模型使用训练后的模型通过对输入的文字进行特征提取引导扩散模型在多次的迭代中生成高质量且符合输入语义的图像。下面的图像就是Stable Diffusion官网贴出来的他们的效果。
EasyPhoto AI基于StableDiffusion丰富的开源社区与强大的生成能力进而生成逼真且自然的AI写真。
ControlNet
ControlNet是《Adding Conditional Control to Text-to-Image Diffusion Models》提出的通过添加部分训练过的参数对StableDiffsion模型进行扩展用于处理一些额外的输入信号例如骨架图/边缘图/深度图/人体姿态图等等输入从而完成利用这些额外输入的信号引导扩散模型生成与信号相关的图像内容。例如我们在官方 Repo 可以看到的使用Canny边缘作为信号控制输出的小狗。
EasyPhoto 基于多Controlnet强大的控制能力在保留原模板特点的情况下如颜色、光照、轮廓生成非常自然写真图像。
Lora
由《LoRA: Low-Rank Adaptation of Large Language Models》 提出的一种基于低秩矩阵的对大参数模型进行少量参数微调训练的方法广泛引用在各种大模型的下游使用中。AI真人写真需要保证最后生成的图像和我们想要生成的人是相像的这就需要我们使用Lora 技术对输入的少量图片进行一个简单的训练从而使得我们可以得到一个小的指定人脸Face id的模型。
EasyPhoto插件简介
EasyPhoto是一款Webui UI插件用于生成AI肖像画该代码可用于训练与用户相关的数字分身。建议使用 5 到 20 张肖像图片进行训练最好是半身照片且不要佩戴眼镜少量可以接受。训练完成后EasyPhoto可以在推理部分生成图像。EasyPhoto支持使用预设模板图片与上传自己的图片进行推理。
这些是插件的生成结果从生成结果来看插件的生成效果还是非常不错的 每个图片背后都有一个模板EasyPhoto会对模板进行修改使其符合用户的特征。 在EasyPhoto插件中Inference侧已经预置了一些模板可以用插件预置的模板进行体验另外EasyPhoto同样可以自定义模板在Inference侧有另外一个tab页面可以用于上传自定义的模板。如下图所示。 而在Inference预测前我们需要进行训练训练需要上传一定数量的用户个人照片训练的产出是一个Lora模型。该Lora模型会用于Inference预测。
总结而言EasyPhoto的执行流程非常简单 1、上传用户图片训练一个与用户相关的Lora模型 2、选择模板进行预测获得预测结果。
EasyPhoto插件安装
安装方式一Webui界面安装 需要良好的网络
安装过程较为简单网络良好的情况下跳转到Extentions然后选择install from URL。 输入https://github.com/aigc-apps/sd-webui-EasyPhoto点击下方的install即可安装在安装过程中会自动安装依赖包这个需要耐心等待一下。安装完需要重启WebUI。
安装方式二Git clone下载安装 clone过程会提示安装进度
直接进入到Webui的extensions文件夹打开git工具git clone即可。 下载完成后重新启动webui便会检查需要的环境库并且安装。
其它插件安装Controlnet 安装
我们需要使用 Controlnet 进行推理。相关软件源是Mikubill/sd-webui-controlnet。在使用 EasyPhoto 之前您需要安装这个软件源。
此外我们至少需要三个 Controlnets 用于推理。因此您需要设置 Multi ControlNet: Max models amount (requires restart)。
EasyPhoto训练
EasyPhoto训练界面如下
左边是训练图片直接点击Upload Photos即可上传图片点击Clear Photos可以删除已经上传的图片右边是训练参数初次训练可不做参数调整。 上传图片
点击Upload Photos后即可开始上传图片在此处我们最好上传5-15张图片、包含不同角度、不同光照的情况而我这里用了7张最好有一些图片是不包括眼镜的如果都是眼镜生成结果里面有容易会生成眼镜。 上传完成后我们就可以在界面上看到已经上传的图像啦
参数设置
然后我们来看右边的参数设置部分这里参数可调节的量还是比较多的初次训练不做调整每个参数的解析如下
参数名含义resolution训练时喂入网络的图片大小默认值为512validation save steps验证图片与保存中间权重的steps数默认值为100代表每100步验证一次图片并保存权重max train steps最大训练步数默认值为800max steps per photos每张图片的最大训练次数默认为200train batch size训练的批次大小默认值为1gradient accumulationsteps是否进行梯度累计默认值为4结合train batch size来看每个Step相当于喂入四张图片dataloader num workers数据加载的works数量windows下不生效因为设置了会报错Linux正常设置learning rate训练Lora的学习率默认为1e-4rank Lora权重的特征长度默认为128network alphaLora训练的正则化参数一般为rank的二分之一默认为64
最终训练步数的计算公式也比较简单Final training step Min(photo_num * max_steps_per_photos, max_train_steps)。
简单来理解就是 图片数量少的时候训练步数为photo_num * max_steps_per_photos。 图片数量多的时候训练步数为max_train_steps。
开始训练
然后我们点击下方的开始训练此时需要在上方填入一下User ID比如 用户的名字然后就可以开始训练了。 开始初次训练时会从oss上下载一部分权重我们耐心等待即可下载进度需要关注终端。 在自动预处理完成后Lora模型开始训练我们只需要耐心的等待训练完成即可 终端显示成这样就已经训练完了最后这步是在计算验证图像与用户图像之间的人脸 ID 差距从而实现 Lora 融合确保我们的 Lora 是用户的完美数字分身。
EasyPhoto预测
模型选择
训练完后我们需要将tab页转到Inference。由于Gradio的特性刚训练好的模型不会自动刷新可以点击Used id旁的蓝色旋转按钮进行模型刷新。
模板选择
刷新完后选择刚刚训练的模型然后选择对应的模板即可开始预测。初次预测需要下载一些modelscope的模型耐心等待一下即可。预置的男生照片一般般切到upload image直接自己上传模板进行预测。
然后我们就可以获得预测结果了。
参数名含义After Face Fusion Ratio第二次人脸融合的比例越大代表越像First Diffusion steps第一次Stable Diffusion的步数First Diffusion denoising strength第一次Stable Diffusion重建的比例Second Diffusion steps第二次Stable Diffusion的步数Second Diffusion denoising strength第二次Stable Diffusion重建的比例Crop Face Preprocess是否先裁剪人脸后再进行处理适合大图Apply Face Fusion Before是否进行第一次人脸融合Apply Face Fusion After是否进行第一次人脸融合
