word怎么做网站链接,做导购网站 商品,动画设计培训,如何做网站卖家具#x1f3e1; 个人主页#xff1a;IT贫道-CSDN博客 #x1f6a9; 私聊博主#xff1a;私聊博主加WX好友#xff0c;获取更多资料哦~ #x1f514; 博主个人B栈地址#xff1a;豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录
1. AI老照片修复原理-… 个人主页IT贫道-CSDN博客 私聊博主私聊博主加WX好友获取更多资料哦~ 博主个人B栈地址豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录
1. AI老照片修复原理-VAE
1.1 自编码器模型
1.2 变分自编码器模型VAE原理
1.3 VAE与GAN的对比
2. AI老照片修复基础环境准备 2.1 安装Anconda3
2.2 安装Python3
2.3 安装CUDA
2.4 安装CUDNN
3. AI老照片修复步骤 3.1 下载“Bringing-Old-Photos-Back-to-Life”项目
3.2 下载项目依赖
3.3 下载人脸识别模型
3.4 下载预训练模型
3.5 安装需要python依赖包
3.6 照片修复 1. AI老照片修复原理-VAE
1.1 自编码器模型
自编码器模型基本思路很容易理解:把一堆真实样本通过编码器网络变换成一个理想的数据分布然后这个数据分布在传递给一个解码器网络得到一堆生成样本生成样本与真实样本足够接近的话就训练出来一个自编码器模型。 如图X本身是一个矩阵通过一个变换W变成了一个低维矩阵c因为这一过程是线性的所以再通过一个WT变换就能还原出一个现在我们要找到一种变换W使得矩阵X与X帽子 能够尽可能地一致这大致可以理解为编码解码的原理。
一般我们在训练模型时都会使用神经网络来进行多层编码转换这种模型叫做Deep Auto-Encoder模型如下图 这一替换的明显好处是引入了神经网络强大的拟合能力使得编码Code的维度能够比原始图像X的维度低非常多。在一个手写数字图像的生成模型中Deep Auto-Encoder能够把一个784维的向量28*28图像压缩到只有30维并且解码回的图像具备清楚的辨认度如下图 至此我们构造出了一个重构图像比较清晰的自编码模型。简单来说AI就是一个擅长总结和“学习”的高级算法比如人类只需要为AI同学提供大量同类型图片看得足够多量足够大AI就能从其中得出一个基本算法公式再举一反三根据不同的图像上已知的点算出周围若干点的位置。人脸识别道理也是一样。 当我们喂给AI模型一张它从没有在训练中处理过的且有很大缺陷的图片AI模型可能会失控并且产生不可用的结果可能不能正确分类图片。解决这种问题就需要在训练模型时加入缺陷图片增大训练集以防止使用模型时应对各种情况。
那么假设现在我们需要一种模型这种模型能在一堆图片中给我们识别出哪些图像是清洗的哪些图像不是清晰的那么我们要按照以上方式来构建模型的话几乎不可能因为我们不可能将每张图片清洗到模糊的情况都准备出来就算准备出来所以无法使用以上自编码器模型实现清晰图像和非清晰图像的区分。
1.2 变分自编码器模型VAE原理
自编码器模型可以根据很多图像来训练模型如果保存了某张图像的编码向量我们随时就能用解码组件来重建该图像这个过程仅需要一个自编码器模型即可。那么假设我们现在要的是一个生成式模型而非仅仅是“记忆”图像数据的模糊结构除了像前面那样从已有图像中编码出潜在的向量我们还不知道如何创造这些向量也就无法凭空生成任何图像可以通过VAE模型来生成不同的图像。
VAE Variational autoencoder就是在自编码器模型上做进一步的变分处理使得编码器的输出结果能对应到目标分布的均值和方差如下图所示 VAE最想解决的问题是什么当然是如何构造编码器和解码器使得图片能够编码成易于表示的形态并且这一形态能够尽可能无损地解码回原真实图像。
举个例子假设我们需要构建一个模型需要判断月亮是大于半月还是小于半月但是现在的问题是我们手上有很少的数据只有初一和十五的月亮图片如下图 如果使用以上数据来训练分类模型模型只能区分以上两种月亮类型那么如果未来有一张如下的月亮图形就有可能不能正常分类 那么我们可以通过VAE根据最初的两类数据来搞出一些数据来模拟出从初一到三十每天的月亮情况。如下 假设月亮的样子是由南北半球和每个月的日期这两个因素所决定的假设这些因素服从正态分布当然这里这两个因素不服从正态分布那么我们的任务就是通过初一和十五这两个数据当然实际上要更过一些用VAE来训练处这些正态分布的均值和方差如南北半球的维度和每个月的日期。训练的目标就是假设初一和十五的月亮的影响因素也是服从这个正态分布的那么通过这个分布一样可以还原出初一到十五的月亮。
我们先来分析一下现有标准自编码模型无法达到这一标准的原因。 如上图所示假设有两张训练图片一张是全月图一张是半月图经过训练我们的自编码器模型已经能无损地还原这两张图片。接下来我们在code空间上两张图片的编码点中间处取一点然后将这一点交给解码器我们希望新的生成图片是一张清晰的图片类似3/4全月的样子。但是实际的结果是生成图片是模糊且无法辨认的乱码图。一个比较合理的解释是因为编码和解码的过程使用了深度神经网络这是一个非线性的变换过程所以在code空间上点与点之间的迁移是非常没有规律的。
如何解决这个问题呢我们可以引入噪声使得图片的编码区域得到扩大从而掩盖掉失真的空白编码点。 如上图所示现在在给两张图片编码的时候加上一点噪音使得每张图片的编码点出现在绿色箭头所示范围内于是在训练模型的时候绿色箭头范围内的点都有可能被采样到这样解码器在训练时会把绿色范围内的点都尽可能还原成和原图相似的图片。然后我们可以关注之前那个失真点现在它处于全月图和半月图编码的交界上于是解码器希望它既要尽量相似于全月图又要尽量相似于半月图于是它的还原结果就是两种图的折中3/4全月图。
由此我们发现给编码器增添一些噪音可以有效覆盖失真区域。不过这还并不充分因为在上图的距离训练区域很远的黄色点处它依然不会被覆盖到仍是个失真点。为了解决这个问题我们可以试图把噪音无限拉长使得对于每一个样本它的编码会覆盖整个编码空间不过我们得保证在原编码附近编码的概率最高离原编码点越远编码概率越低。在这种情况下图像的编码就由原先离散的编码点变成了一条连续的编码分布曲线如下图所示。 那么上述的这种将图像编码由离散变为连续的方法就是变分自编码的核心思想。 1.3 VAE与GAN的对比
VAE相比GAN的优势在于GAN是implicit density意思是它对潜变量的分布隐式建模整个GAN训练完后我们是不知道潜变量具体分布是怎么样的也就无法随心所欲生成想要的图片我们只能任意的输入一个噪声然后网络的生成数据看起来像训练数据集中的数据。但是VAE是explict density它对潜变量的分布显式建模我们训练完VAE后是可以得到潜变量的具体分布的因此也就可以指定生成的数据的样子。
VAE相比GAN的劣势在于它没有GAN那样的判别器所以最后生成的数据会比较模糊(以图片数据为例)。当然也有结合VAE和GAN的工作。
2. AI老照片修复基础环境准备
2.1 安装Anconda3
Anaconda是一个开源的Python发行版本python是一个编译器如果不使用Anaconda那么安装起来会比较痛苦各个库之间的依赖性就很难连接的很好。Anaconda可以看做Python的一个集成安装,里面集成了很多关于python科学计算的第三方库安装它后就默认安装了python、IPython、集成开发环境Spyder和众多的包和模块,包含了conda(conda 是开源包(packages)和虚拟环境(environment)的管理系统。)、Python等180多个科学包及其依赖项。因为包含了大量的科学包Anaconda 的下载文件比较大大概几百兆左右如果只需要某些包或者需要节省带宽或存储空间也可以使用Miniconda这个较小的发行版仅包含conda和 Python。
我们可以从Anaconda官网 Anaconda | The World’s Most Popular Data Science Platform 下载Anaconda一般官网下载比较慢可以选择使用镜像下载地址如下
Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
现在之后直接双击安装即可注意安装路径中不要有中文和空格。安装完成之后配置环境变量如下图: 配置完成之后打开CMD命令窗口输入conda验证是否安装成功: 2.2 安装Python3
基于Anconda安装Python3这里安装python使用至少python3.7版本。命令如下
#安装python环境conda create --name python37_face python3.7#卸载python环境conda remove --name python37_face --all
2.3 安装CUDA
CUDACompute Unified Device Architecture是显卡厂商NVIDIA推出的运算平台。CUDA是一种由NVIDIA推出的通用并行计算架构该架构使GPU图形处理器能够解决复杂的计算问题。
在Window中安装CUDA可以进入网址CUDA Toolkit 12.3 Update 2 Downloads | NVIDIA Developer 也可以从这里下载链接https://pan.baidu.com/s/1VqzN4hgOHanP_gGYOgTG9g?pwd8888 提取码8888
下载后直接双击exe文件安装即可。默认安装在了C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3也可以指定路径安装。 另外可能某些电脑环境问题安装CUDA时缺少dll库不能自动准备dll文件那么我们将下载好的dll目录中的文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin 目录下这里下载dlhttps://download.csdn.net/download/qq_32020645/88714133。这样后期GPU能正常工作。下载解压后的dll文件如下 2.4 安装CUDNN
NVIDIA CUDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA CUDNN可以集成到更高级别的机器学习框架中如谷歌的Tensorflow、加州大学伯克利分校的流行caffe软件。简单的插入式设计可以让开发人员专注于设计和实现神经网络模型而不是简单调整性能同时还可以在GPU上实现高性能现代并行计算。
CUDA看作是一个工作台上面配有很多工具如锤子、螺丝刀等。CUDNN是基于CUDA的深度学习GPU加速库有了它才能在GPU上完成深度学习的计算。它就相当于工作的工具比如它就是个扳手。但是CUDA这个工作台买来的时候并没有送扳手。想要在CUDA上运行深度神经网络就要安装CUDNN就像你想要拧个螺帽就要把扳手买回来。这样才能使GPU进行深度神经网络的工作工作速度相较CPU快很多。
在https://developer.nvidia.com/zh-cn/cudnn网站中下载CUDNN,可能需要科学上网需要注册后需要填写问卷才能下载这里需要与CUDA版本对应关系。也可以从这里下载链接https://pan.baidu.com/s/1vVKPMWe0AYFzBbzCjBGurg?pwd8888 提取码8888
下载完成之后解压进入解压目录如下图 找到CUDA的安装目录替换对应目录里面对应的文件即可
bin文件夹里面有一个文件需要替换。include文件夹里面有一个文件需要替换。lib文件夹里面有个x64文件夹中有一个文件需要替换。
3. AI老照片修复步骤 3.1 下载“Bringing-Old-Photos-Back-to-Life”项目
项目下载地址
https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
下载后解压到没有中文路径,这里解压路径为J:\Bringing-Old-Photos-Back-to-Life-master。
3.2 下载项目依赖
项目需要一些依赖的文件下载地址
GitHub - vacancy/Synchronized-BatchNorm-PyTorch: Synchronized Batch Normalization implementation in PyTorch.
下载的文件名称为Synchronized-BatchNorm-PyTorch-master.zip。也可以从这里下载链接https://pan.baidu.com/s/1-BnABnKORAE1tUsDzg_xqw?pwd8888 提取码8888将下载后的文件解压将解压目录中的“sync_batchnorm”目录整个拷贝到“J:\Bringing-Old-Photos-Back-to-Life-master\Face_Enhancement\models\networks”目录下和“J:\Bringing-Old-Photos-Back-to-Life-master\Global\detection_models”目录下。
3.3 下载人脸识别模型
这里下载的就是人脸识别模型是别人训练好的模型大小为61M。下载地址
http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
下载好的文件名称为“shape_predictor_68_face_landmarks.dat.bz2”也可从这里下载链接https://pan.baidu.com/s/1ijg8MGrf5zL_IYwruGlUBA?pwd8888 提取码8888下载完成后把里面文件“shape_predictor_68_face_landmarks.dat”放入“J:\Bringing-Old-Photos-Back-to-Life-master\Face_Detection”路径下。
3.4 下载预训练模型
预训练好的模型有2个第一个下载地址https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Face_Enhancement/checkpoints.zip
下载完成后对应的文件名称“checkpoints.zip”(326M)(也可从这里下载链接https://pan.baidu.com/s/1Mz9iQUw2SaPvvqUy7nhfOQ?pwd8888 提取码8888)解压将“checkpoints”这个目录拷贝到“J:\Bringing-Old-Photos-Back-to-Life-master\Face_Enhancement”目录下。 第二个下载地址
https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Global/checkpoints.zip下载完成后对应的文件名称“checkpoints.zip”(1.61G)(也可从这里下载链接https://pan.baidu.com/s/1_YducU9TeJE3efpfeLV2qw?pwd8888 提取码8888)解压将“checkpoints”这个目录拷贝到“J:\Bringing-Old-Photos-Back-to-Life-master\Global”目录下。 3.5 安装需要python依赖包
进入D:\ProgramData\Anaconda3\envs\python36_oldimage\Scripts安装需要的python依赖包。
安装python包中torch、torchvision、torchaudio需要自己在pytorch官网下载这个关于此项目能否正常使用GPU。如果直接pip install 安装对应的包后期会报错。可以在pytorch官网找到正确pip安装的方式pip3 install torch1.9.0cu111 torchvision0.10.0cu111 torchaudio0.9.0 -f https://download.pytorch.org/whl/torch_stable.html 涉及到的torch 大概3G多下载非常慢所以手动下载whl文件安装最好手动下载依赖包地址https://download.pytorch.org/whl/torch_stable.html下载好的文件名称如下(这里也可下载链接https://pan.baidu.com/s/1ypyS40kc8OFLY50J4Jxxnw?pwd8888 提取码8888)
torch-1.9.0cu111-cp36-cp36m-win_amd64.whltorchvision-0.10.0cu111-cp36-cp36m-win_amd64.whltorchaudio-0.9.0-cp36-cp36m-win_amd64.whl
使用pip命令安装以上包需要按照顺序安装安装命令如下
pip install torch-1.9.0cu111-cp36-cp36m-win_amd64.whlpip install torchvision-0.10.0cu111-cp36-cp36m-win_amd64.whlpip install torchaudio-0.9.0-cp36-cp36m-win_amd64.whl
除了以上pytorch相关包下载非常难之外还有一个包需要手动下载dlib这个pip安装问题不大但是pip安装时会检测环境导致缺其他包安装不成功。所以这里也手动下载python3.6对应下载地址
https://pypi.org/packages/da/06/bd3e241c4eb0a662914b3b4875fc52dd176a9db0d4a2c915ac2ad8800e9e/dlib-19.7.0-cp36-cp36m-win_amd64.whl#md5b7330a5b2d46420343fbed5df69e6a3f
python3.7对应下载地址
https://github.com/daiera/some_resources/blob/master/dlib-19.17.0-cp37-cp37m-win_amd64.whl
同样下载完成之后直接pip安装即可
pip install dlib-19.17.0-cp36-cp36m-win_amd64.whl
除了以上包之外还需要安装python的包如下直接pip安装即可。
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-image
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple easydict
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple PyYAML
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple dominate2.3.1
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple dill
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorboardX
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scipy
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple einops
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple PySimpleGUI
3.6 照片修复
准备老照片路径
“J:\Bringing-Old-Photos-Back-to-Life-master\old-image”
准备修复后的路径
“J:\Bringing-Old-Photos-Back-to-Life-master\repair-image”
执行如下步骤修复照片
1) 切换python36环境
在“J:\Bringing-Old-Photos-Back-to-Life-master”路径下右键打开命令行执行如下命令切换python36_oldimage python环境
conda activate python36_oldimage
2) 启动程序修复图片
在打开的cmd窗口中执行如下命令
python J:\Bringing-Old-Photos-Back-to-Life-master\run.py --input_folder J:\Bringing-Old-Photos-Back-to-Life-master\old-image --output_folder J:\Bringing-Old-Photos-Back-to-Life-master\repair-image --GPU 0
如果照片中有褶皱那么可以在命令最后执行 --with_scratch参数命令如下
python J:\Bringing-Old-Photos-Back-to-Life-master\run.py --input_folder J:\Bringing-Old-Photos-Back-to-Life-master\old-image --output_folder J:\Bringing-Old-Photos-Back-to-Life-master\repair-image --GPU 0 --with_scratch
