网站建设四个阶段的流程,vs2010 iis 网站开发,1688网站简介,网站排版尺寸注意#xff0c;为避免侵权#xff0c;本文图片均为AIGC生成或网络公开数据#xff1b;
像素蛋糕-露齿笑
在介绍本文之前#xff0c;先说一下#xff0c;其实露齿笑特效#xff0c;并非像素蛋糕首创#xff0c;早在几年前#xff0c;face app就率先推出了这个效果为避免侵权本文图片均为AIGC生成或网络公开数据
像素蛋糕-露齿笑
在介绍本文之前先说一下其实露齿笑特效并非像素蛋糕首创早在几年前face app就率先推出了这个效果本人也是之前做过相关的算法研究与实践所以今天应部分小伙伴的要求对这个效果算法实现做个讲解。
我们开门见山直接介绍像素蛋糕的表情管理模块算法实现。
像素蛋糕的表情管理功能主要是笑容管理模块包含两个子功能露齿笑和抿嘴笑。两个功能的界面如下所示 两个功能体验
1.露齿笑包含5个程度的调节微笑的强度从1-5整体上无论从体验上还是从技术上来看它的实现都并非是一次完成的每一个程度都需要重新制作
2.抿嘴笑功能仅有一个滑杆用于控制抿嘴嘴角微笑的程度这个功能仅仅是一个基于点位的人脸微笑变形功能对于这个功能相对没有太多技术含量这里就暂时不在过多介绍了。
露齿笑算法
像素蛋糕的露齿笑由于用户照片不管是闭嘴还是张嘴不管是露牙齿还是不露牙齿的只要做了露齿笑必然会生成露齿效果而且这个牙齿是算法生成出来的与用户牙齿不相关因此露齿笑算法必然是一个生成式AI算法
个人猜测每个程度对应会调用一次露齿笑算法推理这个算法可能有两种形式
①多模型1-5的强度分别对应5个露齿笑模型输出不同强度的微笑效果
②单模型条件输出1-5的强度条件分别对应不同强度的微笑效果输出
有了上面的猜测从作者本人的经验角度来看给出如下解决方案
1.使用GAN网络来实现露齿效果一般而言对于人脸特效类比如人脸变形(真人迪士尼皮克斯等)动漫类基本都可通过GAN来实现而且可以很方便的实现甚至做到手机端实时处理(比如抖音快手app中各种实时漫画脸特效)
2.数据集构建露齿笑算法最大的难点在于数据集的构建这里我们可以针对不同程度的露齿效果每个程度准备200张效果图可以从网络爬取或其他方式获得然后使用200张效果图微调StyleGAN得到露齿笑的StyleGAN模型用StyleGAN模型来生成人脸露齿笑的大量成对数据(原图露齿笑效果图)。
注意这里有一个trick由于StyleGAN制作的成对数据实际上是伪成对数据原图和效果图并非一一对应会存在一定的差异这里我们可以使用人脸点位你和嘴巴区域将非嘴巴区域保留原图嘴巴区域逐渐渐变为效果图这样即可构建出相对质量较高的成对数据同时对于人脸特效类必须要进行人脸对齐这样可以降低训练难度提升效果精度。这里本人测试构建1.5W数据集
数据集举例如下: 3.网络构建我们最直接的选择单模型条件输出的解决方案选择CGAN网络输入为原图label原图大小比如512×512×3label12345对应输出分别为5个程度的微笑效果图网络架构为U-netLoss使用VGG感知损失人脸laplace边缘lossssim颜色loss等
按照上述方案进行验证最终效果如下 可以看到本人的方案效果达到了像素蛋糕类似的露齿笑效果
类似的该方案还适用于各类表情特效(哭脸大笑等)后续不再累赘。
