vlambda博客
学习文章列表

厉害了!GitHub火爆的DeepFake变脸即将用于拍电影?这是要让替身演员失业的节奏?

     
       
       
     
这里是码农充电第一站,回复“666”,获取一份专属大礼包
真爱,请设置“星标”或点个“在看”
作者:GG哥
来源:GitHub爱好者社区(github_shequ)
Hello,大家好,我是GG哥!
此前曾推荐过GitHub开源库DeepFakeLab,可以看之前的这篇文章《 》,这个牛逼的工具,可以实现视频中换脸,近日迪士尼研究所(Disney Research|Studios)发表论文称,他们做出了比DeepFakeLab更强的高分辨率变脸效果。即将用于电影产业,过去我们知道,很多明星会让替身,去代替真人去拍摄一些危险的戏,而迪士尼研究室这一论文,一发布,让很多替身演员坐不住了,这不是要失业的节奏?
厉害了!GitHub火爆的DeepFake变脸即将用于拍电影?这是要让替身演员失业的节奏?
迪士尼研究室表示:换脸法的结果。所有图像以百万像素的分辨率在时间相干视频中作为帧生成片段,我们可以看一下Gif和视频:
厉害了!GitHub火爆的DeepFake变脸即将用于拍电影?这是要让替身演员失业的节奏?
支持1024*1024分辨率及以上,脸上的寒毛都可以看清楚,而DeepFakeLab最高也仅仅支持320*320.
厉害了!GitHub火爆的DeepFake变脸即将用于拍电影?这是要让替身演员失业的节奏?
那么他们是怎么做的呢?流程如下:
厉害了!GitHub火爆的DeepFake变脸即将用于拍电影?这是要让替身演员失业的节奏?
  • 在步骤(1)和(2)中,我们通过裁剪和归一化人脸对输入进行预处理。

  • 在步骤(3)将预处理后的图像传入通用编码器,用相应的解码器Ds解码。

  • 在(4)中,我们使用我们的多波段混合来交换目标和源面。

厉害了!GitHub火爆的DeepFake变脸即将用于拍电影?这是要让替身演员失业的节奏?
单编码器,多解码器网络架构
GG哥给大家总结下:在百万像素分辨率下进行真实感面部转换的完整方法:
  1. 对于图像xt,检测人脸并定位人脸地标。

  2. 将人脸归一化到1024×1024分辨率,保存归一化参数。

  3. 将归一化后的面输入网络并保存输出

  4. 反向图像归一化使用保存的参数,进行模型训练

  5. 在图像x˜s和混合产生的图像与训练后的图像xt使用合成,把差别帧剔除。

管道中最关键的组件是模型本身, 最后他们展示了一个和DeepFakeLab以及其他变脸库的效果对比图:
厉害了!GitHub火爆的DeepFake变脸即将用于拍电影?这是要让替身演员失业的节奏?
 
   
   
 
好啦,今天的分享就到这儿啦,我们下次见啦~

GitHub原创推荐

•  
•  
•  
•  
关注「Github爱好者社区」加星标,每天带你逛Github好玩的项目