人脸融合相关调研

以前的记录,整理发现了值得分享一下。

云解决方案

自研

试用

  • baidu api

在这里插入图片描述

  • tencent api
    在这里插入图片描述

资源

  • https://cloud.tencent.com/developer/article/1401153

  • https://www.cnblogs.com/wm123/p/5370064.html

  • @声音克隆 zao应该是没有用到网传的开源东西.前几天看到一篇知户上的文章,一个多年CV的人测试了zao,根据他的说法,zao不紧紧是检测脸部的关键点还识别出了局部5关特征,他用蓝和红的小方框分别遮挡了了左右眼睛,换脸后的效果大叠眼镜,相同的嘴巴也可以遮挡下,换回来的就露馅了.应该不是用的早先网传的那些东西实现的.根据他的说法 ZAO应该是提前制作了大量的五关模型,快速替换脸部信息.说明zao不只分析了整个脸部肯定也分析了五官特征。这样一个可能的答案就出现了,zao应该是预设了某种模版,可以和对象的五官匹配,生成的视频用的可能不是对象的样貌,而是来自于预设数据库中和对象最吻合的模版。(也许同时也叠加了对象本身五官)一张包含人脸的图像中有几种核心元素,即通用概念范畴上的姿态,角度,表情以及个性化生物属性即所谓的个体长相(五官)包含在编码器和解码器的中间层,这些属性数据解耦,dst保留姿态角度表情属性,叠加src的个人属性进行训练,输出后即是保留dst演技水平的又具备src五官特征的完整视频。

  • 论文《Towards Open-Set Identity Preserving Face Synthesis》中网络I和E实际是要提取图像的两组正交的解耦的特征,感觉I和E是可以放到一个网络中完成的,而且这样同时提取两个输入A和B的两组特征,可以进行交叉验证,即A变为B,B变为A,整个网络的结构对称性就加强了

猜你喜欢

转载自blog.csdn.net/uncle_ll/article/details/131096070