换脸技术是人工智能研究中的一把双刃剑。逼真地切换和操纵人脸的能力存在在身份盗窃、假新闻和其他场景中滥用的危险;而且在数十亿美元的电影，电视和电脑游戏行业中也存在广泛的机会。换脸更友善的一面使该技术成为视觉和图形艺术界流行的新工具。

SOTA面部交换的当前挑战之一是集成逼真和高保真效果 - 特别是如何提取和自适应地重新组织源和目标面部图像的身份和属性。北京大学和亚洲Microsoft研究部的一项新研究提出了一种新颖的两阶段框架FaceShifter，旨在实现高保真和遮挡感知面部交换。

与现有的面部交换方法相比，FaceShifter使用来自目标图像的更多信息。该模型在第一个处理阶段充分自适应地利用和集成目标属性，生成高保真度的交换面。

研究人员提出了一种新的属性编码器，用于导出多级目标人脸属性，以及一个设计良好的具有自适应注意力非规范化（AAD）层的生成器，以将目标属性与身份特征显示集成在一起。他们还增加了第二阶段，以解决具有挑战性的面部遮挡问题，使用新的启发式错误确认细化网络（HEAR-Net），该网络可以以自我监督的方式恢复异常区域，而无需任何手动注释。

使用来自FaceForensics ++测试图像数据集的自然面部图像，研究人员在FaceShifter和其他面部交换工具FaceSwap，Nirkin，DeepFakes，IPGAN和最新的FSGAN上进行实验。人类评估人员被要求选择 i） 与源面孔具有最相似身份的人脸;ii） 与目标图像共享最相似的头部姿势、面部表情和场景照明;iii）最现实的。FaceShifter的结果不仅在感知上更具吸引力，而且还保留了更好的整体身份显示。

研究人员指出，他们测试的所有其他面部交换工具首先合成面部内部区域，然后将这些信息与目标面部的轮廓相结合，这可能会产生不一致和不自然的外观。

此外，其他方法生成的人脸忽略了原始人脸的形状，没有考虑目标图像中的关键元素，如照明和分辨率。例如，IPGAN具有单级属性表示，这会降低分辨率，并且不能准确保留目标面部表情，例如闭合的眼睛。该团队表示，FaceShifter解决了所有这些问题。


论文FaceShifter：迈向高保真和遮挡感知面部交换在arXiv上。