一、3D 人脸任务
- 3D Face Alignment. 从2D图像到3D 关键点回归(例如68个关键点)
- 3D Dense Face Alignment. 从2D图像到3D稠密关键点回归,上万个关键点的人脸模型,例如3DMM模型,将问题转换为对参数的回归.
- 3D face reconstruction. 从一张2D图像中重建出人脸的3D点云模型,即除了形状之外,还要包含每个点的纹理信息(RGB值).
二、数据集
序号 | 名称 | 任务 | 数量 | 数据格式 | 备注 |
---|---|---|---|---|---|
1 | 300W-LP | 关键点/重构 | 60K | 3DMM参数,2D和3D 68个关键点,MATLAB | |
2 | AFLW2000-3D | 关键点/重构 | 2K | 3DMM参数,2D和3D 68个关键点,MATLAB | AFLW数据集前2K张 |
3 | Florence | 关键点/重构 | 2K | 视频,不同分辨率、视角和放缩 | 53个受试者面部扫描 |
4 | AFLW-LFPA | 关键点 | 3901+1299 | 34个关键点 | AFLW数据集的扩展 |
5 | NoW Benchmark | 重构 | 3D重构图,包含120K个顶点(.obj),7个关键点,bbox由npy格式给出 | 100个受试者, iPhone X获取, 3D面部扫描 | |
6 | Stirling-HQ / LQ | 重构 | Di3D camera system获取,Wavefront obj格式,视频 | 99个受试者 |
三、算法
序号 | 算法 | 年份 | 编程语言 | 训练代码 | 速度 |
---|---|---|---|---|---|
1 | 3DDFA_V2 | 2020 | pytorch+mac or linux | 无 | 1.35ms/image on CPU+4ms mesh rendering |
2 | RPN | 2018 | Tensorflow 1.x + Python 2.7 | 无 | 100FPS on GTX1080 |
3 | DeFA | 2017 | MATLAB | 无 | |
4 | MNN+OR | 2020 | Tensorflow + C++ | 无 | |
5 | 2DASL | 2019 | Pytorch + Matlab | 无 | |
6 | 3DDFA | 2018 | Pytorch + Matlab + C++ | 是 | 0.27x128ms on TITAN X |
7 | DECA | 2020 | pytorch | 无 | 120fps on RTX5000 |
8 | RingNet | 2019 | Tensorlow+python2 | 无 | |
9 | Deng et al. | 2019 | Tensorflow | 是 | 50FPS on 1080 |
四、效果排序