ECCV2018:A Deeply-initialized Coarse-to-fine Ensemble of Regression Trees for Face Alignment
reference:https://www.52cv.net/?p=1260
人脸对齐与跟踪如何克服遮挡、姿态变化带来的特征点跳变?
思路
作者认为出现人脸特征点距离真实位置偏移过大,是因为算法初始化时的特征点不够鲁棒,于是提出一种使用深度卷积网络粗略估计特征点位置,结合3D人脸姿态估计与重投影确定特征点初始位置,然后使用经典的回归树集成(Ensemble of Regression Trees,ERT)方法提精位置。
通过深度学习+几何重投影方法初始化,结合传统特征点定位的回归模型ERT,在各个数据集上几乎都达到了最好的性能。
结构
DCFE:Deeply Initialized Coarse-to-Fine Ensemble
- CNN模型计算每个特征点概率图,取最大相应的位置为特征点位置;
- 计算3D人脸模型,通过POSIT计算人脸3D姿态,并将3D特征点使用计算得到的姿态矩阵重投影到人脸图像中,作为下一步的特征点提精的初始位置;
- ERT非刚体形状估计,改进传统回归树模型由粗到细(Coarse-to-fine)迭代计算特征点位置,直至算法收敛。ERT的特征提取使用快速的FREAK像素比较二值特征。
Ii:训练图像
xig:L个landmark的Lx2的坐标向量;
vig:L个landmark的Lx1向量可见性的二进制标签,
wig:带注释的landmark标签
Ctv:可见性的增量;
ut-1:当前shape的集合以及所有训练数据的相应可见性向量。FREAK:Fast Retina Keypont,特征点检测和匹配
Feature extration:
黑点:采样点;圆圈:感受野;感光细胞密度不同,采用不同大小,重叠的感受野模拟人眼视网膜获取更多特征
Learn coarse-to-fine regressor:
通过递归地将训练集分成左(l)和右(r)子节点来学习每个回归二叉树。树节点分割功能旨在最小化所选landmark中的等式2。
一旦我们知道最佳分割,每个叶节点都存储平均残差μθ,b,作为到达该叶子的任何示例的回归的输出。