1. Introduction
人脸识别受到各种因素影响,其中最重要的两个影响是 pose 和 expression, 这两个因素会对 intra-person 变化产生极大的影响, 有时候甚至会超过 inter-person 变化的影响。面对这两个挑战,许多工作可以大体被划分为两种: feature level normalization 和 image level normalization.
Feature级的normalization重点在于设计对pose和expression变化更鲁棒的人脸表示。(High-dim LBP, CNN等.)
Image级的normalization重点在于从随意状态下的人脸合成一些规范的和无表情的图像。这种方法的优点在于可以很容易的和原本的人脸识别算法融合在一起,只是将这里作为图像预处理的方法。(Stack Flow, Markov Random Filed, Morphable Displacement等.)
本文是一种 pose 和 expression naomalization的方法,重建canonical-view, expression-free的高逼真图像,贡献主要有:
2. Pose Adaptive 3DMM Fitting
2.1 3D Morphable Model
3D Morphable Model(3DMM),通过面部扫描的线性组合来构建,3DMM可以在相当大的程度上拟合任意的面部形状。近来,Chu 等人扩展了3DMM,将表情作为偏移量包含在中性脸内。
\[S = \overline{S} + A_{id}\alpha_{id} + A_{exp}\alpha_{exp} \]
S表示3D脸,\(\overline{S}\)表示平均shape,\(A_{id}\)表示