面部特征点检测的关键技术（二）

　　面部特征点定位任务即根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，如下图所示。

　　这项技术的应用很广泛，比如自动人脸识别，表情识别以及人脸动画自动合成等。由于不同的姿态、表情、光照以及遮挡等因素的影响，准确地定位出各个关键特征点看似很困难。我们简单地分析一下这个问题，不难发现这个任务其实可以拆分出三个子问题：

　　1、如何对人脸表观图像（输入）建模

　　2、如何对人脸形状（输出）建模

　　3、如何建立人脸表观图像（模型）与人脸形状（模型）的关联

　　以往的研究工作也离不开这三个方面。人脸形状建模典型的方法有可变形模板（Deformable Template）、点分布模型（主动形状模型Active Shape Model）、图模型等。

　　人脸表观建模又可分为全局表观建模和局部表观建模。全局表观建模简单的说就是考虑如何建模整张人脸的表观信息，典型的方法有主动表观模型Active Appearance Model（产生式模型）和Boosted Appearance Model（判别式模型）。对应的局部表观建模则是对局部区域的表观信息建模，包括颜色模型、投影模型、侧剖线模型等。

　　近来，级联形状回归模型在特征点定位任务上取得了重大突破，该方法使用回归模型，直接学习从人脸表观到人脸形状（或者人脸形状模型的参数）的映射函数，进而建立从表观到形状的对应关系。此类方法不需要复杂的人脸形状和表观建模，简单高效，在可控场景（实验室条件下采集的人脸）和非可控场景（网络人脸图像等）均取得不错的定位效果。此外，基于深度学习的面部特征点定位方法也取得令人瞩目的结果。深度学习结合形状回归框架可以进一步提升定位模型的精度，成为当前特征定位的主流方法之一。下面我将具体介绍级联形状回归和深度学习这两大类方法的研究进展。

　　级联线性回归模型

　　面部特征点定位问题可以看作是学习一个回归函数F，以图象I作为输入，输出θ为特征点的位置（人脸形状）：θ = F（I）。    简单的说，级联回归模型可以统一为以下框架：学习多个回归函数{f1 ,…, fn-1, fn}来逼近函数F：

　　θ = F（I）=  fn (fn-1 (…f1(θ0, I) ,I) , I)

　　θi= fi (θi-1, I),    i=1,…,n

　　所谓的级联，即当前函数fi的输入依赖于上一级函数fi-1的输出θi-1，而每一个fi的学习目标都是逼近特征点的真实位置θ，θ0为初始形状。通常情况，fi不是直接回归真实位置θ，而回归当前形状θi-1与真实位置θ之间的差：Δθi = θ - θi-1。

　　接下来我将详细介绍几个典型的形状回归方法，他们根本的不同点在于函数fi的设计不同以及输入特征不同。

　　在加州理工学院从事博士后研究的Piotr Dollár于2010年首次提出级联形状回归模型CascadedPose Regression（CPR），来预测物体的形状，该工作发表在国际计算机视觉与模式识别会议CVPR上。如下图所示，如下图所示，给定初始形状θ0，通常为平均形状，根据初始形状θ0提取特征（两个像素点的差值）作为函数f1的输入。每个函数fi建模成Random Fern回归器，来预测当前形状θi-1与目标形状θ的差Δθi，并根据Δ?i预测结果更新当前形状得θ i = θi-1+Δ?i，作为下一级函数fi+1的输入。