基于形变模型的多角度三维人脸实时重建

　　摘要：采用人脸特征点调整三维形变模型的方法应用于面部三维重建，但模型形变的计算往往会产生误差，且耗时较长。因此运用人脸二维特征点对通用三维形变模型的拟合方法进行改进，提出了一种视频流的多角度实时三维人脸重建方法。首先利用带有三层卷积网络的CLNF算法识别二维特征点，并跟踪特征点位置;然后由五官特征点位置估计头部姿态，更新模型的表情系数，其结果再作用于PCA形状系数，促使当前三维模型发生形变;最后采用ISOMAP算法提取网格纹理信息，进行纹理融合形成特定人脸模型。实验结果表明，该方法在人脸重建过程中具有更好的实时性能，且精确度有所提高。

　　关键词：三维形变模型;特征点提取;表情系数;PCA形状系数;纹理融合

　　随着视觉感知和获取技术的发展，近年来，人脸三维重建的精确度逐步提高，其流行方法包括激光扫描、结构化光扫描、RGBD相机[1]等。同时，3D人脸模型被广泛应用于建模[2]、动画[3]、游戏[4]、信息安全和3D打印[5]等领域。但是，当前的人脸三维模型往往需要通过昂贵的设备和相当高水平的专业知识来实现高质量的捕获和重建[6]，远远超出了一般终端用户的能力，因此限制了该技术的潜在应用。从二维图像中重建人脸三维模型无需昂贵的设备和专业的操作，具有制作成本低、使用方便、利于推广等优点，一直是该领域的研究热点。基于图像的人脸建模最常用的2种方法为基于明暗恢复形状的方法和基于形变模型的方法。HORN[7]早在20世纪70年代就提出了通过图像明暗变化恢复物体外观形状的方法，类似于物体成像的逆过程，根据人脸照片的亮度变化恢复人脸模型的表面形状。其优点在于数据集的需求较小，通过少量人脸图像恢复人脸的形状模型，但该模型所需条件过于理想化，对拍摄角度、光照方向有要求，实时性较差，无法被广泛应用。BLANZ和VETTER[8]提出的三维形变模型(3Dmorphablemodel,3DMM)法是目前较为成功的利用二维图像进行人脸重构的方法。通过建立三维人脸的线性组合，结合二维图像调节、拟合得到重构的三维人脸。

　　其创造性地将一个具体的人脸模型分解为形状和纹理2个部分，且具有高度自动化和真实感强的优势，在人脸三维重建领域广受关注。文献[9]通过在二维图像和三维面部模型数据集上训练卷积神经网络，在不考虑细节和纹理特征的情况下，能够实现任意姿态和表情的面部几何重建。文献[10]提出了一种高保真姿态和表情的方法，利用姿态变换造成二维和三维特征点的不对应关系，采用三维形变模型自动生成正面姿态和中性表情的自然人脸模型。

　　文献[11]通过大量的数据标记，提出了一种鲁棒性的，由输入照片直接返回3DMM形状和纹理参数的回归方法，克服了模型泛化问题，生成可用于人脸识别的三维人脸模型。文献[12]发布了SFM(surreyfacemodel)三维形变模型，并提出采用级联回归方法拟合3DMM参数，实现了基于视频重建三维人脸模型的算法4dface，这是面部建模领域的一大飞跃。尽管对图像和视频的三维建模已有大量的研究，但是从视频中实时重建带有表情的精确三维人脸仍有很大的改进空间。本文提出一种从普通人像视频中自动实时重建三维人脸模型的方法，支持侧脸角度[–40°,40°]，俯仰角度[–20°,20°]下的头部姿态，在该范围内，相机从不同角度拍摄人脸，采用线性回归的方法拟合不同角度和姿态的人脸二维特征点和三维形状模型，重建过程中使用头部姿态和表情系数调整模型细节状态，最后在300W人脸数据集上验证了本文算法在重建拟合时间和模型准确度上均有所提高。

　　1相关工作

　　本文旨在实现实时重建出具有辨识度的三维人脸模型，过程中不需要严格的定义人物姿态，也无需昂贵的深度获取设备和专业人员的操作，以及后期的加工处理，是一种简单、可广泛推广的快速人脸建模方法。基于二维图像进行三维模型的重建往往对模型和人脸的初始状态有很强的依赖，因此图像特征和通用模型的选择是后续重构计算的基础。本文选择三维形变模型作为通用形变模型，用于和二维特征点的拟合运算。同时，选取68个特征点描述人脸特征，并采用受约束的局部神经域模型(constrainedlocalneuralfields,CLNF)算法[13]获取特征点信息。

　　2模型重建过程

　　本文从视频连续帧人脸图像实时重建出带有纹理细节的三维面部模型，弥补了单张图片重建的自遮挡问题，由特征点跟踪不同角度人脸变化，实时矫正形变模型，逐步优化，而非一次性重建出最终结果，在细节和准确度方面均有较好的效果。从视频中提取一帧图像，首先需利用Haar分类器检测人脸区域，再利用CLNF算法在区域内识别人脸特征点的二维位置;然后初始化SFM统计模型(如果是第一帧人脸图像，则初始化平均模型，否则采用上一帧的形变模型)，采用黄金标准算法[15]由五官特征点二维位与其在三维模型中的对应坐标计算当前人脸姿态和仿射相机矩阵，通过2次线性回归，求解表情系数和PCA形状系数，使三维模型发生形变。从视频连续帧可以获取不同角度的人脸图像，每张人脸图像均可跟踪到68个特征点，并拟合一个形变的三维模型。本文将前一帧形变后的三维模型作为后一帧模型形变的基础，使得最终生成的三维模型经历了不同角度人脸姿态的拟合变形，使其更接近真实人脸形状。同时，在姿态角度变化过程中，还可以全方位获取人脸的纹理细节特征。

　　3实验

　　针对本文提出的基于形变模型的多角度重建方法，与当前流行的视频重建算法进行精确度、时间和渲染效果3方面的对比实验。数据集使用300W人脸数据集，平台笔记本配置为Intel(R)Core(TM)i5-7200U处理器，2.50GHz主频，8GB内存，以及NVIDIAGeForce930MX显卡。

　　实验1.精确度对比随机提取300W数据集中的若干张图片，首先标记出数据集标记的68个特征点位置如图6(b)空心方块;然后用本文方法对SFM三维形变模型进行拟合变形并将模型顶点投影到二维平面，而空心圆则是模型投影的特征点位置。计算特征点的均方根误差(rootmeansquareerror,RMSE)用于衡量模型拟合的精确度，实验中，采集了数据集中不同角度的人脸图像，并与4dface采用模型拟合算法进行对比，结果显示本文方法拟合精确度更高。

　　实验2.时间对比本文通过改善特征点提取方式，减少迭代次数，优化拟合算法，从而极大地提高了实时性能。4dface的视频图像人脸重建帧率大约在4~7fps，本文重建的实时帧率约为20~25fps。表1对比了每一帧图像在特征点提取和三维形变模型拟合过程中平均消耗的时间，证明本文算法在实时性能方面具有鲁棒性。

　　实验3.渲染效果模型渲染效果的好坏是三维面部模型最直观的表现。本文提出的纹理渲染是一种由粗到细，随着视频中人脸角度变化逐步填充自遮挡区域的纹理获取方法，相比于4dface采用的纹理叠加取平均的方法，更能保障人脸细节特征不丢失不模糊，且基本还原了所有面部细节，如痘痘、斑点及皱纹;放大局部图像，发现眼部细节未随着角度变化而模糊，依次是本文方法多角度重建、单张图的重建及4dface方法的重建。

　　4结束语

　　本文通过视频流多角度人脸图像，结合形变模型进行三维人脸模型的实时重建。多角度的人脸拍摄弥补了基于单张图片进行三维重建的自遮挡导致局部信息缺失问题;三维形变模型的方法解决了基于二维图像重建三维模型所存在的深度信息缺失问题。并且，本文的重建是全自动，无需手动干预的实时重建方法，自动特征点的定位算法的引入，提高了特征点定位的准确性和效率。本文提出的形变拟合方算法，与传统拟合过程相比，极大降低了时间开销，同时精确度也略有提高。最后在纹理融合阶段，本文纹理提取方法能够保留面部纹理细节，使重建模型更具真实感。但纹理提取容易受到光照的影响，如果面部光照极不均匀，可能造成重建模型的皮肤纹理深浅不一致的情况，这将是后续研究的工作。

　　相关论文范文：基于体绘制的特征区域三维云可视化

　　摘要：对于常规气象数据分析来说，二维平面分析是最普遍的方式之一，但在二维模式下的局限性又无法真实反应三维空间中的气象信息。以“天鸽”台风的二维数据集为例，利用其数据特性将分析模式由二维云图提升到三维云可视化的分析模式上。在文章中利用体绘制实现三维云的创建，在当前比较传统的体绘制基础上对绘制效率、三维云阴影渲染、气象数据集分析模式三个方面改进。