您的当前位置:首页正文

关键点匹配三维人脸识别方法

2023-06-27 来源:榕意旅游网
第27卷第11期 2010年1 1月 计算机应用研究 Application Research of Computers Vol_27 No.11 NOV.2010 关键点匹配三维人脸识别方法冰 宋顶利 , 杨炳儒 ,于复兴 (1.北京科技大学信息工程学院,北京100083;2 河北理工大学a.理学院;b.计算机与控制学院,河北唐山 063000) 摘要:提出了一种新颖的三维人脸识别算法,其基本思路是,把代表人脸的三维点云沿 、l,或z轴旋转,反复 多次把3D人脸关键点投影到2.5D图像上,然后提取2.5D图像的关键点并进行标记,而用这些比原来小得多 的关键点代替原来的面扫描。面对未知的待测人脸首先通过执行相同的多视角特征点提取技术提取关键点,然 后应用一个新的加权特征点匹配算法进行识别。通过用GavabDB三维面部识别数据集进行试验评估,这个方法 对中性表情人脸可获得高达94%的识别精度,对人脸表情辨识(如微笑)的准确率也超过了88%。实验结果表 明,此方法在识别精度上有显著地提高。 关键词:关键点;投票;识别;人脸 中图分类号:TP391.41 文献标志码:A 文章编号:1001—3695(2010)11—4331—04 doi:10.3969/j.issn.1001—3695.2010.11.092 Method of 3 D face recognition based on keypoint matching SONG Ding—li ’ .YANG Bing—ru .YU Fu—xing (1.School ofInformation Engineering,University foScience&Technology Beijing,Beijing 100083,China;2.a.CoUege ofSciences,b.Col- lege‘foComputer&Automatic Control,Hebei Polyteehnic University,Tangshan Hebei 063000,China) Abstract:This paper proposed a novel algorithm for 3D face recognition based on keypoint matching.Its idea was to rotate each 3D point cloud representing a face around the ,Y or  ̄txes,iteratively projecting the 3D points onto 2.5D images.It ex— tracted the keypoints from 2.5 D images,set of keypoints replaced the original face scan,performed test faces the same key— point extraction technique,and secondly using a new weighted keypoint matching algorithm to recognize face.Evaluation using the GavabDB 3 D face recognition dataset,the method achieved up to 94%recognition accuracy for faces with neutral expres— sions,and 88%accuracy for face recognition with expressions(such as a smile).The experiment results show that this method gets remarkable progress in recognizing accuracy. Key words:key point;voting algorithm;recognization;face 0引言 1三维人脸识别 人脸识别是最具挑战性的模式识别问题之一。经过多年 人脸识别按照所用的信息类型,可分为二维和三维人脸识 的发展,特别是近十多年的研究,人脸识别的理论和算法均取 别。3D人脸的研究起源于计算机动画和生物医学成像。计算 得了巨大进步,但这些理论和算法主要针对二维人脸图像。由 机动画是在计算机上生成3D的人脸动画来表达人的运动、姿 于人脸的非刚性特征,二维图像中人脸姿态、表情、光照条件等 态和表情。这种动画的人脸可以应用在不同的环境下,从而应 的变化对算法的识别性能影响很大。更实用的人脸识别算法 用和发展为虚拟现实。在生物医学方面的方法是从生物图层 应该能够在摄像环境、姿态、光照不可控、表情变化大、用户不 或切片重构人体器官组织,并将其用于病理分析。将三维的方 配合的情况下进行识别。所以目前算法的缺陷大大限制了人 法用于人脸机器识别是近几年才开始的,主要是为了解决2D 脸识别技术在实际中的广泛应用。如何解决不同姿态、不同光 方法无法根本解决的问题,或弥补2D方法的不足 。 照条件下的人脸识别问题是二维人脸识别研究的瓶颈,也是当 1.1 3D人脸识别算法 前的研究热点。与二维人脸图像数据相比,三维人脸数据中包 三维人脸识别算法按采用的数据类型、特征方法分为五种 含人脸的空间信息,这是人脸本身固有的特征信息,对姿态、光 类型,即基于子空间的方法、基于轮廓线的方法、基于其他特征 照条件的变化具有鲁棒性。与二维图像不同,三维人脸数据有 的方法、基于多分类器融合的方法以及基于三维点云的方法。 多种不同的形式,如人脸的深度数据、曲面点的三维坐标及其 基于子空间的方法将人脸用深度图像表示,再采用特征脸 点之间的连接关系、面部轮廓线数据等。因此,近年来利用三 (eigenfaces)等子空间方法进行识别。Xu等人 先构建一个 维人脸数据进行人脸识别的方法成为研究热点,也出现了一些 规则网格表示三维人脸表面,经姿态校正后用深度图表示,再 识别算法…。本文在前人研究的基础上提出了一种新颖的基 用特征脸方法进行识别。对3D RMA数据库中质量较好的30 于关键点匹配的三维人脸识别算法。 人、每人6幅图像的数据集,识别率为93.9%;对质量较差的 收稿日期:2010—05-20;修回日期:2010-06-28 基金项目:国家自然科学基金资助项目(60875029) 作者简介:宋顶利(1971一),男,河北唐山人,博士研究生,主要研究方向为图像处理(sdlhr617@sohu.conr);杨炳儒(1943一),教授,博导,主要研 究方向为数据挖掘、知识发现;于复兴(1979一),讲师,主要研究方向为数据挖掘. ・4332・ 计算机应用研究 第27卷 120人、每人6幅图像的数据集,识别率降为71.1%。 基于轮廓线的方法提取人脸表面的若干轮廓线作为特征, 采用某种度量进行匹配。Zhang等人 用PCA从三角化的人 识、影像追踪和动作比对。SIT是一种基于特征的配准方法。F SIFT特征匹配算法是对图像缩放、旋转甚至仿射变换保持不 变性的特征匹配算法。该算法匹配能力较强,能提取稳定的特 脸表面得到初始对称轴,再用ICP算法对齐镜像人脸,得到人 脸对称平面。由平均曲率和中轴轮廓线曲率获得鼻尖、鼻梁和 征,可以处理两幅图像之间发生平移、旋转、仿射变换、视角变 换、光照变换情况下的匹配问题,甚至在某种程度上对任意角 度拍摄的图像也具备较为稳定的特征匹配能力,从而可以实现 差异较大的两幅图像之间的特征匹配。 Mikolajczyk和Schmid针对不同的场景,对光照变化、图像 几何变形、分辨率差异、旋转、模糊和图像压缩6种情况,就多 种最具代表性的描述子(如SIFT、矩不变量、互相关等10种描 鼻下三个特征点,由这三个特征点定义新的坐标系,并定位前 额轮廓线和脸颊轮廓线,连同中轴轮廓线作为人脸的表示,并 用ICP算法计算相应的距离,用线性判别分析(LDA)优化各轮 廓线的权重。实验结果表明该方法对表情变化不够鲁棒。 基于其他特征的方法从人脸表面提取某种特征作为人脸 的表示,再用某种度量进行匹配。 基于多分类器融合的方法从人脸表面提取多种特征,采用 不同的分类器进行分类,将各分类器的结果进行融合。如 Chang等人 基于人脸肤色从二维彩色照片提取人脸区域,再 用ICP算法进行姿态校正。利用高斯曲率和平均曲率找出鼻 子区域,在鼻尖周围找出三个局部区域,分别用ICP算法进行 匹配,再将其结果进行融合。在FRGC v2.0数据库上,识别率 达92%。文献[6]中有更详细的阐述。 基于三维点云的方法将人脸用三维点云表示,再采用某种 度量对人脸点云进行匹配。Medioni等人 采用被动立体视觉 获得人脸的三维表面,用迭代对应点(ICP)算法 进行人脸表 面的匹配。在100人、每人7幅不同姿态的深度图像构成的数 据库上,EER低于2%。Pan等人 对Hausdorff距离和主成分 分析(PCA)两种方法在3D RMA数据库上进行了比较。对于 Hausdorff距离,EER为3%~5%;对于PCA,EER为5%~ 7%。 Uchida等人 通过立体视觉得到人脸的三维表面数据, 用ICP算法进行匹配。为加快计算,采用了由粗到细的策略, 即初始迭代时用少量对应点,随着迭代的进行,逐步加入对应 点。对18人、每人4个中性表情人脸表面的数据库,选取适当 的阈值,识别率为92%。Russ等人 先手工选取特征点用于 粗略对齐,再用Hausdorff距离进行精细对准。该文采用了一 些减少计算量的方法,如对应点只在某个局部区域中查找,采 样多分辨率的思想等。在FRGC v1.0数据库上,在FAR为 0.1%时,验证概率为93.5%,识别率为98.5%。Amor等人 采用三个角度扫描获得的完整三维人脸模型作为原型库,测试 人脸为2.5D人脸模型,先在测试人脸模型和原型人脸模型上 手工选择两个以上的对应点用于粗略配准,再用ICP算法精细 配准,得到的平均距离作为相似度量。 本文的算法就是基于三维点云的方法。3D人脸可用三维 相机取得,313人脸实际上就是三维点云,这些点都被排列在 (X,Y,Z)的空间,z坐标指示的是每个点的深度。而传统的光 学相机得到的是一个二维图像。 3D点云可投射到2.5D图像。一个2.5D形象,简单地 说,就是一个三维点云到灰度图像的映射,图像的亮度和深度 成反比。一个3D点云是一个真正的三维结构,但一个2.5D 图像只是一个二维结构。把3D点云映射成2.5D图像存在的 最大问题就是临界信息的丢失,从而影响识别率。关键点选择 方法对识别率也有很大的影响。 1.2 SIFT算法 SIFT(seale—invarlant feature transform)是一种电脑视觉的 算法¨ ,用来侦测与描述影像中的局部性特征,它在空间尺度 中寻找极值点,并提取出其位置、尺度、旋转不变量。此算法由 lmwe在1999年发表,2004年完善总结。其应用范围包含物体 辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨 述子)进行了实验和性能比较。结果表明,在以上各种情况 下,SIFT描述子的性能最好。 一个好的图像关键点应该具有高的区分度和低的误匹配 率,应该包容图像噪声和光照变化,也应该减少由于缩放、旋 转、视角变化以及局部失真所带来的不利影响。 SITF是最著名的关键点选择方法,它能满足上述所有标 准。它用灰度等级表示图像,没有颜色信息丢失,非常适合 2.5D图像。 简单地说,利用SIFT,如对于一个4×4的图像,计算像素 梯度向量直方图大小,每个像素有8个可能的梯度方向,因此, 对SIFT描述的总大小为4×4 x 8=128个元素。这些特征向 量经过规范化,提高光照不变性,并确保在缩放和旋转等方面 的不变性。 ‘ 虽然从不同角度看有许多关键点,但只有最独特的和匹配 性稳定的特征点被保留下来,而这些点往往落在边缘、角落、 点,或其他的“有趣”的图像部分。 1.3关键点匹配三维人脸识别算法思路 传统上,SIFT的关键点匹配如下:如果一个测试图像包含 三个以上关键点匹配的话,那么测试图像被认为包含。但是在 人脸识别方面这种匹配方法并不可行,因为人脸在视觉上非常 相似。本文方法不是匹配测试图像所有从2.5D图像上提取 的关键点,而是把代表人脸的三维点云沿 、y或z轴旋转,反 复多次地把3D人脸突出点投影到2.5D图像上,然后提取 2.5D图像的关键点并进行标记,这些经过标记的关键点组合 成一个数据集。对关键点在测试之前予以“投票”确定关键点 的权重,通过与匹配和标记的关键点最接近的未标记的关键点 进行识别。 2 多视角关键点投票算法 2.1 3D点云到2.5D图像集转换 SIFT关键点只能从二维图像提取。首先把3D点云转换 成二维图像,其中图像的亮度代表深度,即2.5D图像。然后, 可以从这些图像中提取特征点。用来实现3D图像到2.5D图 像转换的基本步骤如下(算法1): Input:A 3D point cloud 1 Compute the extrema of the point cloud along each of the three ax— es,obtaining Xmin,Xmax,Ymin,Ymax,Zmin,Zmax 2 Create a 2D image of width=(Xmax—Xmin)/2,and height: fYm 一Ymin1/2 3 Scale the z-value of the points in the cloud to the range 1-・-255 4 P r0iect points onto the 2D image pixels,setting each pixel to the scaled Z value.Pixels that do not have any 3D points pr0jeeted on to them are set to zero. Output:A 2.5D image 对于每一个点云,多次执行算法1,因为在X、Y和z轴上 第1 1期 宋顶利,等:关键点匹配三维人脸识别方法 ・4333・ 逐步旋转点云,每一次的旋转都能计算一个新的2.5D图像, 在这个过程结束后,就可以提取多个2.5D图像。用这种方法 提取特征点,更多的关键点就能被发现。通过多视角,相同特 表1 GavabDB数据集中每个人的9种不同图像描述 样式 描述 征的关键点就能被捕获,如鼻子、嘴、眼睛等。 2.2多视角关键点投票 通过上面描述的过程,从被标记的训练人脸和没有被标记 的测试人脸中提取关键点,一旦从各个视角把关键点提取出 来,原来的3D和2.5D数据就可以丢弃,而这些关键点就被合 并到一个代表人脸的数据集中。 为了对测试人脸进行分类,使用了一种新颖的关键点投票 算法,如算法2所示: . Inputs:a)A set M of labeled keypoints extracted from the training im— ages.Keypoints are labeled by the class of the image they came from:b)A set P of unlabeled keypoints extracted from a single test face using the key— point extraction method. 1 for each t∈P do 2 Find the closest matching k tance function,dist(t,k) 3 Assign the label of k to t 4 Set the weight of t to 1/dist(t,k) 5 end for 6 Each t∈P then vota a a es foa r its labeled cln ass with its weight. 7 The final classification of the~印a ,  image i ㈨s the cl ass with the greatest to— tal vote. Output:A classification for the unknown test face. 算法2把测试关键点集与训练关键点集进行匹配,根据欧 氏距离确定最好的匹配训练特征点。然后对测试关键点进行 等级分类,即给予最佳匹配的关键点一个权重,一~h∞叽 一~王l∞叽 一~吼㈨  一曲一~ 一-一~呈 ~一一 一一~ 此权重与欧氏 距离成反比,测试关键点和训练关键点越匹配,权重越大。 最后对整个点云的每一个关键点进行投票,投票是一个简 单的根据关键点划分等级权重的累加。对总权重向量规范化, 然后返回作为概率分布。 对未知人脸可以根据最高的概率进行分类,如果最高的概 率不够高的话,予以拒绝。在本文评估中,总是对测试人脸根 据最高的概率分布进行分类。图1为关键点示意图。 豳叠囊 (c) (b) 图1面部关键点 3实验 采用三种不同的实验来评估本文算法的有效性。首先,简 单介绍实验中使用的数据集,然后描述实验过程,并对实验结 果进行评估。 3.1 GavabDB数据集 GavabDB 14]是一个公共3D人脸识别基准数据集。该数 据集包含61个不同的人(45男,16女)的549幅图像,每个人 9幅图像,每一个图像由一个三维网格组成表示人脸,包含不 同的姿态和表情。每人只有两个正面的图像,且表情中性,其 余的在姿态和表情方面变化明显,如表1所示。一般的数据集 表情中性,姿态变化有限,而GavabDB数据集相反,故意设计 引入头部位置、角度变化和表情变化,因此,它是最具挑战性的 三维人脸识别数据集。 3.2实验概述 在每个实验中,每项只用1或2个面部扫描图像作为训练 之用,其余7、8个扫描图像用于测试。通过对图像在不同表情、 姿态(角度)下进行实验测试。在实验1中,只用一个表情中性 且正面的扫描图像进行训练,然后对61个图像进行测试,实验 结果如表2所示。在实验2中,每项采用2个3D点云图像,一 个表情中性且正面,一个微笑。从549个点云中提取出122个 点云用于训练,实验结果如表3所示。在实验3中,通过正常方 式提取关键点,而不是直接进行分类匹配,采用C4.5决策树分 类器,对第一种情况(多类),建立一个决策树从训练图像中提 取所有的关键点,针对多种情况可以建立巨大的决策树。针对 第二种情况(1对多),每一项都建立一个分类器,从图像中提取 的人脸关键点是正例,其他的是负例,未被标记的关键点用每个 决策树进行预测,多个小决策树构成强大的决策树。核心思想 就是验证一个设想:即是否可以通过一个分类器建立一个模型, 在理论上比关键点集需要的存储空间更小,并且还能比在实验 1和2中进行的直接匹配更有效的在测试中标记尚未标记的关 键点。实验结果如表4所示。 表2用frontall样式图像进行训练 — —— —— ;:苎 i —— I:———: —: —— I 里苎 ; 表3用frontall和frontal3样式图像进行训练 练 # 试数据 单 —— ±l0 ±10。Y ±1 0。= ±10 ” forntal2 84 58 8717 90 36 8710 93 55 h】n a14 S4 77 83 85 87I4 88 7I 85 48 nlal5 76 48 75 84 80 66 80 65 82 26 frontaX a…82 35 82 3 8612 85 49 87.14 p 30 3I 38 68 35 54 30 65 45 I9 dowl /25 87 33 8I 32 3I 32 26 43 55 left 6 85 II 35 II 32 4 84 l】29 righl 101 8 12 82 9 71 9 68 l2 90 0ver I average,46 38 49 52 49 48 4670 53 46 3.3实验结果分析 从表4中可以看出,应用提出的多视角关键点匹配投票算 法在识别准确率上和基准情况下相比有较大幅度的提高,有效 地克服了由于人脸旋转、表情变化带来的识别困难。 在实验3中,虽然识别率比在基准情况下有显著提高,但 与实验1和2比起来却没有提高,实验结果不理想。 4结束语 实验结果表明,虽然提出的算法和基准情景相比在识别准 ・4334・ 计算机应用研究 第27卷 确率上有明显的提高,但是应该看到,3D人脸识别非常具有挑 2004:884—889. 战性,距离实际应用还有很大的差距。3D人脸由大量的点组 [4]ZHANG Li-yan,RAZDAN A,FARIN G,et al。3D face authentica— 成,这些点包含着关键点信息,还有大量的冗余信息。笔者未 tion and recognition based on bilateral symmetyr analysis[J].The Visual Computer,2006,22(1):43—55. 来工作就是从大量的人脸信息中提取对识别作用大的关键点 [5]CHANG K I’BOWYER K W,FLYNN P J.Adaptive rigid muhi—re. 信息,尽可能减少关键点的数目。在本文中关键点直接匹配, glen selection for handling expression variation in 3D face recognition 以后还应考虑关键点的相对位置以及某些关键点变形所引起 [C]//Proe of IEEE Computer Society Conference on Computer Vision 的人脸变形识别问题。就像人脸漫画一样,虽然具有很大的变 and Pattern Recognition.Washington DC:IEEE Computer Society, 2005:865—891. 形和夸张,但是一样可以迅速地识别。以后的另一个主要工作 [6]CHANG K I,BOWYER K W,FLYNN P J.Multiple nose region 就是根据人脸局部关键点进行识别研究。 matching for 3 D face recognition under varying facial expression[J]. 表4用frontall样式图像进行训练 IEEE Trans on Pattern Analysis and Machine Intelligence, 2006,28(10):1695-1700. [7]MEDIONI G,WAUPOTITSCH R.Face recognition and modeling in 3 D[C]//Proe of IEEE International Workshop on Analysis and Mo— deling of Faces and Gestures.2003:232-233. [8]BESL P J,MCKAY N D.A method for registration of3D shapes[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1992,14(2):239—256. [9]PAN Gang,wu Zhao—hui,PAN Yun—he.Automatic 3D face veriifea- tion from range data[C]//Proc of International Conference on Acous— tics,Speech,and Signal Processing.2003:193-196. [10]UCHIDA N,SHIBAHARA T,AOKI T,et a1.3D face recognition using passive stereo vision[C]//Proc of IEEE International Confe— renee on Image Processing.2005:950—953. [11]RUSS T D,KOCH M W,LITrLE C Q.A 2D range Hausdorff p— proach for 3 D face recognition[C]//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington 参考文献: DC:IEEE Computer Society,2005:l652.1659. [1]GUPTA S,MARKEY M K.BOVIK A C.Advances and challenges in [12]AMOR B B,ARDABILIAN M,CHEN Li-ming.New experiments on 3D and 2D+3D human face recognition[M]//COLUMBUS F.Pat— ICP--based 3 D face recognition and authentication[C]//Prnc of the 18th International Conference on Pattern Recognition.2006:1195— tern recognition theory and application.New York:Nova Science Pub— 1l99. lishers,2008:63-103. [13]LOWE D.Distinctive image features from scale—invariant key—points [2]段锦,周春光,刘小华.三维人脸识别研究进展[J].小型微型计算 [J].International Journal of Computer Vision,2004,6(2):91— 机系统,2004,25(5):887-890. 11O. [3]XU Cheng—hua,WANG Yun—hong,TAN Tie-niu,et a1.A new attempt [14]MORENO A,SANCHEZ A.GavabDB:a 3D face database[C]// to face recognition using 3D eigenfaees[C]//Proc of ACCV’04. Proc of Workshop on Biometircs on the Internet.2004:77-85. (上接第4330页)响应时间方面,都能满足一个实时生物识别系 palmprint recognition[J].Pattern Recognition Letters,2003,24 统的要求。低分辨率人耳图像识别尤其适合远距离拍摄、样本 (15):2829—2838. 数量庞大、对识别速度要求高的场合。 [9]BARTLETY M S.Face image analysis by unsupervised learning and 致谢感谢北京科技大学提供了人耳图像库,使实验得以 redundancy reduction[D].San Diego:University of California,1998. [1O]FISHER R A.The use of multiple measurements in taxonomic prob— 顺利完成。 lems[J].Annals of Eugenics,1936,7(2):179—188. 参考文献: 『11]VICTOR B,BOWYER KW,SARKAR S.An evaluation offace and [1]田莹.人耳识别若千关键问题研究[D].沈阳:沈阳工业大学, era biometrics[C]//Proc of Intenrational Conference on Pattern Re— 2008. cognition 2003:429—432. [2]HURLEY D J,NIXON M S,CARTER J N.Force field feature extrac- [12]COVEN A,POLAT K,KARA S,et a1.The effect ofgeneralized dis— tion f0r ear biometrics[J].Computer Vision and Image Under- criminate analysis(GDA)to the classiifcation of optic nerve disease standing,2005,98(3):491—512. rfom VEP signals[J].Computers in Biolo9y and Medicine,2008, [3]赵海龙,穆志纯.基于小波变换和LDA/FKT及SVM的人耳识别 38(1):62—68. [J].仪器仪表学报,2009,30(11):2273—2278. [13]邬向前,张大鹏,王宽全.掌纹识别技术[M].北京:科学出版社, [4]敦文杰,穆志纯.基于ICA的非线性自适应特征融合的人耳识别 2006. [J].计算机辅助设计与图形学学报,2009,21(3):382-388. [14]MOLLER K R,MIKA S,RATSCH G,et a1.An introduction to kernel— [5]程正东,贾慧星.基于子空间的人脸识别[M].北京:清华大学出 based learning algorithms[J].IEEE Trans on Neural Networks, 版社.2009. [6]DRAPER B A,KYUNGIM B,STEWART B M,et a1.Recognizing 2001,12(2):181.201. faces with PCA and ICA[J].Computer Vision and Image Under— [15]苑玮琦,徐露,林忠华.一种基于局部信息统计的虹膜分块编码方 standing,2003,91(1/2):115—137. 法[J].光学学报,2007,27(11):2047-2053. [7]STEWART B M,MOVELLAN J R,SEJNOWSK1 T J.Face recogni- [16]BELHUMEUR P N,HESPANHA J P,KRIEGMAN D J.Eigenfaces tion by independent component analysis[J].IEEE Trans on Net- vs Fisherfaees:recognition using class speciifc linear projection[J]. works,2002,13(6):1450—1464. IEEE Trans on Pattern Analysis and Machine Intelligence, [8]wu Xiang—qian,ZHAGN D,WANG Kaan—quan.Fisherpalms based 1997,19(7):711—720. 

因篇幅问题不能全部显示,请点此查看更多更全内容