㈣⑨撕０工工善女孽硕士学位论文论文题目：亘部麦！ｌ迟到班窒作者姓名————盔—ｊ主——一指导教师塑旦盎量控Ｌ旦堡盅型丝挂学科专业——三±蔓垫重旦垫查—一所在芋腕焦．垦三垂生睦提交日期—堑盟』』—Ｌ浙江工业大学硕士学位论文面部表情识别研究摘面部表情识别（ＦａｃｅＥｘｐｒｅｓｓｉｏｎ要Ｒｅｃｏｇｎｉｔｉｏｎ，ＦＥＲ）是人工智能领域的一个新兴的研究课题，研究目标是让一些人工智能产品例如机器人能够自动地识别出人的表情，进而分析人的情感。机器自动面部表情识别能够进一步增强人机交互的友好性与智能性，因此具有非常重要的研究和应用价值，是计算机视觉研究的重要组成部分。表情特征的提取方法是面部表情识别的关键技术所在，计算机自动识别人脸表情之所以困难，原因在于人脸是一个柔性体，为人脸表情特征建立精确数学模型的难度较高。脸部器官的位置稍有变动，表情就会发生巨大的变化，因而如何选择最重要的特征成为决定识别成功的关键。本文着眼于特征提取方法，用两种不同的方法对面部表情识别进行了分析和研究。为了增大类间差异，避免传统ＰＣＡ方法以整体图像为对象的不足，更好的提取出表征面部表情之间差异的局部特征，本文在传统ＰＣＡ的方法上进行改进，提出了类内分块ＰＣＡ方法。该方法先对预先分好类的各类训练样本进行分割，得到无交叠的大小相同的子块，然后在子图像块的基础上实行ＰＣＡ方法，捕捉局部特征。本文将改进后的方法应用于表情识别，并将这种方法和传统ＰＣＡ方法进行实验，对实验结果进行了分析比较。基于ＰＣＡ的２ＤＰＣＡ方法是目前广泛应用于人脸识别的特征提取方法，本文将融合Ｇａｂｏｒ滤波器和２ＤＰＣＡ的特征提取方法引入到表情识别中来，并对２ＤＰＣＡ方法进行了改进，计算训练样本向该向量投影后中表情脸类内距离和表情脸类间距离比值的大小，以此比值的大小来选取相应的对分类更有利的投影向量得到最重要的Ｇａｂｏｒ特征，论文将改进后的方法应用于表情识别，并将该方法和２ＤＰＣＡ方法、双向２ＤＰＣＡ方法进行实验结果的比较与分析。实验表明，使用两种改进后的方法得到的总体识别率均要高于使用之前方法的情况。关键词：面部表情识别，类内分块ＰＣＡ，Ｇａｂｏｒ滤波，２ＤＰＣＡ，Ｃ均值聚类浙江工业大学硕士学位论文ＲＥＳＥＡＲＣＨＯＮＦＡＣＩＡＬＥＸＰＲＥＳＳＩＯＮＲＥＣＯＧＮＩＴＩｏＮＡＢＳＴＲＡＣＴＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎａｒｔｉｆｉｃｉａｌＲｅｃｏｇｎｉｔｉｏｎ（ＦＥＲ）ｉｓｏｂｊｅｃｔｉｖｅａｎｅｗｌｙｄｅｖｅｌｏｐｉｎｇｒｅｓｅａｒｃｈｓｕｂｊｅｃｔｉｎｔｈｅｆｉｅｌｄｏｆｉｎｔｅｌｌｉｇｅｎｃｅ．ＴｈｅｏｆｔｈｅｓｔｕｄｙｉｓｔｏｒｅｃｏｇｎｉｚｅＨｕｍａｎＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎａｕｔｏｍａｔｉｃａｌｌｙａｎｄａｎａｌｙｚｅｔｈｅｅｍｏｔｉｏｎｉｎａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅｐｒｏｄｕｃｔｓ，ｓｕｃｈａｓｒｏｂｏｔｓ．ＡｕｔｏｍａｔｉｃＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎＲｅｃｏｇｎｉｔｉｏｎｉＳａｎｉｍｐｏｒｔａｎｔｐａｒｔｏｆｔｈｅＣｏｍｐｕｔｅｒＶｉｓｉｏｎＲｅｓｅａｒｃｈｗｉｔｈｖｉｔａｌｖａｌｕｅｏｆｒｅｓｅａｒｃｈａｎｄａｐｐｌｉｃａｔｉｏｎｆｏｒｆｕｒｔｈｅｒｅｎｈａｎｃｉｎｇｔｈｅｆｒｉｅｎｄｌｙａｎｄｉｎｔｅｌｌｉｇｅｎｔｈｕｍａｎ－ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ．Ｔｏｉｎｃｒｅａｓｅｔｈｅｄｉｖｅｒｇｅｎｃｅｏｆｗｉｔｈｉｎ—ｅｌａｓｓｓａｍｐｌｅｓａｎｄａｖｏｉｄｔｈｅｄｅｆｉｃｉｅｎｃｙｂｙｕｓｉｎｇｏｖｅｒａｌｌｉｍａｇｅｓａｓｔｈｅｏｂｊｅｃｔｓｉｎｔｈｅｔｒａｄｉｔｉｏｎａｌｗｉｔｈｉｎ．ｃｌａｓｓＰＣＡｍｅｔｈｏｄ．ｗｅｉｍｐｒｏｖｅｔｈｅｔｒａｄｉｔｉｏｎａｌｗｉｔｈｉｎ－ｅｌａｓｓＰＣＡｍｅｔｈｏｄａｎｄｐｒｅｓｅｎｔｗｉｔｈｉｎ．ｃｌａｓｓｂｌｏｃｋｉｎｇＰＣＡｆｏｒｅｘｔｒａｃｔｉｎｇｐａｒｔｉａｌＳＯｆｅａｔｕｒｅｓｏｆＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｄｉｆｆｅｒｅｎｃｅｓ．Ｗｅｃｕｔｕｐｅａｃｈｔｙｐｅｏｆｔｒａｉｎｉｎｇｓａｍｐｌｅｓｉｎａｄｖａｎｃｅａｓｓａｍｅ－ｓｉｚｅｄｓｕｂ—ｂｌｏｃｋｓｗｉｔｈｏｕｔｏｖｅｒｌａｐｐｉｎｇ．ａｎｄｔｈｅｌｌｕｓｅｔｈｅｗｉｔｈｉｎ—ｃｌａｓｓＰＣＡｍｅｔｈｏｄｆｏｒｃａｔｃｈｉｎｇｐａｒｔｉａｌｆｅａｔｕｒｅｓｂａｓｅｄｏｎｓｕｂ—ｉｍａｇｅｂｌｏｃｋｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｕｓｅｔｈｅｉｍｐｒｏｖｅｄｍｅｔｈｏｄｆｏｒＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎＰＣＡｍｅｔｈｏｄ．ｔｏｏｂｔａｉｎｔｈｅＲｅｃｏｇｎｉｔｉｏｎａｎｄｃｏｍｐａｒｅｔｈｅａｐｐｒｏａｃｈｗｉｔｈｔｒａｄｉｔｉｏｎａｌＰＣＡ，ｔｈｅ２ＤＰＣＡｍｅｔｈｏｄｉＳｔｈｅｗｉｄｅｌｙｕｓｅｄｍｅｔｈｏｄｆｏｒＦａｃｉａＩＲｅｃｏｇｎｉｔｉｏｎ．ＴｈｅＰ印ｅｌ＂ｆｕｓｅｓｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｍｅｔｈｏｄｓｗｉｔｈｔｈｅＧａｂｏｒＦｅａｔｕｒｅａｎｄ２ＤＰＣＡａｎｄｉｍｐｒｏｖｅｓｔｈｅ２ＤＰＣＡｍｅｔｈｏｄｆｏｒｃａｌｃｕｌａｔｉｎｇｔｈｅｄｉｓｔａｎｃｅｓｏｆｔｈｅｗｉｍｉｎ．ｃｌａｓｓｓａｍｐｌｅｓａｎｄｉｎｔｅｒ－ｃｌａｓｓｓａｍｐｌｅｓｏｎＢａｓｅｄｏｆｔｈｅｔｒａｉｎｉｎｇｆａｖｏｒａｂｌｅｗｅｕｓｅｓａｍｐｌｅｓ．ＴｈｅｎｖｅｃｔｏｒｐｒｏｊｅｃｔｅｄｉｎｔｏｔｈｅｖｅｃｔｏｒｑｕａｎｔｉｔｉｅｓＳＯａＳｔｏｓｅｌｅｃｔｃｏｒｒｅｓｐｏｎｄｉｎｇｐｒｏｊｅｃｔｅｄｑｕａｎｔｉｔｉｅｓａｎｄｏｂｔａｉｎｔｈｅｍｏｓｔｔｈｅｉｍｐｒｏｖｅｄｍｅｔｈｏｄｆｏｒＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｉｍｐｏｒｔａｎｔＧａｂｏｒＦｅａｔｕｒｅｓ．Ｉｎｔｈｉｓｐａｐｅｒ，Ｒｅｃｏｇｎｉｔｉｏｎａｎｄｃｏｍｐａｒｅｔｈｅａｐｐｒｏａｃｈｗｉｔｈｒａｔｅ２ＤＰＣＡａｎｄｔｗｏ—Ⅳａｖ２ＤＰＣＡ．Ｅｘｐｅｒｉｍｅｎｔｓｈａｖｅｐｒｏｖｅｄｔｈａｔｔｈｅｏｖｅｒａｌｌｍｅｔｈｏｄｓｉｓｈｉｇｈｅｒｔｈａｎｂｙｕｓｉｎｇｔｈｅｆｏｒｍｅｒｏｎｅｓ．ｒｅｃｏｇｎｉｔｉｏｎｂｙｕｓｉｎｇｔｈｅｔｗｏｉｍｐｒｏｖｅｄＫｅｙＷｏｒｄｓ：ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ，ｗｉｔｈｉｎ—ｃｌａｓｓｂｌｏｃｋｉｎｇＰＣＡ，Ｇａｂｏｒｆｉｌｔｅｒ，２ＤＰＣＡ，Ｃｍｅａｎｓｃｌｕｓｔｅｒｉｎｇ浙江工业大学学位论文原创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或集体己经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责任。作者签名：日期：Ｄ孑年｝月才日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于ｌ、保密口，在２、不保密口。（请在以上相应方框内打“√’’）年解密后适用本授权书。作者签名：导师签名：热１０枣１一噼誓＼夕一Ｊ才叮浙江工业大学硕士学位论文第１章绪论１．１面部表情识别的研究背景及意义进入２１世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。在人们面与面的交流过程中，面部表情和其他的手势能够传达非语言的交流信息，这些信息能够作为语音的辅助帮助听者推断出说话人的意图。因此，面部表情作为一种刻画情绪、认知、主体状态的方法，其携带的信息含有丰富的个体行为信息，是与人类情感、精神状态、健康状态等诸多因素相关的一种复杂的表达方式，实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，对于自然和谐的人机接口目标的实现，具有相当重要的意义。众所周知，在人们面与面的交流过程中识别人的表情很容易。然而，这对于计算机来说却相当不容易。这是因为：表情是一种很复杂的肌肉运动，每种表情是几十块面部肌肉共同运动的组合，很难用一个计算机可以识别的准确的数学模型来描述这些肌肉的运动；其次，面部表情的变化主要表现为面部特征点上的运动比如嘴角、眼角，由于计算机视觉技术的限制，计算机不能精确地定位出这些特征点的位置，也就判别不出面部肌肉的运动状态；再次，表情的表现形式因人而异，同一种表情在不同的人面部上有不同的表现形式，而且同一个人的不同表情也没有明显的界限Ｉ¨。例如：嘴巴张开并不代表就是笑，也有可能是哭和惊讶。还有，由于人脸表情受不同的年龄、种族、性别、头发、饰物等因素的影响较大，所以计算机很难用统一的标准来精确地划分各种表情。因此，采用计算机对人脸表情进行自动分析与识别是一项交叉生物特征识别与情感计算机领域的极富有挑战性的课题。本文介绍的面部表情识别（ＦａｃｅＥｘｐｒｅｓｓｉｏｎＲｅｃｏｇｎｉｔｉｏｎ，ＦＥＲ）是计算机自动表情识别的简称，指利用计算机对人脸的面部表情信息进行特征提取，按照人的认识和思维方式加以归类和理解，进而从人脸信息中去分析理解人的情绪，如快乐、惊奇、愤怒、恐惧、厌恶、悲伤等，是计算机视觉研究的重要组成部分【２】【３１。近年来，面部表情识别技术的研究变得非常活跃，成为研究者们关注的热点，原因有很多方面：一ｌ一浙江工业火学硕士学位论文首先，表情识别是情感识别的基础，而情感识别是最高级的识别，是完全的感性识别【４】ｏ这种识别主要是针对人际之间的信息交流，它包括文字、语言、表情动作所表达的含义，这种识别甚至超出人工智能的模糊识别，有着广泛的应用前景和发展前景。为发展新一代的人机交互界面，实现人与计算机之间各种符号和动作的双向信息交换起着重要的作用。计算机可以通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至可以帮助人们理解自己和他人的情感世界【引。其次，各类相关技术的进步也推动了面部表情识别技术的研究。在过去的十几年中，人脸识别技术、人脸或局部器官定位技术、人脸跟踪技术都取得了巨大的进步。美国、德国、日本等国外研究机构和公司从事相关的研究与实践较早，已经有相关产品问世。在我国，由中科院计算所一银晨网讯面像识别联合实验室自主研制的“面像检测与识别核心技术”经过鉴定和详细测试后，相关专家认为该系统在人脸检测、面部特征提取、人脸识别和人脸确认等技术方面均达到了国外先进水平。在定位和跟踪方面，已有算法的鲁棒性和效率也大大增加，在充分利用多阶段由粗到精的搜索策略以及多信息有效融合的基础上，逐步与实际环境相结合，大大提高定位跟踪算法的实用性。在人脸表情识别系统的开发过程中，人脸识别、定位、跟踪技术中有许多成熟的算法都可以应用到人脸表情识别系统中，从而推动了人脸表情识别技术的研究。再次，从科研和商业应用价值的角度讲，表情识别的广泛应用也推动了它的迅速发展。如在电脑游戏中，如果能够根据游戏者的喜、怒、哀、乐来做出实时的反应，那么电脑游戏会比传统规定好规则的游戏更逼真，更具吸引力；在汽车、飞机、车间等重要岗位上的监控系统设备中，通过感应设备对司机、飞行员、工人等进行脸部监控，通过其表情的痛苦或不适表现得到疲劳、压力过大等精神状态信息，及时报警提示，避免事故发生；在语言学中，面部表情可辅助唇语，帮助听觉有问题的人进行日常交流；在医疗中，表情分析可作为辅助手段，帮助医生分析病人的精神状态，对病人的精问题做出正确的诊断。此外，在安全保密、辅助医疗等其他需要解释面部信号的领域和行业中也都会有广泛的应用。这些都使得人脸表情识别成为一项很有实用意义并且发展迅速的课题。由此可见，面部表情识别领域有着重要的研究价值和意义以及广泛的市场应用前景，对面部表情的识别和理解的研究必将促进相关学科的发展，并将为解决其他类似的复杂模式的认知研究提供重要的启示。浙ｉ上上业大学硕十学位论文１．２面部表情的心理学研究成果其实早在１９世纪，就已经开始了面部表情的研究，达尔文在他的著名论著《人类和动物的表情（ＴｈｅＥｘｐｒｅｓｓｉｏｎｏｆｔｈｅＥｍｏｔｉｏｎｓｉｎＡｎｉｍａｌｓａｎｄＭａｎ，１８７２）》中就已经阐述了人的面部表情和动物的面部表情之间的联系和区别【”。众多的心理学家对人脸表情的研究分析对人脸表情识别的发展有着极大的推动作用。目前为止，主要的心理学研究成果有以下几个方面【６Ｊ：１２ｌ表情的维量分析１９５４年Ｓｃｈｏｌｓｂｅ《７１就提出了描述表情的３个量化尺度：注意一拒绝（Ａ．Ｒ，ａｔｔｅｎｔｉｏｎｒｅｊｅｅｔｉｏｎ）、高兴一不高兴（Ｐ—Ｕ．ｐｌｅａｓａｎｔ－ｕｎｐｌｅａｓａｎｔ）、活跃程度（１ｅｖｅｌｏｆａｃｔｉｖａｔｉｏｎ）。还有人提出更多维如“控制维”、“强度维”、“简单一复杂”等，尽管不同研究者选用的维数及含义不尽相同，还不能实现对表情的明确分类，但在一定程度上反映了人们对表情乃至情绪的认识程度。ｌ２２面部动作编码系统１９７８年，美国心理学家ＥｋｍａｎＰａｕｌ和Ｆｆｉｅｓｅｎ在解剖学的基础上对脸部肌肉群的运动及其对表情的控制作用做了深入研究，开发了面部动作编码系统ＦＡＣＳ（ＦａｃｉａｌＡｃｔｉｏｎｓＣｏｄｅＳｙｓｔｅｍ［”）来描述面部表情和研究人类的认知行为。该系统将表情的变化与面部肌肉的运动联系起来，使得对所有可能的人脸表情进行编码成为可能。ＦＡＣＳ中枚举了人脸上导致面部运动的运动单元，并将其划分成大约４６个既相互独立又相互联系的运动单元（ＡＵ，ａｃｔｉｖｅｕｎｉｔｓ），任意表情都可以由这些运动单元组合得到．这种方法直观且易于理解。如图１．１所示，列举了三种不同的运动单元示例：ＡＵｌ艮湖眉毛内侧上扬ＡＵ２除蚓麝斜图Ｉ－Ｉ部分运动单元示例眉毛低下ＡＵ３上眼睑向上浙江工业大学硕七学位论文这种编码方式的确可行，但是由于在实施过程中需要大量的时间来人工标记面部的特征运动点，耗时量大，而且大量的手工操作使得系统的编码速度、可靠性、精确性和实时性成为其广泛应用的阻碍。ＥｓｓａＩｒｆａｎＡｔ９】在ＦＡＣＳ的基础上进行了改进，通过在物理模型上加入自动的肌肉模块，建立ＦＡＣＳ＋系统，用来做动态建模和运动估计。２０００年我国的高文、金辉提出ＦＡＣＳ’（转换ＦＡＣＳ）它把运动单元的运动转化为基于物理结构和肌肉模型的运动特征向量序列对眼部和嘴部分别进行表情编码，相应的运动基于ＦＡＣＳ规则，同时又克Ｈ艮－Ｊ＂它的弱点【１０１。鉴于表情识别领域绝大多数是基于二维图像的，２００５年中国科技大学的研究者提出了一种基于三维数据的人脸表情识别方法，给出了基于三维特征的人脸表情识别方法眼角和嘴角新的提取算法。１．２．３六种基本情感表情许多研究者曾对情绪进行过分类，汤姆金列出了八种基本情绪：兴趣、快乐、惊奇、痛苦、恐惧、愤怒、羞怯、轻蔑。伊扎德在此基础上又增加了厌恶和内疚两种情绪。１９８４年，Ｅｋｍａｎ和Ｆｒｉｅｓｅｎ［…在原来的基础上又提出特定的ＦＡＣＳ动作单元的组合表示具有情感的表情，根据不同的情感将人脸表情分为六种基本类型：高兴、悲伤、惊讶、恐惧、愤怒和厌恶。但这些基本情感的表情并不是ＦＡＣＳ的子集，而是用ＥＭＦＡＣＳ或者ＦＡＣＳ解释字典的独立系统进行编码的。尽管一些心理学家对六种基本情感的说法有质疑，但是这种分类方法还是被计算机研究者所认同，并广泛的作为人脸表情的类别。许多研究者都在实验中使用了七种表情，就是应用了这六种基本的特定情感表情加上平静共七种表情作为待识别的表情类别。本论文研究表情识别的实验也是建立在这六种基本情感表情的基础上。由于表情产生的原因、表情表现的程度、人们对表情的控制能力和表情的倾向等诸多方面的原因，使表情的变化细微而复杂，对表情特点的概括也显得复杂，依据最基本的分类方法，文献【９】【１２１给出了对六种基本表情的具体面部表现：①惊奇时：眉毛被抬起来，变高变弯，眉毛下的皮肤被拉伸，皱纹可能横跨额头，眼睛睁大了，上眼皮被抬高，下眼皮下落，眼白可能在瞳孔的上边露出来，下边的也可能露出来下领下落，嘴张开，以至于唇和齿分开，但嘴部并不紧张，也不拉伸。②恐惧时：眉毛抬起来并皱在一起，额头的皱纹只集中在中部，而不横跨整个额头上眼睑抬起来，下眼皮非常紧张，并且被拉上来嘴张开了，嘴唇或者轻微紧张，向后拉或拉长，同时向后拉。＠悲伤时眉毛内角锻在起，＿｝ｆ｝高，带动眉毛下的应肚眼内角的上眼皮被抬高，嘴角下拉，嘴角可能在颤抖。④愤怒时－眉毛皱在。起，并且被压低了，在眉宇问出现了竖直皱纹下目Ｈ皮非常紧张状态，可能或可能不被抬起，下眼皮是紧张的，在眉的动作下可能被压低，眼泪愤怒的瞪着，可能鼓起唇有两种基本位置紧闭，唇角拉直或向下张开，仿佛要喊鼻孔可能是张大的。⑤高兴时：下眼睑下边可能有皱纹，可能鼓起，但并不紧张鱼尾纹从外眼角向外扩张唇角向后拉并抬高嘴可能被张大，牙齿可能露出来一道皱纹从鼻子一直延伸到嘴角外部脸颊被抬起。⑥厌恶时：眉毛压低了，并压低了上眼睑在ｒ眼皮下部出现了横纹，脸颊推动其向上，并不紧张上唇被抬起来，下唇与上唇紧闭，推动上唇向上，嘴角下拉．唇轻微凸起鼻子皱起来，脸颊被抬起。如图１—２所示为日本女性表情数据库（ＪＡＦＦＥ）中女性的７种基本面部表情。Ｑ９愈９愈？Ｑ９圈Ｉ．２特定情感的七种基本面部表情依次为厌恶．恐瞑．生气，高兴，悲伤，惊奇．平静１．３面部表情识别的研究内容面部表情识别的研究内容主要包括以下三个方面：（１）人脸检测、定位与跟踪（ＦａｃｅＤｅｔｅｃｔｉｏｎ，ＬｏｃａｔｉｏｎａｎｄＴｒａｃｋｉｎｇ），即从各种不同的场景中检测出人脸的存在并确定其位置。对于动态图像，不仅要求检测出人脸的位置，还要求能够跟踪人脸。这一步骡主要受背景、光照及头部倾斜度的影响。近年来，人脸检测和跟踪己经作为个独立的研究课题受到很多研究者的重视㈣。（２）表情的特征提取（Ｅｘｐｒｅｓｓｉｏｎａｌｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ），即采取表情特征提取方法提取出能够表示已被检测出的面部表情图像或数据库中的面部表情图像的特征。可以使用原图像的灰度信息或频率信息，也可以使用基于图像内容的几何信息．还可阻根据解剖学的知识建立物理模型来进行描述。表情特征提取的方法应充分考虑下一步所采用的表情识别方法，以达到最佳的识别效果。这一过程也是表情识别中的研究重点５浙江工业大学硕士学位论文和热点。（３）表情识别（ＥｘｐｒｅｓｓｉｏｎＲｅｃｏｇｎｉｔｉｏｎ），使用模式识别中的各种分类方法，将待识别的表情分类到已知类别中的一类。，核心是选择与所采用的表情描述方式适合的分类策略。一个完整的面部表情识别过程一般应包括以上所述人脸检测、特征提取、表情分类３个环节【１４】。第１步需要对人脸进行检测与定位，采取一定策略，从未知的图像背景中分割、提取并确认可能存在的人脸，如果检测到人脸，提取人脸特征，并返回人脸的位置、大小和姿态，第２步从人脸图像中提取能够表征输入表情本质的信息，用来描述表情图像，在提取特征数据的过程中，为了避免维数危机可能还需要特征降维、特征分解等进一步处理，第３步分析特征之间的关系，将输入的人脸面部表情分类到相应的类别。如图１．３所示：臣困图１．３面部表情识别的流程图总之，面部表情的识别是人机智能交互的重要基础，它属于模式识别范畴，是涉及图像处理，分析与理解，计算机视觉，人工智能，人机交互，计算机图形学，认知科学，神经计算，生理学，心理学等众多学科的交叉课题，它有利于构建这些学科领域的基础实验平台，用于尝试新方法，验证新理论，解释新现象。面部表情识别问题的深入研究和最终解决，也可以极大的促进这些学科的成熟和发展。１．４本论文的研究框架１．４．１本文的研究出发点本文以面部表情识别的难点和关键—＿特征提取为研究的出发点，研究了两种不同的一６一浙江工业大学硕士学位论文特征提取方法：一是基于传统ＰＣＡ方法进行改进的特征选择方法，二是融合了Ｇａｂｏｒ滤波器和改进的双向２ＤＰＣＡ方法的特征选择方法。研究旨在探索一些较好的特征提取方法，以提高表情识别的精度。１．４．２本文的主要研究内容本论文对表情识别算法进行了研究和试验，各章的主要研究内容如下：第一章介绍了面部表情识别技术的研究背景及意义，以及目前为止对面部表情识别的发展有着极大的推动作用的人脸面部表情心理学研究成果，简单阐述了人脸表情识别的研究内容并对本文所做的主要工作做了归纳；第二章较为详细的介绍了目前面部表情识别技术的国内外研究现状，对当前众多的表情特征提取算法进行了分类和简单的描述，对目前流行的各种人脸表情数据库在表情识别方面的优劣做了分析和比较。最后简述了当前表情识别技术面对的困难和需要解决的问题；第三章首先阐述了传统ＰＣＡ方法的原理，在此基础上进行改进，提出了类内的分块ＰＣＡ方法提取表情特征，并用欧氏距离下的最近邻分类器进行表情识别分类；第四章中将融合了Ｇａｂｏｒ滤波器和改进后的双向２ＤＰＣＡ方法用于表情的特征提取。首先阐述了Ｇａｂｏｒ滤波器提取过程，然后在得到的Ｇａｂｏｒ特征基础上用改进后的２ＤＰＣＡ方法对特征进行降维选择，最后用Ｃ均值聚类方法进行表情识别分类；第五章是总结与展望，该部分对全文进行总结概括，并对下一步的工作进行了展望。浙｝｜＝ｊ．业＾学母！十学位呛文第２章面部表情识别技术的研究现状２．１面部表情识别的国内外研究情况面部表情识别技术是近几十年来才运渐发展起来的，由Ｆ面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物阻别技术如指纹阻黥虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，冈此幽内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。进入９０年代．对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和摹会支持。美国、日本、英国，德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中ＭＩＴ的多媒体实验室的感知计算组、ＣＭＵ、Ｍａｒｙｌａｎｄ太学的计算机视觉实验室、Ｓｔａｎｄｆｏｒｄ大学、日本城壤大学、大股大学、ＡＴＲ研究所的贡献尤为突出。ＭＩＴ媒体实验室提出了一个新的研究方向～情感计算，研究组的领导人Ｐｉｃａｒｄ教授在１９７９年给出了情感计算的定义ｍＪ一关于、产生于、或故意影响情感方面的计算，将情感计算的研究内容分为九个方面：情感机理、情感信息的获取、情感模式识别、情感的建模与理解、情感的台成与表达、情感计算的应用、情感计算机的接口、情感的传感与交流和可穿戴计算机（内容及关系图如图２．１所示）。其目的是通过赋予计算机ｔ｝｛别、理解、表达和适应人的情感能力来建立和谐的人机环境，并使计算机具有更高哞＝面的智能。圈圈硝黜圆圈２－１情感计算内容及关系圈［Ｉ—－８一浙江：［业大学硕士学位论文国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在１９９９年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。２００３年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“８６３＂计划、“９７３＂项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。２．２面部表情特征的提取方法分类由于人脸是一个柔性体，而非刚体，很难用模型来精确描述。在识别的过程当中，最难的体现在表情特征提取的准确性和有效性上，因为各种表情本身体现在各个特征点运动上的差别就不是很大。通过第一章的介绍，我们可以知道，表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有：灰度特征、运动特征和频率特征三种【５】。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。这种情况下要求图像对光照、角度等因素要进行充分的预处理，使获得的灰度值具有归一性。运动特征利用了不同表情情况下入脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个：整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有：基于特征脸的主成分分析（ＰｆｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ，ＰＣＡ）法、独立分量分析法（ＩｎｄｅｐｅｎｄｅｎｔＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ，ＩＣＡ）、Ｆｉｓｈｅｒ线性判别法（Ｆｉｓｈｅｒ’ＳＬｉｎｅａｒＤｉｓｃｒｉｍｉｎａｎｔＳ，ＦＬＤ）、局部特征分析（ＬｏｃｋＦｅａｔｕｒｅＡｎａｌｙｓｉｓ，ＬＦＡ）、Ｆｉｓｈｅｒ运动法（ＦｉｓｈｅｒＡｃｔｉｏｎｓ）、隐马尔科夫模型法（ＨｉｄｅＭａｒｋｏｖＭｏｄｅｌ，ＨＭＭ）和聚类分析法。局部识别法就是将人脸的各个部位在识别时分开，也就是说各个部位的重要性是不一浙江工业大学硕士学位论文样。比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部表情。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。其中最典型的方法就是脸部运动编码分析法（ＦａｃｉａｌＡｃｔｉｏｎｓＣｏｄｅＳｙｓｔｅｍ，ＦＡＣＳ）和ＭＰＥＧ．４中的脸部运动参数法。其他的还有局部主分量分析法（ＬｏｃａｌＰＣＡ）、Ｇａｂｏｒ小波法和神经网络法。形变提取法是根据人脸在表达各种表情时的各个部位的变形情况来识别的，主要的方法有：主分量分析法（ＰＣＡ）、Ｇａｂｏｒ小波、运动模板法（ＡｃｔｉｖｅＳｈａｐｅＭｏｄｅｌ，ＡＳＭ）【１６】和点分布模型（ＰｏｉｎｔＤｉｓｔｒｉｂｕｔｉｏｎＭｏｄｅｌ，ＰＤＭ）法。运动法是根据人脸在表达各种特定的表情时一些特定的特征部位都会作相应的运动这一原理来识别的。典型的识别方法有：光流法（ＯｐｔｉｃａｌＦｌｏｗ）【１７】［１８１和ＭＰＥＧ．４中的脸部运动参数法（ＦａｃｅＡｎｉｍａｔｉｏｎＰａｒａｍｅｔｅｒＦＡＰ）。几何特征法是根据人的面部的各个部分的形状和位置（包括嘴、眼睛、眉毛、鼻子）来提取特征矢量，这个特征矢量来代表人脸的几何特征。根据这个特征矢量的不同就可以识别不同的表情。重要的方法是：基于运动单元（ＡＵ）的主分量分析法。在容貌特征法中，主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。常用的滤波器是Ｇａｂｏｒ小波。当然，这三个发展方向不是严格独立，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路，相互联系，相互影响。有很多种方法是介于两者甚至是三者之间。例如说面部运动编码系统法是局部法的一种，同时也是从脸部运动上考虑的等等。所以，接下来的分析将不从这三个方向上去说明，而是直接简单描述各种主要的算法。２．３表情特征提取的主要算法描述（１）ＭＰＥＧ－４脸部运动参数法【１９五３】与ＦＡＣＳ相似，ＭＰＥＧ．４脸部运动参数法是一个完整的脸部基本运动的集合，它是基于对人脸细微运动的研究，与脸部肌肉运动密切相关，所以可以描述自然的脸部表情。这时需要创建一个公共脸，然后针对具体的不同人再建立一个具体的中性脸，这样就可以根据具体的表情脸和中性脸获得参数进而识别出表情脸的表情。（２）主元分析法（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ，ＰＣＡ）［２４－３１Ｊ主元分析法基于Ｋ．Ｌ正交变换，是一种无监督的线性特征提取方法。它又被称为特一ｌＯ—浙江工业大学硕士学位论文征脸（Ｅｉｎｇｅｎｆａｃｅ）方法，在人脸识别领域成为举足轻重的一个分支。尽管人脸表情识别与人脸识别在特征提取上存在很多的不同之处，但部分学者的研究表明特征脸的方法在人脸表情的识别上也是有效的，而且Ｃａｌｄｅｒｆ２４】等的研究分别从识别理论和社会科学两个角度说明了主元分析的在人脸表情识别上可行性和有效性。它首先将包含表情人脸的图像区域看作一个随机向量，采用Ｋ．Ｌ变换得到正交变换基，其中较大的特征值对应的基底（特征脸）就组成了表情特征空间的一组基，然后利用这组基底的线性组合就可以描述、表达人脸表情，实现表情人脸的识别和重建。它的优点是最大化的保留了原有数据的差异、缺点是当类间离散度增大得同时，样本类内离散度也在增大，而且对图像定位的要求较高。１９９９年，Ｇｉａｎｌｕｃａ［３２】等在以前人脸识别算法的基础上，将ＰＣＡ算法应用到表情识别上。他们使用整体ＰＣＡ方法，即将ＰＣＡ算法应用于整幅人脸图像，进行了实验，当取前３０个主分量并使用欧氏距离时，达到了最好的７９．３％的识别率。２００１年，ＡｎｄｒｅｗＪ．Ｃａｌｄｅｒｔ２４】等用ＰＣＡ算法在面部表情识别方面做了详尽细致的工作，证明了主分量分析在表情识别算法上的可行性和有效性。认为ＰＣＡ是表情种类和识别图像维数之间的一个桥梁，达到了最佳的识别率和识别速度的整体性能。（３）Ｆｉｓｈｅｒ线性判别分析法（ＦｉｓｈｅｒＬｉｎｅａｒＤｉｓｃｒｉｍｉｎａｔｅ，ＦＬＤ）ｆ３３】该方法假定样本在空间线性可分，基本思想是使样本在所生成的子空间中类内离散度最小，类间离散度最大，使样本更易于分类。将原来高维的模式样本投影到最佳鉴别矢量空间以达到维数压缩的效果，投影后保证模式样本在新的空间中有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。（４）独立分量分析法（ＩｎｄｅｐｅｎｄｅｎｔＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ，ＩＣＡ）Ｂａｒｔｌｅｔｔ［３４】于１９９８提出的基于独立分量分析（ＩＣＡ）算法［２５，３４，３５］［鬟ｊ人脸表情识别方法，主成分分析和线性判别分析都是基于训练样本集的二阶统计信息，忽略了高阶统计信息，而图像的高阶统计信息有时对识别来说也是非常有用的，比如高阶统计信息包含了像素灰度值间的非线性信息，如边缘信息等。独立分量分析是在所有阶统计意义下的去相关，认为这１１幅原始图像是ｍ幅特征图像的线性组合，然后对这ｍ幅的特征图像进行独立分量分析。特征图像是由主分量分析得到的。ＨａｗａｎＣ【３６１等对经过ＰＣＡ特征提取的图像进行独立分量分析，并通过实验表明这种表情提取的方法比单独用主分量分析的表情提取方法更有效，对主分量的特征空间维数的选择具有更低的敏感度。（５）隐马尔可夫模型法（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ，ＨＭＭ）隐马尔可夫模型法是一种用于描述随机过程信号统计特性的概率模型。隐马尔可夫模浙江工业人学硕士学位论文型使用马尔可夫链来模拟随机过程信号统计特性的变化，而这种变化又是间接地通过观察序列来描述的，因此，隐马尔可夫过程是一个双重随机过程，其中之一是Ｍａｒｋｏｖ链，这是基本随机过程，描述状态的转移，另一随机过程描述状态和观察值之间的统计对应关系。隐马尔可夫模型起初成功地应用于语音信号的识别。现在隐马尔可夫模型已经成功地从语音领域应用到其它模式识别领域。ｓａｍ撕ａ【３７】等把～维连续的隐马尔可夫模型应用到人脸识别领域。Ｔ．Ｏｔｓｕｋａｔ３８１等提出了一种使用连续概率输出来提取面部运动模式的隐马尔可夫模型，并且使用小波变换系数作为特征，对于识别４种表情，达到了８４％的识别率。Ｔ．Ｏｔｓｕｋａ【３９１等在文献中近实时地识别出了６种表情。Ｚｈｏｕ［４０１等提出了一种基于Ａｄａｂｏｏｓｔ的嵌入式隐马尔可夫模型，实现了面部表情的实时识别。Ｍｉｎｅｒｓ［４Ｉ】等利用模糊隐马尔可夫模型进行了动态的面部表情识别，在人机交互中达到很好的效果。（６）Ｇａｂｏｒ滤波法近年来，有不少人对Ｇａｂｏｒ小波进行深入的研究并运用在面部表情识别中，取得很优异的识别结剁４“６１。Ｇａｂｏｒ小波是～组窄带带通滤波器，在空间域和频率域均有较好的分辨能力，有明显的方向选择和频率选择特性。ＬｙｏｎｓＭｉｃｈａｅｌｊｒ４２】等对图像进行二维小波变换，对变换后的幅度图像或者是自动人脸网格标定，或者是人工标定人脸网格，再对标定区域的图像形成矢量，利用线性判别分析（ＬＤＡ）的方法来进行最后的性别、种族、表情识别。随着训练图像的增加（从１４增２１．至０１２７），三个方面的识别率也有很大的提高（从６０％多增加到９０％多）。相反，ＴｉａｎＹｉｎｇ－ｌｉ等【４５】的研究工作主要是在Ｇａｂｏｒ小波对面部运动单元的识别上，他们将面部分成上部和下部两个部分，再标成一个个的运动单元（有点类似于前面的面部运动编码系统ＦＡＣＳ），然后结合几何特征进行表情识别，识别率为９２．７％，虚警率为７．６％。文中还研究ＴＧａｂｏｒ小波对单个运动单元识别的问题，取得了８３％的识别率。另外，ＲｏｇｅｒｉｏＦｅｒｉｓＳ等【４６】利用分级的小波网络（ＧａｂｏｒＷａｖｅｌｅｔＮｅｔｗｏｒｋｓ）对面部表情的定位做了深入的研究。删是由ＣｏｏｔｅＳ【４７１提出的一种图像特征提取方法，它建立了一种对目标对象变化程度的参数化描述。它首先从训练集中通过手工标定一组点构成形状信息，然后通过灰度插值（７）活动外观模型法（ＡｃｔｉｖｅＡｐｐｅａｒａｎｃｅｍｏｄｅｌｓ，ＡＡＭ）法得到灰度信息，综合这两种信息并用主成分分析法去除冗余信息得至ＵＡＡＭ基向量，应用时，对实际图像进行形状定位与灰度信息获取，然后计算这些信息在各个ＡＡＭ基向量上的投影，调整模型参数使得通过ＡＡＭ模型合成图像与真实图像间的差异达到最小，并以满足浙ｔＬ【：业大学硬十学位论立这个条件时的模型参数构建表情特征向量。此洼对正面视角人脸有效，Ｈ时要求人脸投有头发、眼镜影响，图像需要多点手工标定。Ｅｄｗａｒｄｓ提出的活动外观模板ＡＡＭ在｜墨｜像中手动标定１２２个点用来描述人脸特征信息。左选取７０幅图像作为ＡＡＭＯｌＩ练集，在每幅图像标记７５７个特征点，实验得到的识别率为９３５％。（８）弹性图匹配法”８ｌ弹性图匹配法是将人脸图像建模为可变形的３Ｄ嘲格表面，将人脸表情识Ｎ／ｏ］题转化为可变形曲面的弹性匹配问题，把空间和灰度放在一个３Ｄ空『ＨＪ中考虑。Ｅｓｓａ等ｔ９Ｉ：庄Ｔｅｒｚｏｐｏｕｌｏｓ等的基础上构建了一个解剖学的人脸模型并用于识别和合成人脸表情（网格示意见图２—２）：Ｑ移幽２．２弹性崮匹配示意图Ｈｓｌ（９）基于光流的方法（ＯｐｔｉｃａｌＦｌｏｗ）现在，基于动态表情序列的表情特征提取方法也受到越来越广泛的关注。光流是空问运动物体被观测表面上的像素点运动的瞬时速度场，包古了物体与成像传感器系统之间相对运动的关系。光流估计利用运动图像序列中的强度数据的时域变化和相关性，确定图像像素位置的运动情况。光流估计的方法被广泛的应用于图像序列的表情识别中，基于特征点的光流模型、基于密度流的像素跟踪模型都离不开光流估计。ＭａｓｅＩ”ｌ和Ｅｓｓａｈ－ｆａｒｉＡ［９］等研究表明利用光流可以检测到ＦＡＣＳ＠的运动单元（Ａｕ）：Ｂｌａｃｋ和Ｙａｃｏｏｂ［”Ｉ应用光流模型进行人脸表情的分析，但并没有描述区分各个运动单元的光流的特征；Ｃｏｌｍ［４９１等提出了一种基于光流的方法，对眉毛、眼睛、嘴唇等区域的运动单元进行分辩，既可以分辩８个独立的运动单元又可以分辨７个运动单元的组合；基于光照均衡假设的稳定的回归调度方法从粗到细的光流算法对大运动进行估计跚，允许头部刚性运动，光照不同，人脸特征区域事先人工选择；在右眼和嘴都区域使用自适应基于梯度的光流算法进行运动估计【划，要求人脸无毛发、服镜的遮盖，等等。一１３一浙江工业大学硕士学位论文（１０）其它还有很多模式识别中的经典算法在表情识别中都有所应用，例如奇异值分解法（ＳＶＤ）、松弛法等等。但由于其或者近年来研究较少（如松弛法），或者前面已经介绍了原理相似的算法（如ＰＣＡ），所以在此就不做详细地阐述。２．４表情的分类与识别方法面部表情识别的最后一个步骤就是表情的分类和识别，目前的分类方法也有很多，根据是否利用时间信息来进行分析，人脸表情分类的方法可分为基于空间分析的方法和空时结合的方法两类【１４】：２．４．１空间分析的方法（１）基于专家规则（ＥＸｐ酿ｒｕｌｅｓ）的方法这类方法从人的观察角度出发来制定一些规则，对特征提取得出的参数，判断它符合哪一类规则，将其归入相应的类别。Ｐ锄ｉｃ【５１，５２】１利用ＡＵ编码来描述输入的表情，然后与每一种表情类别的Ａｕ编码描述进行比较，将其分类到最相近的一类基本表情中。基于专家规则的方法可以更精确地描述人脸表情，从而更好地识别混合表情，同时由于它对表情进行了编码，因此便于进行人脸表情的合成。（２）基于机器学习的方法①人工神经网络人工神经网络在静态图像的人脸表情识别中有很多运用。Ｇｕｅｏｒｇｕｉｅｖａｔ５３１使用多层感知的神经网络来进行表情识别，训练并测试了四种网络，得出Ｓ形函数和径向基函数的神经单元混合能较好地适合于前馈神经网络的结论。Ｍａ【５４１在全脸图像中用２维离散余弦变换进行特征检测，然后用一个结构性单隐层的前馈神经网络作为表情分类器，效果比传统的神经网络好。神经网络方法的缺点在于，当识别很多无限制的混合表情时，对分类器的训练将会比较困难。②贝叶斯分类ｓｅｂｅ【５５】首先使用朴素（Ｎａｉｖｅ）贝叶斯分类器进行表情的识别，并证明将特征分布的假设由高斯分布改为柯西分布可以提高分类的性能。朴素贝叶斯分类器的缺点在于，它假设特征之间是相互独立的，而事实上人脸的表情发生过程中，各特征的变化并不是完全独立的，而是存在着相互制约的关系。Ｃｏｈｅｌｌ【５ｑ在柯西分布的贝叶斯分类器基础上，使用高斯树状分类器对特征之间的从属性进行建模，并且讨论了如何使用无标签的样本来训练贝叶斯网浙江工业人学硕十学位论文络分类器，从而在有标签样本数较少的情况下提高分类器的性能【５７】。Ｚｈａｎｇ【５８】采用一个三层的贝叶斯网络对脸部表情和脸部ＡＵ之间的因果关系进行建模，底层为可观察数据层，包括一些基本的特征数据，如眼、鼻、嘴、皱纹等等；中问层（即隐含层）为ＡＵ层；上层为表情层。同时结合ＨＭＭ，从时间和空间关系上同时对表情进行建模。⑧其他支持向量机是在统计学习理论的基础上发展起来的一种分类方法，在解决小样本、非线性和高维问题上有很多优势。目前，支持向量机是机器学习中应用最多的分类器之一，近年来也被应用于表情识别中【５９，矧。Ａｄａｈｏｏｓｔ方法将多个弱分类器结合起来训练形成强分类器，不同分类器针对不同的特征，通过训练可以达到特征选择的目的，在模式识别领域如图像检索和人脸检测中都有成功的应用。Ｂａｒｔｌｅｔｔ［删使用Ａｄａｂｏｏｓｔ选择特征与ＳＶＭ分类相结合的ＡｄａＳＶＭ方法进行分类，取得较好的识别结果。ｗａｎ９６１１用Ａｄａｂ００ｓｔ方法训练查找表型的弱分类器进行表情识别，在自己收集的数据库上的测试结果略优于ＳＶＭ。Ｇｕｏ［６２】提出特征选择线性规划的方法，将模式分类的问题转化为最小化平均分类错误的１２范数的问题，从而可以用线性规划的方法来进行求解。而特征选择则通过限制分类面法向量的分量个数来完成。在实验中该方法可以用很少的特征数目达到接近于ＳＶＭ的识别正确率。２．４．２空时分析的方法在以前的文献中，空时结合的分析方法还包括基于规则的推理以及循环神经网络等，但近几年的文献中，只有隐马尔科夫模型（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ）被普遍采用。Ｍｕｌｌ一６３】运用伪３维的隐马尔可夫模型（Ｐ３ＤＨＭＭｓ）：进行动态人脸表情的分析。对序列中的每一幅图像用一个伪２维的隐马尔可夫模型（Ｐ２ＤＨＭＭ）进行建模，再用１Ｄ２ＨＭＭ对时间状态进行建模，最后得到表示完整表情动作的Ｐ３ＤＨＭＭ。ＹｅａＳｉｎ【删提出两步分析法，首先将一系列线性分类器用于丘锄ｅｌｅｖｅｌ，每次观察结果结合起来产生时间信号，然后用这一时间信号作为训练数据训练离散ＨＭＭｓ。用ＨＭＭ方法进行识别需要确定其初始和结束的状态，因此一般用于单独的表情序列或分割好的表情序列。Ｃｏｈｅｎｔ５６】提出多层次的ＨＭＭ，第１层为分别针对六种表情的６个ＨＭＭ模型；第２层为表示六种表情之间状态变化的Ｍ矧ｋｏｖ模型。将单个表情ＨＭＭ的状态输出联合起来作为高层Ｍａｒｋｏｖ模型的输入，并通过训练得到六种表情之间的转移概率，从而可以自动将视频分割为不同的表情段进行分析２．５已有的人脸表情数据库人脸表情识别的研究必然建奇在人脸表情图像的基础上，其研究虽然已经广泛的丌展，但是表情库至今没有统一的标准，不同的研究者使用不同的表情库，还有些研究者使用自己构造的表情库，这样使得各种面部表情识别算法大都是在不同数据库上进行性能测试，各种数据库之间的差别比较大，这种在不同数据库上的测试结果很难进行横向比较，给各种识别算法效果的比较带来了很太困难。因此，很多研究者都期待着能够构造一个公开的、包台有大量图像的、对各种表情进行统一定义的人脸表情数据库。目前，在表①Ｃｏｈｎ心Ｋａ情识别领域广泛使用的主要是以下几个数据库ｄｅ表情数据库㈣该表情库由美国ＣＭＵ机器人研究所和心理学系共同建立。该数据库包吉了６８个人的大约４００００幅图像序列，是一个基于动作单元编码的人脸表情数据库，它根据人脸动作编码系统（ＦａｃｉａｌＡｃｔｉｏｎＣｏｄｉｎｇＳｙｓｔｅｍ）把脸部动作分成６种运动单元。该数据库只公开了一部分，该部分是１００名到１８－３０岁的大学生的照片（Ｙ２寸６４０ｘ４９０），其中６５％女性，１ｓｏ／ｄＪ：裔美洲＾，３％亚洲和拉丁美洲人。如图２－３所示为一女学生喜悦强度不同的表情图像：囤囤囤圄固囤圜囤囝２－３Ｃｏｈｎ．Ｋａｎａｄａ表情数据库样本示例＠ＪＡＦＦＥ（ＪａｐａｎｅｓｅＦｅｍａｌｅＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎ）数据库‘删该数据库包含了１０个日本女人的２１３幅表情图像，每个人７种表情，包括高兴、生气、恐惧、厌恶、害怕、悲伤和中性表情，每个人的同一种表情图像有２～３幅。图２－４是拍摄这些表情的示意图。每个表情者对着一个半反射的塑料板进行自我拍摄。每个表情者的头发都系在头后，以便露出面部。头部的正上方用钨灯来照明，以产生均匀的光线。使用一个盒子将照相机与塑料板之间封闭起来，以产生背反射。如图２—５所示，从左到右的表情图像依次为高兴、恐惧、惊讶、悲伤、生气、厌恶。一１６浙江Ｊ业人学硕ｌ学位呛文黼图２４拍摄表情时的设备示意图鼢赞融黔奠、翰星ｉ霞基．霞参。盆图２－５ＪＡＦＦＥ数据库中２个人的６种不同表情当然，除了我们上面介绍的两种表情库以外，还有很多的人脸库，如ＹａｌｅＦａｃｅ人脸表情库（如图２－６所示），剑桥人学的ＯＲＬ人脸数据库（如图２．７所示）等，但这些人脸库针对人脸识别更加有效，从不同角度，不同光线下识别人脸时表情特征是作为干扰信息存在的，因此这些人脸库对表情识别实验来说效果并不理想，在实际的表情识别实验中，Ｃｏｈｎ－Ｋａｎａｄｅ表情数据库和ＪＡＦＦＥ表情数据库是使用最多的。本文的所有实验都是建立在ＪＡＦＦＥ表情数据库的基础上实现的。渐ｒＪＬ业人学硕Ｌ学何畦文目２石ＹａｌｅＦａｃｅ数据库帕部分ｆ￥木董嚣襞℃。鐾ｋ黑生，一图２．７ＯＲＬ数据库的部分样本２．６目前存在的难点和问题用计算机来分析识别面部表情是一个非常复杂的问题，准确的人脸表情识别仍然存在诸多困难：（Ｉ）由于目前静态面部识别的表情类型大部是基于Ｅｋｍａｎ分类的六种基本表情和ｒ｝１性表情，且大都足夸张化了的人脸表情，实际上，这种夸张化的人脸基本表情是很少见的，我们日常生活交流中经常出现的表情往往是几种基本情绪的混合（如悲喜交加、惊喜、苦笑不得等）因此这几种基本表情不足以描述人类复杂多变的真实表情，如何找到更精确的描述方式是目前亟待解决的问题；（２）许多的识别测试是建立在上一节介绍的已有人脸表情数掘库或自建人脸表情数据库上，而这些数据库往往受约束条件较多，如背景单一、没有各种饰物的干扰、人脸不发生旋转或只有微小旋转、夸张化的面部表情等，这牡限制条件显然与实际应用场台有较太差别，因此需要研究能够用于复杂多边的应用场合的实时识别面部表情识别算法，可以忽略人脸的表情、光照、噪声，附属物等影响，提高算法的鲁棒性。（３）提取面部表情时要尽量分离头部的刚性运动和脸部的柔性运动，为了解决这个问题可以引入三维表情信息，三维图像能提供较二维图像更能提供完整而真实的内容，且减少了光照和姿态的变化影响，如何有效得引入并且利用三维信息进行表情识别将是一个具有挑战性的研究课题。（４）人脸表情库的建设要加强。正如上一节所介绍，很多的人脸表情识别系统所报告的成果都是在不同的数据库、不同的实验设置上进行的。因此．究竟哪个系统更为优越，很难给出一个统一的评价。而且当前的人脸表情数据库的大都是欧美以及日本的人脸个体，鉴于种族、文化差异对人脸表情的影响，我国要开展相关的理论和应用研一１８一浙江工业大学硕士学位论文究急需建立起有我国特色的中国人的人脸表情图像数据库。２．７本章小结本章主要介绍了面部表情识别技术的国内外研究现状，以及当前众多表情特征提取算法的分类方式和主要的具体算法描述，继而根据是否利用时间信息来进行分析给出了表情分类的方法，并对目前流行的各种人脸表情数据库在表情识别方面的优劣做了简单的对比。最后，简述了当前表情识别技术面对的困难和需要解决的问题。浙江工业大学硕士学位论文第３章３．１引言基于类内分块ＰＣＡ方法的面部表情识别一个完整的面部表情识别过程应包括３个基本环节：人脸检测、表情特征提取与选择、表情分类。其中特征提取与选择是关键的一步，其好坏直接关系到识别的最终结果，它已经成为模式识别领域的研究热点。通过大量的实验总结得知，好的表情特征提取方法应该具备以下几个条件【１４】：（１）完整的表示出人脸表情的本质特征；（２）去除噪声、光照及其他与表情无关的干扰信息；（３）数据表示形式紧凑，避免过高的维数；（４）不同类别表情的特征之间有较好的区分性。ＳｉｒｏｖｉｃｈａｎｄＫｉ一６７】【６８】在进行人脸识别研究时，认为可以收集一些人脸图像作为基图（特征图），任何人脸图像可以近似地表示为该人脸样本的均值与部分基图的加权和。在此基础上，１９９１年ＴｕｒｋａｎｄＰｅｎｔｌａｎｄ［６９】提出了经典的“特征脸”（Ｅｉｇｅｎｆａｃｅｓ）方法，它使用主元分析（ＰＣＡ）方法来提取人脸面部特征，由于得到的特征子空间中的特征向量很像一张张脸，故称为“特征脸”，目前这种方法已经广泛应用于人脸识别和表情识别中。主元分析法（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ，简记为ＰＣＡ），又称为主成份分析法，最早由ＫａｒｌＰｅａｒｓｏｎ在１９０１年所提出，又由Ｈｏｔｅｌｌｉｎｇ于１９３３将其扩展。它是将原有的Ｐ个变数做Ｋ．Ｌ变换得到ｋ个新变数，即ｋ个主成份。换种说法就是利用样本库，以样本特征向量在特征空间的分布为原始数据，通过实行线性变换，找到维数较少的组合特征，达到降低特征维数的目的。本文使用的特征提取方法正是基于传统ＰＣＡ方法的基础上进行改进的。３．２传统ＰＣＡ方法简述主成份分析被认为是模式识别中的经典算法，它是在最小协方差意义下寻找最能代表原始数据的投影方向，从而达到对图像降维的目的【７０】。ＰＣＡ实质上是Ｋ－Ｌ展开的网络递推实现，Ｋ－Ｌ变换是图像压缩中的一种最优正交变换，其生成矩阵一般为训练样本的总体散布矩阵。该方法根据像素间的二阶相关性，将包含表情人脸的图像区域看作一个随机向一２０一浙江工业大学硕士学位论文量，采用Ｋ．Ｌ变换得到正交变换基，其中较大的特征值对应的基底（即“特征脸”）就组成了表情特征空间的一组基，然后利用这组基底的线性组合可以描述、表达人脸表情，实现表情人脸的识别和重建。待测样本的特征提取过程就是把待识别人脸表情映射到由特征向量（特征脸）张成的子空间中，而分类过程就是将待测样本在子空间中的位置与库中人脸表情的子空间位置进行比对。在最小化训练样本重建误差（如３．１公式所示）的原则下【６Ｊ，子空间的基Ｕ由训练集样本的协方差矩阵的较大特征对应的特征向量构成。主元分析的重建误差如下所示：＾，／（ｕ）＝∑（（ｊ＋咣）一ｘ）７’（（贾＋叱）一ｘ）ｋ＝ｌ（３－１）也就是说它提供了一个高维到低维的线性变换矩阵，这个变换矩阵Ｕ可以通过求取协方差矩阵的特征向量获得。ＰＣＡ方法的具体步骤可以简述如下：假设－－昌ＪＪ人脸表情图像矩阵高为ｐ，宽为ｇ，将图像按列向量相连排成一个ｐ×ｇ维的高维向量，若人脸表情库中共有图像Ⅳ个，这样可以用矩阵（ｐ×ｇ）×Ｎ来表示整个人脸表情库。将第Ｋ副表情图像样本看作向量，记为五，可以构造出所有样本向量的协方差矩阵：Ｎ∑，＝妒删ｒ＝专∑（五一ｊ）（鼍一ｊ）７’（３－２）其中—ＸＩｌ●一ⅣⅣ∑心瓦表示全部训练样本的均值。我们要找的变换矩阵Ｕ就是由∑ｌ的非零因为直接求解∑，的特征值和正交归一特征向量是困难的，维数很高，根据奇异值分解原理，可以构造出低维矩阵Ｒ＝Ｍ７’Ｍ（Ｎ×Ⅳ维），容易求出Ｒ的特征值名ｉ和特征向量形，由此得到∑。的正交归一特征向量吩：驴万１彬忙，２川，投影方差贡献较大的特征向量，达到降维的目的【７Ｉ】。由此可以定义：任３，特征值越大则与之相对应的特征向量上的投影对方差的贡献越大，我们要选取那些对浙江工业大学硕士学位论文Ｆ（尼）＝七∑旦Ⅳ∑乃一五卢１（３－４）一般情况下贡献率取为Ｆ（七）＞０．８。用这Ｋ个较大特征值五≥五…≥以所对应的特征向量ＵＩ“２…Ｕｋ构造特征子空间，即令ｕ＝【“ｌ，“２，．．‘‰Ｊ，就是我们要找的最佳投影矩阵。有了这Ｋ个特征值所对应的特征向量，也就是所谓的“特征脸’’向量，任何一幅表情图像都可以投影到这个子空间，并获得一组坐标系数，也就是说，任何一幅人脸表情图像都能表示成“特征脸”的线性组合，这组系数就表明了该图像在子空间中的位置，从而可以作为以后表情识别的依据【６９１。ＰＣＡ方法具有简单直观、计算效率高、概念清晰、推广性强等优点，但由于传统ＰＣＡ方法是应用于人脸识别提出的，在处理训练样本时，人脸整体轮廓差异不大，它要提取的是不同人脸的个体差异，对人脸图像库中的所有样本进行处理，得到的是所有训练样本的主要特征，这种方法针对人脸识别比较有效。但就表情识别而言，由于各类不同表情的差异较大，对所有的训练样本进行变换后，识别率较低。所以，我们可以单独对每类表情训练样本进行ＰＣＡ处理，那么得到的则是只含有该类表情特征的主成份，与其他表情无关。这些单独构成每一类特征空间的主成份特征向量，可以将其称之为“特征表情”，这样能增大类间差异，使得类内差异尽量小，对表情的识别更加有效。通常状况下一幅表情图像的维数是非常高的，并且图像分布很不紧凑，在这样的高维空间上直接进行传统ＰＣＡ计算复杂度非常大，比如一副分辨率为１００ｘ１３０的图像其对应的图像矢量特征空间高达１３０００维。若将人脸表情图像作为一个整体对象进行特征提取，也必然影响全局特征的相关性，未能突出一些利于分类的对表情识别贡献较大的局部信息【７们。３．３类内分块ＰＣＡ方法基于以上传统ＰＣＡ的不足，提出一种类内分块ＰＣＡ方法的特征提取方法。它是指在提取表情图像特征之前，首先对表情训练样本进行分类，按照传统的分类标准，分为惊讶、悲伤、愤怒、厌恶、恐惧、高兴、平静共七类表情（用ｃ表示类别，ｃ＝１，２…７），再对每一类别内的每一幅训练样本图像进行分块，对划分后的所有大小相同的子图像块进行ＰＣＡ处理提取特征，这样可以捕捉到表情图像的局部信息特征，最后依据提取到的特征进行表情浙江工业大学硕士学位论文的分类识别。本文选用第二章介绍过的日本ＪＡＦＦＥ女性人脸数据库中原始的表情图像为样本，共有１０个不同人的２１３副图像组成，每人展示７种表情（生气、厌恶、恐惧、高兴、中性、悲伤、惊讶）各２～４幅图像，均为２５６×２５６的８位灰度图像，其中包括了背景，衣服等干扰因素。因此在特征提取之前需要对样本进行预处理得到纯表情区域图像。３．３．１图像样本的预处理表情图像的预处理是指在进行表情识别之前，对含有表情的图像进行的几何尺寸和像素值的规范化以及位置的校准、光线的归一化。预处理变换保证了参加训练的图像与待识别的图像在同样的条件下进行匹配对比，它是人脸表情识别中一个非常重要的过程，它的好坏会对识别效果产生一定的影响【７２１。预处理过程的理想输出是具有统一的大小、形状和亮度值归一化的，尽可能去除光线和光照强度影响的纯表情区域。它的工作主要包括：（１）手工定位面部特征点；（２）根据定义的特征点位置旋转图像，使所有的样本图像保持水平，以保证人脸方向的一致性；（３）根据面部特征点和预先定义好的几何模型确定特征区域，裁剪该矩形区域获得需要的纯表情区域；（４）采用直方图均衡，以部分消除光线和光照强度的影响。本文选取每幅图像的左右两个内眼角点作为特征点定位面部。首先，以这两个内眼角点的连线作为水平坐标轴，对这条连线不能保持水平的人脸图像进行左或右旋转，使之保持水平，保证所有的人脸方向一致。两个眼角坐标分别设为互＝（墨，Ｘ）和易＝（五，墨），距离为Ｄ，连线不能保持水平的轴线与水平轴之间的角度为９，计算旋转校正参数：Ｄ＝√（而２一五２）＋（奶２一Ｍ２）：＝Ｄ：丝二苎ｎ＝匕丑ｂ然后确定表情矩形特征区域，并裁剪出这个矩形区域，就是我们要得到的纯表情图像，如图３．１所示。在裁剪下来的纯表情图像里以两个内眼角点之间的距离（本文中的距离为０．６６ｅｒａ）作为水平坐标轴的单位长度进行图像放缩，所有图像都以这两个点为基准对齐，且浙江Ｉｊ业大学颂Ｌ学位论立图像太小均为１００×１３０像索，图像的实际面积是２ｃｒｕｘ２６ｃｍ，右内眼角点的坐标为（ｏ６６锄，Ｏ７０ｃｍ），左内眼角点的坐标为（１＿３２ｃｍ，０．７０ｃｍ）；最后对图像进彳一直方图均衡。至此，我们就得到了大小一致，几何归一化，灰度归一化的人脸纯表情区域。如图３－２所示为预处理前后的部分图像对比。§仓酗３．Ｉ特征点定忾和表情区域裁剪Ａ佘Ａ§Ｑｊ愈Ｑ图３．２ａ琐处理前的原始图像图３．２ｂ预处理后的标准纯表情图像３．３．２特征提取一类内分块ＰＣＡ方法对预处理后的表情图像，进行无交叠的分割，将数字表情图像记为乃，ｍ×”的图像矩阵表示分成大小相同的，ｘｇ块，每个子图像大小为。ｘｆ（其中ｓ２ｍ／ｐ，ｔ５ｎ／ｑ）。这里我们都是针对预先按表情类别划分好的某一类表情内的所有训练样本图像进行操作，如下所示：（力）。．（乃），：…（并）－，乃２（４）：，（∞）ｎ…（乃ｋ。（而）Ⅲ（乃），２…（４）册浙江：［业人学硕士学位论文其中ｊ－１，２．．．Ｎｉ，∑ｉ＝１Ⅳｆ＝Ⅳ，Ⅳ表示某一类表情的训练样本总数，Ⅳ表示所有类别表情图像的训练样本总数。对所有分块后的大小相同的子图像（ｊｂ）“实行ＰｃＡ方法，构造总体散布矩阵为：∑＝南Ｍ∑芦芝心妻Ｍ“乃材一Ｚ×乃材一形ｒ０巧Ｚ＝其中：上啪坼∑爿，∑脯可∑闰乃ｂ（３·６）表示某一类表情中所有训练样本子图像的均值。与ＰＣＡ方法类似，单一的最优投影方向是不够的，需要寻找一组满足标准正交的最优投影向量组。此时由于已经对图像分块，降低Ｖ了计算的维数，只需计算ｓ木ｔ维的特征空间，可以避免使用奇异值分解原理，直接求得。２的特征值和特征向量，最优投影向量组Ｕ１，甜２…“，－可取为∑，的，．个最大特征值对应的标准正交归一的特征向量，即当前类的最优投影矩阵为Ｕ’＝［％，Ｕ２··以，Ｊ。接下来进行特征提取，即对类内的所有训练样本图像兀＿，向子空间投影，提取特征。不同于传统的ＰＣＡ方法，这里提取出的特征不是特征向量，而是每个子块的特征向量（记ｙＰｑ为上－，）构成的矩阵，我们可以称之为“特征矩阵”（Ｐｒ×ｇ维），也可以称之为“特征表情”，它的数学描述如下所示：Ｕ口（乃）。。Ｙｊ＝Ｕ∥（乃）１２．一Ｕ∥（乃）ｌ叮Ｕ矿（乃）２２…Ｕ∥（乃）２鼋Ｕ圹（乃）２。Ｕ仃（乃）ｐ，Ｕ仃（乃）ｐ２…Ｕ仃（乃）朋巧１１Ｙ．，１２…艺增弓２１弓２２…弓２９巧川艺力…‘用对每一类表情的所有训练样本实施以上操作，训练样本有几类便进行几次处理。即通一２５一浙江工业大学硕士学位论文过分块ＰｃＡ后，每个图像对应一个特征矩阵Ｉ－，，其中产１，２…Ｎｉ，ｉ．１，２…ｃ，ｃ为类别数。对任一待识别的测试样本也实施以上的操作，投影到各类的“特征表情”空间，得到测试样本的一组特征矩阵｛＿，砭，…，ｔ）。类内分块ＰＣＡ方法是通过对类内样本进行一系列计算，以得到一组正交归一化特征向量构成的特征矩阵，其中的向量最能代表原始图像的投影方向，从而达到对特征空间进行降维的目的。故该算法的关键是找到一个符合条件的特征矩阵。在前面所定义的训练样本已经归好类（归为ｃ类，Ｃ＝１，２…，７）的前提下，类内分块ＰＣＡ算法思想可描述如下：（１）对当前类别为ｉ（ｉ＝ｌ，…，Ｃ）内划分后的全部训练样本子图像块（饬）肼Ｇ＝１，２一ｃ，歹＝ｌ，２，．．，Ⅳｒ，利用公式（３．５）、（３．６）求得该类样本总体协方差矩阵∑，２和均值石；（２）不用奇异值分解原理，直接计算出矩阵∑ｆ２的特征值丑＾及相应的标准正交特征向量‰（江１…２．ｃ，ｈ＝ｌ…２．ｓ木ｆ）；（３）选取前ｒ个最大特征值对应的标准正交归一的特征向量“ｉｌＵｉ２…Ｕｉｒ，这些特征向量组成的特征向量组便是我们所要求的符合条件的当前类训练样本子图像块的特征向量组，构造最优投影矩阵ｑ’＿［“儿，“防埘驴】；（４）对每个已有类别进行训练，直至得到所有类别的最优投影矩阵∽’；（５）对每一类表情的所有训练样本向该类子空间投影来提取特征，计算出所有训练样本的特征矩阵巧（ｐｒ×ｇ）；（６）看看是否所有类别的训练样本均已训练完，若是，则结束；否则，继续回到第（１）步开始，直至得到所有类别的训练图像的特征矩阵；（７）对待测试样本，向各个类别的最优投影矩阵∽’投影来提取特征，得到一组特征矩阵｛死，乞，…，搿。３．４分类器设计３．４．１最近邻法决策规则最近邻法【７３】的基本思想是以全部训练样本作为“代表点＂，计算测试样本与这些“代一２６—浙江工业大学硕士学位论文表点”，即所有样本的距离，并以最近邻看的荚别作为决策的方法。最初的近邻法是由Ｃｏｖｅｒ和Ｈａｒｔ于１９６８年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。对一个Ｃ类别问题，每类有Ｎｉ个样本，ｉ＝ｌ，．．．，Ｃ，则第ｉ类哆的判别函数：吕（ｘ）＝ｍｉｎＩＪＸ一鼍。ＩＩ，尼＝１，．．·Ｍ（３－７）其中Ｘｉ七表示哆类的第ｋ个样本。判别函数的决策规则为：ｇｊ（ｘ）＝ｍｉｎｇ，（ｘ），ｆ＝１，．．～，则决策ｘ∈吁最近邻法在原理上最直观，方法上也十分简单，只要对所有样本（Ⅳ＝∑Ｍ）进行Ｎ次距离计算，然后以最小距离者的类别作决策。在以上两式中用ＪＩ·ｌＪ表示距离，这是一个象征性的表示，可以采用任何一种相似性的度量，一般以欧氏距离为相似性度量。３．４．２表情分类对于３．３．２节计算得到的所有类别表情里的每幅训练图像对应的特征矩阵鬈．，（ｆ＝１，２．，．·，ｃ，．，＝１，２…Ｍ），以及对任一待识别的测试样本也实施同样的计算得到测试样本的特征矩阵丁ｗ，对应的特征矩阵计算距离的度量如下式表示：ｄｗ（％，ｆ。）＝ｍｉ，ｎＩｌＹ。ｊ－Ｔ。１１＝ｍ：｝ｎｌ∑∑（％盯呵ｗｓｔ）２ｌ＼ｊ＝ｌｔ＝ｌ／（／＝１，２，…，Ⅳｆ）（３．８）其中％鲋表示特征矩阵ｋ中第ｓ行第其中１坷表示特征矩阵１可中第ｓ行第列的数值，Ｊｗ一声，…产，一，，…¨，，…Ⅳｉ，ｄｗ（％，ｆ，．，）表示待测样本在第ｗ类内与所有训练样本的最小距离。若吃％，ｔ·）＝呼（乩（％，ｒｗ”，则该表情属于第ｃｔ类，即待识别表情样本归类羽Ｉ笔ｃ’娄．３．５实验结果与分析论文实验用Ｍａｔｌａｂ语言进行仿真。样本集合经预处理后，我们选取７类表情中的５渐江ｒ业人’｝硕Ｌ学付论文类，分别是喜、慷、怕、怒、哭进行实验，每种表情选出２７个样本，实验中共使用５ｘ２７副样本图像。分别用传统ＰＣＡ方法和改进后的ＰＣＡ方法进行特自Ｆ提取，撮后采用最近邻分类嚣进行识别分类。由于实验表情图像样本数较少，不足以得到识别率，所以将实验结果累加求均值得到识别率，同时采用了两种方案的实验方法：第一种方案：测试样本不包括训练样本的方案．每次选取每种表情的１４幅图像作为训练集，共训练５次，每种表情的余下１３幅图像作为测试集，经过１３ｘ５欢实验，所有样本均被测试一次，将实验结果累加求均值得到识别率：第二种方案：测试样本包括训练样本的方案，每次选取每种表情的１４幅图像作为训练集，训练５次，每种表情的所有２７幅图像作为测试集，经过２７×５次实验，所有样本均被测试一次，将实验结果累加求均值得到识别率。实验对类内分块ＰＣＡ方法采用了三种不同分块方式（即对原始图像进行２ｘ２，３ｘ３．４ｘ４划分）。将分块后的训练表情样本和测试表情样本分别投影到所形成的特征子空间中提取表情特征矩阵（维数为ｐｒ×ｇ，若取ｒ个投影轴）。如图３．３所示．列出了使用传统ＰＣＡ方法时所有表情图像训练样本的前８个最大特征值对应的表情特征脸。，’、，”“、帮ｊ孵鼍学圈裔酝鬻鬻鬻蔫图３．３传统ＰＣＡ方法的前８个表情特征脸嘹，≥蠢。国３４ａ２ｘ２分块ｐ、－·ｑ器：：璺。■？ｋ透已避一图３－４ｂ３ｘ３分块ｏ童寥、醢西ｉ溺＿￡二麓阁３－４ｃ４ｘ４分块浙江工业大学硕士学位论文表３．１第一种方案下识别效果比较数据库类内分块传统ＰＣＡＰＣＡ（２ｘ２）ＰＣＡ（３×３）８８．８９％类内分块类内分块ＰＣＡ（４×４）８９．Ｏｌ％ＪＡＦＦＥ喜表情ＪＡＦＦＥ惊表情ＪＡＦＦＥ怒表情ＪＡＦＦＥ哭表情ＪＡＦＦＥ怕表情７４．２８％７９．８３％８３．１６％８５．６２％９２．３１％９２．３４％７６．１９％７６．７４％７７．９２％７８．２２％６５．４０％６９．７１％７２．４９％７６．９１％６１．５４％７１．２３％７５．４６％７８．０９％表３．２第二种方案下识别效果比较类内分块数据库传统ＰＣＡＰＣＡ（２ｘ２）ＰＣＡ（３ｘ３）８９．５７％类内分块类内分块ＰＣＡ（４ｘ４）９１．５９％ＪＡＦＦＥ喜表情ＪＡＦＦＥ惊表情ＪＡＦＦＥ怒表情ＪＡＦＦＥ哭表情ＪＡＦＦＥ怕表情８１．２８％８０．０ｌ％８４。ＯＯ％８７．８１％９３．３３％９４．１０％７８．９３％７７．５０％７９．００％７８．９５％６９．７１％７０．１９％７４．５８％７７．８４％６２．４６％７２。４４％７６。１０％７８．８６％比较两种方案下的识别率，如表３．１、３．２所示，我们发现，运用改进后的ＰＣＡ方法各种表情识别率均要高于传统ＰＣＡ方法，而且当实验方案中测试样本含有训练样本时，识别率也要略高于测试样本不含有训练样本的情况。这主要是因为传统的ＰＣＡ方法是对所有的表情样本进行处理，所得到的特征含有各种表情特征，而改进后的类内分块ＰＣＡ则使同一种表情特征归为一类，因而不同类之间的差距加大了，有利于识别。同时在使用传统ＰＣＡ计算时，由于本文的表情图像样本大小为１００×１３０，连接成列向量后维数高达１３０００维，计算量太大。因此在进行特征提取时，使用了间接的计算方法奇异值分解原理，使得最多得到和样本数相同的特征向量，本文实验中最多为２７个特征向量，丢失了大部分较小的特征值对应的特征向量，这些特征向量往往反映了表情的细节特浙江工业大学硕士学位论文征。而在使用类内分块ＰＣＡ方法时，如采用４ｘ４划分，即分割成１６块后，予图像大小只有２５Ｘ３３，可以直接计算协方差矩阵求解出特征值和特征向量，此时的产生矩阵对应的特征值个数有８２５个，其对应的特征向量个数远远多于传统ＰＣＡ方法的个数，能够提取更多的局部特征，使得在训练阶段得到最优的特征维数成为可能，识别率也就有了提高。如表３．１，３．２是取８０个特征向量时的识别率。３．６本章小结本文在传统ＰＣＡ方法的基础上，提出了一种改进后的表情识别方法一类内分块ＰＣＡ方法，它是一种基于类内的子图像向量的鉴别分析方法，与以往的基于整体图像向量的方法相比，它的突出优点是能够抽取出图像的局部特征，这些局部特征能更好的反映图像之间的差异，便于模式识别，而且实现简单，计算量小。文中针对人脸面部的五种表情进行了实验，得到了不同的识别率。传统的ＰＣＡ方法是对所有的训练样本进行处理，所以得到的特征含有各种表情特征，而类内实行ＰＣＡ方法则使同一种表情特征归为一类，因而与不同类之间的差距加大了，在类内的基础上再进行分块，运用改进后的ＰＣＡ方法，它获得的特征维数要大于ＰＣＡ方法得到的特征维数，其识别率也有了相应提高。实验过程中我们发现使用类内分块ＰＣＡ方法时对原始图像的不同划分方法对识别率也有影响。从本次实验数据可以看到，划分的子块多的相对来说识别率要高。如对原始图像划分成４Ｘ４＆［Ｊ１６块后的惊讶表情识别率达到了９２．３４％，而划分成２×２，ｆ１１］４块后识别率为８５．６２％。这是由于子块多的情况下，提取出的特征矩阵的维数要大于子块相对较少的特征矩阵维数，对表情的描述更加准确了，但其使用的时间也要明显多于传统ＰＣＡ方法和子块划分较少的情况。因此，考察不同分块数量对识别效果的影响，如何寻找最佳的分块方法来获得最高的识别率，以及分块的数量和识别率是否呈线形关系，有待于我们进一步的研究。此外，本文在识别阶段，平均的对待特征矩阵中的每个子图像块对应的特征向量。而考察人脸图像库，我们可以发现人脸不同的特征在识别过程中所起的作用是不相同的，比如眼睛、鼻子、嘴巴等部位由于富有纹理和结构特征，往往是鉴别表情的主要依据，相反，脸颊、额头，等部位由于相对平滑和缺少变化在识别中所起的作用并不大。因此，如果通过加强某些对识别起关键作用的特征，同时减弱某些与识别关系不大的特征，可能识别效果会更好，也是我们需要进一步研究的目标。浙江工业入学硕士学位论文第４章基于Ｇａｂｏｒ滤波＋２ＤＰＣＡ方法的表情识别４．１引言在上一章所使用的基于传统的ＰＣＡ方法处理人脸表情图像识别问题时，遵循一个共同的过程，即首先将图像矩阵转化为图像向量，然后以该图像向量作为原始特征进行线性鉴别分析。而ＰＣＡ对图像的对准要求较高，因为将二维图像转化为一维图像向量的过程中，若图像中人脸部分定位不好再加上个体差异，将不可避免地造成不同样本间对应位置上像素点的错位，例如各个样本中的鼻尖或者嘴角位置在一维图像向量中的位置可能相差很大，这将从某种程度上破坏样本之间的相关性，使得本来就不明显的局部细节特征更不明显，不利于降维处理，也就不利于特征的提取。实验过程中，我们对图像的预处理都是手工对齐方式，因此对图像特征的准确提取不利，而且我们也发现由于图像矢量的维数一般较高，如果不使用间接的方法会给随后的计算造成困难，所用的时间也较长。２００４年，Ｙａｎｇ和ｚｈａｎｇ［７４】等人提出了一种直接图像投影技术一二维主分量分析（２ＤＰＣＡ）来提取图像特征。相对于传统ＰＣＡ方法，二维主分量分析方法是基于二维图像矩阵的，而不是一维图像向量，也就是说，图像矩阵不需要事先转换成为一个高维向量，相当于去除图像的行向量或列向量的相关性。在２ＤＰＣＡ中，图像的协方差矩阵可以通过使用原始图像矩阵直接地构造出来。与使用ＰＣＡ构造的协方差矩阵相比，使用２ＤＰＣＡ构造的协方差矩阵的大小要小很多。因此２ＤＰＣＡ与ＰＣＡ相比有两个很主要的优势【７５，７６］：（１）很容易直接地计算出训练样本的协方差矩阵（２）计算本征特征向量所需要的时间比较少。正是基于２ＤＰＣＡ的以上优点，我们将它用于面部表情识别的计算，直接基于二维的表情图像进行处理，并在选取最佳投影向量时对它进行了改进。又由于Ｇａｂｏｒ滤波器具有能检测多尺度多方向的纹理变化，受光照、位置变换影响小等在特征提取方面的诸多优点，我们将两种方法结合起来，引入到本文的面部表情识别中来，也就是在使用２ＤＰＣＡ方法之前，先做Ｇａｂｏｒ滤波特征提取，然后在Ｇａｂｏｒ滤波的基础上用２ＤＰＣＡ方法降维选择最重要的Ｇａｂｏｒ特征，降低Ｇａｂｏｒ特征向量的维数，最后再进行分类识别。浙江工业大学硕士学位论文４．２Ｇａｂｏｒ滤波特征提取Ｇａｂｏｒ滤波器【７７，７８１目前在图像编码、手写数字识别、人脸识别和边缘检测等计算机视假设，（ｘ）是一个灰度图像，它的Ｇａｂｏｒ滤波变换定义如下【７９１：％（ｘ）＝妙－，（ｘ）木，（ｘ）（４－Ｉ）度分布，核函数∥．，（ｚ）是一个高斯包络函数所限定的平面波，定义如下：岍＝事唧ｃ簪）［（ｅｘｐ（ｉｋ矿唧ｃ一咖㈧２，通过对其在’，个对数空间频率（尺度）ｙ∈｛０，１，…，矿一１）和∥个方向∥∈（Ｏ，ｌ，…，∥一１｝Ｉ：ＩＲ驴瞄纠其中后ｖ２２。刮打，妒∥＝∥詈，∥表示采样的方向，＇，表示采样的尺度。盯为高斯函数的半径，浙江工业大学硕士学位论文规定了二维Ｇａｂ。ｒ，Ｊ、波的尺寸大小，盯和七Ｊ－起决定ＴＧａｕｓｓ窗的波长，这里取Ｏ＇＝ａ＇／２。４．２２特征提取本章仍然选取第三章３．３ｌ节预处理后的１００×１３０的标准纯表情图像为实验样本，分别进行Ｇａｂｏｒ滤波。通常情况下，可以采用多个方向多个尺度的Ｇａｂｏｒ滤波器组成的滤波器组来提取人脸表情图像的Ｇａｂｏｒ特征【枷。本文中我们可以选取五个尺度（ｖ＝０，１，２，３，４）八个方向（ｕ＝０，１．２，３，４，５，６，７）组成滤波器组对表情图像进行滤波，这样总共得到５ｘ８＝４０个滤波器。对于该滤波嚣组的每一个尺度的每一个方向，我们对输入的表情图像Ａ与（４．１）式做相应的卷积运算，得到它的Ｇａｂｏｒ滤波后的图像。每一个滤波器对应一幅图像，因此一幅表情图像经该滤波器组处理后变成４０幅滤波后的图像。如图４－１所示，为一副表情图像经４０个滤波器后的部分图像。蓄ｄ图４．１ａ。，啦０＼，豳■＆黜跚一１－。＼Ｇａｂｏｒ滤波前ＩＪ醚睦■豳敞鼢图４－１ｂ，＇世叠Ｇａｂｏｒ滤波后的部分结果由于Ｇａｂｏｒ滤波后图像向量的维数过高，如本文的样本图像１００×１３０经过４０次滤波后它的维数高达１００ｘ１３０ｘ４０＝５２００００维，运算量太大，为了初步降低空间的维数可以对滤波图像进行采样。采样有多种方法，本文我们采用将滤波得到的每幅图像对每一个方向每一个尺度，抽取该图像矩阵的奇数行和奇数列，那么一副１００ｘ１３０的图像变成５０ｘ６５，在此基础上再进行一次相同的采样过程，两次采样后图像降为２５ｘ３３。连接两次采样后的每一幅图像矩阵的所有行，得到扩展后的向量，我们将它记为。Ｆ’（维数２５＂３３ｘＩ），从而可得到一个图像Ａ经Ｃ＿，ａｂｏｒ滤波后的特征矩阵Ｂ：Ｂ＝［（Ｄ０．。）２，（ｏｏ，。）２…，（Ｄ４．，）７】这个特征矩阵Ｂ（维数８２５×４０）就是我们从一幅表情图像中提取出来以各后用的该表情图像的Ｇａｂｏｒ特征，也就是下面我们做２ＤＰＣＡ处理时的样本。Ｇａｂｏｒ滤波器为高斯包络函数所限制的正弦平面波，表现为一组平行的纹理特征。当围像的边缘特征的方向和二维滤波器纹理特征的方向一致的时候，二维小波变换有较强的浙江工业大学硕士学位论文响应。因此二维小波变换可以有效地提取图像的边缘特征。表情图像中表情的变化主要体现在眼睛、嘴角、眉毛等部位的变化，因此使用小波能够有效地提取出这些变化特征。由于小波变换是通过对图像进行卷积实现的，而卷积是对图像上给定区域范围内的像素灰度值进行乘积、累加的结果。因此，对图像进行变换得到的二维小波变换系数值不会像像素的灰度值那样随着位置的改变发生剧烈的变化，也就是说小波变换具有对位置不敏感的特性，经过Ｇａｂｏｒ滤波后的图像对表情的识别更加有效。Ｇａｂｏｒ滤波虽然具有对光照影响小、能检测多尺度多方向的纹理变化、对人脸对齐误差容忍性好等优点，但是滤波时间较长且维数高，以本文为例，每一幅图像滤波后产生４０幅图像，即使采样后总体维数还是比较高。因此，有必要进一步对滤波后的图像进行降维，去掉不重要和冗余得特征，从中选择出最有效的特征，降低维数以降低计算量和计算时间，我们对滤波后的图像采用２ＤＰＣＡ方法来进一步降维。４．３特征降维和提取４．３．１２ＤＰＣＡ算法原理２ＤＰＣＡ在本质上还是一种基于主分量的方法，同时也是一种非监督的学习方法ｔ６，７５’８¨。假设Ｘ表示一个ｎ维的列向量，２ＤＰＣＡ的思路是把一个大小为ｍ×ｎ的图像矩阵Ａ通过下面的线性变换投影到向量Ｘ上：Ｙ＝ＡＸ（４．３）由此可以得到一个ｍ维的投影列向量，称为图像Ａ的投影特征向量。关键是怎样得到一个好的投影向量ｘ，实际上，可利用投影样本的总体散布矩阵来衡量投影向量的鉴别能力。投影样本的总体散布矩阵可以用投影特征向量的协方差矩阵的迹来描述。从这种观点来看，可以采用下面的判定准则：，（Ｘ）＝ｔｒａｃｅ（Ｓ工）（４４）其中，量表示训练样本的投影特征向量的协方差矩阵，抛凹（最）表示￡的迹。而公式（４－４）即最大化准则公式要找的就是～个投影方向Ｘ，使得所有的样本投影到Ｘ上后投影样本的总体散布矩阵最大。因此，协方差矩阵墨可以表示如下所示：浙江工业大学硕十学位论文量＝Ｅ（】，～Ｅｙ）（】厂一Ｅ】，）７’＝研似一Ｅ（ａＸ）］［ａＸ—Ｅ（从）］ｒ＝Ｅ［（彳一Ｅ，４）Ｘ】［（彳一ＥＡ）Ｘ］ｒ所以得到：由此定义：（４－５）ｔｒａｃｅ（Ｓ工）＝ＸＴ［Ｅ（Ａ－ＥＡ）Ｔ（Ａ－ＥＡ）］Ｘ（４—６）（４·７）Ｇｆ＝研（彳一ＥＡ）７’（Ａ－ＥＡ）］Ｇｆ就是我们要找的图像协方差矩阵，也就是投影样本的总体散布矩阵，从上面ｑ的定义可以很容易的证明出ｑ是一个正定矩阵。Ｇｆ也可以由原始的训练图像矩阵直接计算出来，假设训练样本图像有Ｎ个，每个图像大小均为ｍｘＨ，那么Ｇｆ可以由下式计算出：Ｇｆ＝专芸ｃ和八和，㈤，其中Ａ为全体训练样本的均值，Ⅳ表示所有训练样本的总数。要找的最佳投影向量ｘ就是对应于ｑ的最大特征值的特征向量。但一般情况如果用一个最佳投影轴的话远远达不到要求，所以都会选取一组投影轴。通常需要选择满足正交条件和使判定准则Ｊ（Ｘ）取最大值的一组投影轴墨，五，…％，其中选取的投影个数ｄ＜，ｚ。如公式（４．９）所示：ｆ｛五，五，…，髟）＝ａｒｇｍａｘＪ（Ｘ）【Ｆ■＝０，ｉ≠／，ｉ，ｊ＝ｌ，２，…，ｄ（４－９）也就是说最佳投影轴墨，ｔ，…％就是，（ｘ）的前ｄ个最大特征值所对应的特征向量。若记Ｇｆ的特征值和特征向量分别为五（ｆ＝１，２，…，刀）和五（ｆ＝１，２，…，川，则投影个数ｄ的选取方法可以如第三章中的公式（３－４）所示，取方差贡献Ｆ（ｄ）＞ｏ．８。与传统ＰＣＡ方法不同的是，２ＤＰＣＡ方法得到的主元是由一个个向量构成，而ＰＣＡ的主元是由一个个的标量组成。对图像矩阵Ａ进行２ＤＰＣＡ处理，投影到由ｄ个基向量构成的子空间，由这ｄ个基向量为浙江：［业大学硕士学位论文列向量构成的最优投影矩阵记为Ｒ＝［墨，ｔ，…，■】，可以获得特征矩阵Ｙ∈Ｒ研砌：Ｚ＝４Ｒ㈣此时对图像矩阵Ａ实行特征提取后只是压缩了图像矩阵列向量的维数，即由ｎ降为ｄ，而行向量的维数保持不变。４．３．２双向２ＤＰＣＡ算法由于只是在列方向降低了维数，降维的效果不理想。为了更好的降维，Ｄ．Ｑ．ＺｈａｎｇａｎｄＺ．Ｈ．Ｚｈｏｕ．【７５，８１１提出了双向的二维主元分析方法，也就是分别从行列两个方向进行２ＤＰＣＡ处理。ｆＶＶＶ１对所有的训练样本进行公式（４—１０）变换后，得到新的训练样本集ｔ』ｌ，』２，…，ｊⅣＪ，其中Ｌ的维数为ｍ×ｄ，在新的训练样本集上再计算协方差矩阵：Ｇｆ’＝专善（誓一歹）（鬈一萝）ｒ（４．，。）其中ｙ表示所有新的训练样本的均值，此时重复前面的计算过程，依据方差贡献Ｆ（ｄ）求出ｑ的ｅ个最大特征值所对应的特征向量构成子空间，由这ｅ个基向量为列向量构成的行方向的最优投影矩阵记为三＝Ｍ，乞，…，乞】。至此，两个投影方向上的最优投影矩阵Ｌ和Ｒ都求得了，对图像矩阵Ａ进行变换：Ｚ＝∥ＡＲ可以对图像进行基于行列两个方向上二维主元分析的特征提取。４．３．３（４．１２）改进后的双向２ＤＰＣＡ算法由于２ＤＰＣＡ方法的本质与ＰＣＡ方法相同，它在选择特征时遵循的是最小均方差准则，也就是说它是在最小协方差意义下寻找最能代表原始数据的投影方向，它可以认为是最大限度的保留了人脸面部的信息量，它在选择特征向量即最佳投影轴时，是简单的按其特征值方差贡献的大小选取，即按特征值的大小递减排序，选取较大的特征值对应的特征向量。但这样提取的最佳表达特征，并不一定是最适合分类识别的判别特征。为了使得类间差异尽量大，类内差异尽量小，对此进行改进，提出一种根据训练样本中表情脸类内距离和表情脸类间距离比值的大小来选择特征向量的方法。一３６—浙江工业火学硕士学位论文设所有类别训练样本总数为Ｍ，类别为ｉ（ｉ＝ｌ，…，ｃ）的训练样本总数为州，，善Ｍ一，对公式（ｆ＝ｌ，对公式（计算得到的特征值工’’＝ｌ，２，…，刀）和特征向量一Ｖ和特征向量Ｘｉ（ｉ＝１，２，…，川。取第Ｋ个特征值对应的特征向量五，训练样本对其投影后的投影向量记为Ｗ‘∈Ｒ小”，对当前类别为ｉ（ｉ＝１，…，ｃ）的类内所有训练样本投影后的均值记为ｍｉｋ：肾上Ｎ／姘ｊ＝ｌ而对各类所有训练样本投影后的均值记为ｍＪ｜｝：七㈤３，％计算：ｌＩ，一Ｍｃ∑硝Ｍ∑芦％（４－１４）÷土Ｚ。７ｑｆ＝ｌ－－ｆｐ＝坼∑卢ｄ％％七、－、∑ｄ（ｍ舭％）ｉ－－－１（４－１５）其中ｄ（木）表示向量的欧式距离。得到的ｐ值越小，表示向第Ｋ个特征向量投影得到的投影向量类内距离与类ｆ日－］ｔＦ．离的比值越小，类间距离相对大，类内距离相对小，该特征向量的类别区分度越好。因此，我们可以计算每一个特征向量所对应的比值ｐ，按ＮＰ的大小对每一个特征向量进行排序，再选择与按贡献率Ｆ（ｄ）＞Ｏ·８选择时个数相同的几个较小的比值ｐ所对应的特征向量作为最佳投影矩阵Ｒ用做人脸表情的表示和识别，对矩阵三的求法与此相同。改进后的双向２ＤＰＣＡ方法具体步骤可以简述如下：（１）对所有的表情图像样本包括训练和测试，按４．２节方法进行Ｇａｂｏｒ滤波，得到所有滤波后的图像矩阵且＝［（Ｄｉｏ’０夕Ｔ，（。‘。，１）ｒ…，（。‘４，７）ｒ】（ｆ＿１，２，…，Ｍ）；一３７一浙江工业大学硕士学位论文（２）对滤波后的全部训练样本图像矩阵Ｅ求得样本均值Ｂ，按公式（４—８）计算训练样本的总体散布矩阵Ｇｆ；（３）计算出Ｇ，矩阵的特征值五Ｕ＝ｌ，２，…，以）及其对应的特征向量置（ｆ＝１，２，…，川，由公式（４．１５）计算所有特征向量的距离比值Ｐ，按顺序从小到大排序，选择前ｄ个较小比值Ｐ对应的特征向量构成特征抽取矩阵Ｒ＝［墨，置，…，蜀】；（４）对所有训练样本经过行方向的投影变换，由公式（４—７）计算得到新的训练样本集合｛Ｚ，Ｅ，…，％）和样本均值ｙ：（５）在（４）得到的新训练样本基础上计算新的总体散布矩阵Ｇｆ’，求出其所有的特征值及其对应的特征向量，与（３）相同由公式（４．１５）计算所有特征向量在新的训练样本基础上投影后的投影向量的类内和类间距离比值ｐ’，选择前ｅ个比值ｐ’小的特征向量构成特征抽取矩阵Ｌ＝【Ｚ１，ｆ２，…，ｌｅ】。至此，我们就得到了表情图像训练样本行列两个方向的特征提取矩阵；（６）看看是否所有的训练样本均已训练完，若是，则结束；否则，继续回到第（１）步开始，直至得到双向的特征提取矩阵。通过以上步骤的操作，我们就可以得到融合Ｇａｂｏｒ滤波以及改进后的双向２ＤＰＣＡ两种特征提取方法后的原始图像矩阵４对应的特征矩阵互：ｚｆ＝厶７尽Ｒ（江１，２，…，Ｍ）４．４Ｃ均值分类本章采用误差平方和准则上的Ｃ均值算法【７３】对提取到的特征进行分类。Ｃ均值算法是动态聚类方法的一种，它的基础是误差平方和准则。４．４．１误差平方和准则若Ⅳ‘是第ｉ聚类ｒｉ中的样本数目，川ｆ是这些样本的均值，即聊ｆ＝÷∑ｚ耽一瓦毫厶（４．１６）睁浙江工业大学硕士学位论文把ｒ，中的各样本Ｚ与均值朋ｆ间的误差平方和对所有类相加后为：厅纠卜枷（４一１７）／。是误差平方和聚类准则，它是样本集Ｓ和类别集Ｑ的函数。Ｊ。度量了用ｃ个聚类中心ｍ。，ｍ：…ｍ。代表ｃ个样本子集时所产生的总的误差平方和，对于不同类的聚类，Ｊ。的值当然是不同的，使极小的聚类是误差平方和准则下的最优结果。这种类型的聚类通常称为最小方差划分。为了要得到最优结果，首先要对样本集进行初始划分（分类），一般的方法是先选择一些代表点作为聚类的核心，然后把其余的点按某种方法分到各类中去。关于代表点的选择，常用的有以下几种方法：（１）凭经验选择代表点。（２）将全部数据随机地分成Ｃ类，计算每类重心。将这些重心作为每类的代表点。（３）“密度”法选择代表点。这里的“密度”是具有统计性质的样本密度。一种求法是，以每个样本为球心，用某个正数ｓ为半径作一个球形邻域，落在该球内的样本数则称为该点的“密度”。在计算了全部样本的“密度”后，首先选择“密度”最大的样本点作为第一个代表点。它对应样本分布的一个最高的峰值点。在选第二个代表点时，可以人为地规定一个数值ｇ＞０，在离开第一个代表点距离占以外选择次大“密度＂点作为第二个代表点，这样就可避免代表点可能集中在一起地问题。其余代表点地选择可以类似地进行。（４）用前Ｃ个样本点作为代表点。（５）从（Ｃ．１）聚类划分问题的解中产生Ｃ聚类划分问题的代表点。本章分类识别时将选用第（２）种方法，在进行分类时，我们不是将全部数据随机地分成Ｃ类，而是将全部训练样本按照它们所属的类别归为Ｃ类，并计算每类重心，将这些重心作为每类的代表点。这样，初始分类也已经完成。４．４．２Ｃ均值聚类算法对测试样本进行聚类，测试时先将每一类表情所有的训练样本投影到由改进后的２ＤＰＣＡ方法求得的双向特征抽取矩阵中，得到每一个训练样本在该特征子空间中的特征浙江工业大学硕士学位论文矩阵厶，我们称为投影矩阵。这类表情所有样本的投影矩阵就构成一个矩阵集合，有几类训练样本就得到几个这样的矩阵集合，这些集合中的每一个矩阵就看作Ｃ均值算法的一个初始样本（我们把它认为是已经知道类别的样本），再将当前待识别表情图像样本同样投影到双向投影空间，得到对应的矩阵，该矩阵便是ｃ均值算法的一个待归类的样本（或者叫点）。具体步骤如下：（１）将每类表情的全部训练样本投影到双向特征抽取矩阵，得到该类表情所有样本的特征矩阵集合，有Ｃ类表情，则总共有Ｃ个特征矩阵集合，这Ｃ个集合即为一个初始划分，每一个划分中有Ｎｊ个矩阵（该矩阵集合即为Ｃ均值聚类时待归类的一个样本）。计算每个集合的均值ｍ。．ｒａ：…ｍ。和／。；（２）选择一个待归类样本（测试样本）ｙ，设Ｙ现在在ｒ，中；（３）若Ⅳ；三１，则转（２），否则继续；（４）计算６｝＝ＩＹ－ｍｊｎ爿ｌＹ－ｍｊｎ爿（４．１８）（５）对于所有的ｊ，若万。≤万，（ｋ，ｊ：ｌ，２，…ｃ，且ｋ≠ｊ），则把Ｙ］ＡＩ－＂ｆ移到ｒ七中去；（６）重新计算朋，和ｍ。的值，并修改／。。（７）看看是否所有的待归类样本已归类完，若是，则停止；否则转到重复步骤（２）至步骤（６），直到所有的测试样本都已归好类。４．５实验结果及分析本章实验还是以日本女性表情数据库ＪＡＦＦＥ为样本，在Ｍａｔｌａｂ环境下进行仿真实验。对比三种不同的特征提取方法下的表情识别率：２ＤＰＣＡ方法，双向２ＤＰＣＡ方法，Ｇａｂｏｒ滤波＋改进的双向２ＤＰＣＡ。由于实验样本数较少，不足以得到识别率，所以采用下面的实验方法：每次选取每种表情的２０个样本共７×２０幅图像作为训练集，每种表情的１个样本共７×１幅图像作为测试集，经过２１次实验，所有样本均被测试一次，将实验结果累加求均值得识别率。浙江工业人学硕士学位论文表情图像的预处理方法采用与第三章３．３．１节相同的预处理方法，这里不再叙述，得到处理后的纯表情图像大小为１００ｘ１３０。使用２ＤＰＣＡ方法处理训练样本时，协方差矩阵的维数为１３０×１３０，可以得至１］１３０个特征值及其对应的特征向量，实验中按识别贡献率Ｆ（ｄ）＞Ｏ·８选取特征向量可以得到主元个数为８，也就是需要储存维数为ｌＯＯｘ８的特征矩阵。使用双向２ＤＰＣＡ方法提取特征时，在２ＤＰｃＡ处理后的训练样本的基础上再次计算新的协方差矩阵，此时的训练样本∈Ｒ１００熵，可以得至１］１００个特征值和特征向量，采用与前一步相同的处理方法可以得到选取的特征向量个数为６，那么特征矩阵维数为６×８。如表４．１所示，使用双晦］２ＤＰＣＡ方法后的平均识别率要高于２ＤＰＣＡ，而且所需的存储空间要小于２ＤＰＣＡ，但运算时间要略长（其中训练时间是指求协方差矩阵的特征向量并选出最优投影坐标轴所用的时间）。表４．１特征提取方法２ＤＰＣＡ２ＤＰＣＡ和双向２ＤＰＣＡ特征提取方法的实验结果比较训练时间１５．３３８ｓ１５．３３８ｓ１４．７６２ｓ协方差矩阵维数１３０×１３０１３０×１３０主元个数ｄ，维数８／１００×８８／１００×８平均识别率８３．１％双向２ＤＰＣＡ１００×１００６／６×８８５．６％使用Ｇａｂｏｒ滤波＋改进的双向２ＤＰＣＡ方法时先将所有的表情图像包括测试和训练样本进行滤波，对滤波后得到的扩展的Ｇａｂｏｒ特征矩阵Ｂ∈Ｒ８２５。４０用改进后的双向２ＤＰＣＡ进行特征提取，得到行列两个方向的特征值和对应的特征向量。在特征向量的选择时，我们对按大小排好序的特征值砸＝ｌ，２，…，刀）对应的特征向量计算距离比值ｐ作为选择的依据，如表４．２所示为列方向排好序的特征值对应的特征向量的比值Ｐ：表４．２按大小排序的特征值对应的特征向量比值ｐ第ｊ个特征向量ｉ＝ｌｉ＝２ｉ＝３ｉ＝４ｉ＝５比值ｐ第ｉ个特征向量３．５７ｌ２０．０００５．８８２４．５４５１３．８８１ｉ＝６ｉ＝７ｉ＝８ｉ－－９ｉ＝１０比值ｐ１０．１３３５．５４９１２．５０４１１．１１１１０．０２７浙江＿Ｔ业大学硕士学位论文巧衡坫ｍ５０ｌ３５７９１１１３１５１７１９２ｌ２３２５２７２９３ｌ图４．２按大小排序的前３２个特征向量对应的比值Ｐ比较由实验数据图４．２所示我们也可以看出，对应特征值越大的特征向量，其距离比值Ｐ并不一定越小，说明其类别可分离性并不都是越好。如表４．３所示为使用改进后的特征提取方法和按特征值大小排序选择特征向量的方法对各种不同表情的识别率。从表中我们可以看出，按Ｐ的大小选择特征向量时表情特征比较明显的表情，如喜悦的识别率从９３．５２％提高至１Ｊ９５．８１％，还有惊讶、生气等识别率相比原方法也有所提高，但模糊性较大的表情（如厌恶、恐惧）识别率则基本上差不多。从而也证明按比值Ｐ选择特征向量可以使得测试样本的类别可分离性更强的方法确实有效。表４．３Ｇａｂｏｒ＋改进的双向２ＤｐＣＡ按特征值和距离比值夕递增选择特征得到的各表情的识别率‘＼＼表臂＼喜悦惊讶生气厌恶恐惧悲伤中性方法＼＼按特征值递减９３．５２％９１－３７％８４．７２％８９．４７％８６．３６％８０．９４％９３．２１％按比值Ｐ递增９５．８１％９３．０２％８７．３５％８９．４７％８７．００％８０．５９％９４．７６％４．６本章小结本文在双向２ＤＰＣＡ方法的基础上进行改进，首先利用对人脸表情具有良好表征能力的Ｇａｂｏｒ滤波器对包括训练和测试样本进行滤波，得到每个样本的Ｇａｂｏｒ特征，再利用双向２ＤＰＣＡ方法对所有的特征矩阵进行选择降维，其中对传统双向２ＤＰＣＡ方法在选择最佳投影轴时按特征值大小排序再选取其对应的特征向量的方法实行了改进，先计算训练样一４２一浙江工业大学硕士学位论文本向各特征向量投影后得到的投影向量的类间与类内距离的比值ｐ，按Ｐ的大小递减排序，选取Ｐ值较小的特征向量作为最佳投影矩阵，最后用Ｃ均值方法进行分类识别。实验表明，这种方法的总体识别率比传统双向２ＤＰＣＡ方法有一定的提高。２ＤＰＣＡ算法具有与ＰＣＡ相当的降维能力，但避免了大矩阵的计算，所得协方差阵维数小并且所花费的计算时间少，但是使用双向２ＤＰＣＡ算法却引入了两个方向上选取特Ｅ，，，，，、征向量维数ｄ、ｅ的确定问题。如果不按贡献率ｒＬ＾，来选取特征向量个数，我们通过实验可以发现，特征向量个数选取与降维能力和正确识别率有一定的关系，当两个方向上特征向量选取的个数从ｌ到５０渐变，正确识别率也随之变化。大体趋势是特征向量维数越高，识别率越高，这与特征所包含的信息量多少是相符的，但是并非严格递增的。当维数高到一定程度识别率达到较大数目时，正确识别率趋于一个常数，但并非最高识别率。因此，如何找到最佳识别率下的特征向量维数有待进一步的研究。尽管Ｇａｂｏｒ滤波器具有对人脸对齐误差容忍性强的特点，但由于本文在图像的预处理阶段主要是采用手工对齐的方式，因此必然存在一定的误差，如果能实现自动地找到两个内眼角的精确坐标，并在此基础上精确对齐所有的表情图像，识别率可能会更佳。浙江工业大学硕士学位论文第５章总结与展望５．１总结面部表情识别是人机交互与信息处理领域中的一个重要课题，因其具有较强的应用潜力和学术价值，近年来越来越受到研究者的关注，成为研究的热点。本文的研究是建立在静态面部表情图像的基础上，以表情识别的难点和关键技术—特征提取为研究的出发点，讨论了两种不同的特征提取方法对表情识别率的影响。首先，本文在传统ＰＣＡ方法的基础上，提出了类内分块ＰＣＡ方法。该方法是在预先分好类的各类表情图像基础上单独进行处理，以增大类间样本之间的差异，得到构成每一类特征空间的主成份特征向量，在类内的基础上为提取出一些利于表情识别的对表情贡献较大的局部信息，对图像进行分块，并对划分后的所有大小相同的子图像块进行ＰＣＡ处理提取特征，避免了传统ＰＣＡ方法以整体图像为处理对象的不足，捕捉表情图像的局部信息特征，从而对表情的分类识别更加有利。实验表明，使用该方法的识别率比传统ＰＣＡ方法有所提高。此外，本文将融合Ｇａｂｏｒ滤波器和双向２ＤＰＣＡ的特征提取方法引入到表情识别中来，并对２ＤＰＣＡ方法进行了改进。使用该方法处理时，在Ｇａｂｏｒ滤波特征的基础上，采用改进后的２ＤＰＣＡ方法选择最佳投影向量，需要计算训练样本向该向量投影后中表情脸类内距离和表情脸类间距离比值的大小，以此比值的大小来选取相应的对分类更有利的投影向量，在行列两个方向分别进行特征的降维选择，得到最重要的Ｇａｂｏｒ特征。实验表明，使用该方法后总体的识别率要高于单独使用２ＤＰＣＡ方法的情况。５．２展望目前的人脸面部表情识别大多采用人脸识别的方法，然而表情识别有其特殊性，并不是所有人脸识别的方法都能在表情识别中取得很好的效果。因此，针对表情识别对纹路细节敏感的特点研究和探索更好地方法是非常有必要地。（１）本文对两种不同的特征提取方法进行研究发现，在算法的参数优化问题上，还有很多工作要做。如投影子空间维数的确定，对所有的线性投影方法来说都是一个开放性的问题，目前没有一个统一最优的选择标准。尽管实验中发现维数越高，相应的识别率也一４４—浙江工业入学硕士学位论文会较高，但我们并不能通过这种方法得到最优的参数线性投影方法，二者具体以多大步长呈现什么规律变化有待进一步研究分析，也是我们下一步需要研究的目标。（２）另外，本文所有实验用的图像预处理阶段都是手工处理的，费时较大，并且无法实时处理待识别的表情图像。同时，由于手工对齐和手工测量误差较大，识别精度会受到一定程度的影响。因此，设计一个能够实现自动的入脸表情图像预处理系统非常有必要，该系统能够精确地切割图像的选定区域，并能自动快速精确地对齐（精确到像素级）任意两幅或多幅人脸图像，尽量降低预处理阶段的误差，对后续表情图像的特征提取和识别更加有利。（３）此外，我们还需要寻找适合算法的最好分类器。我们知道，对于有着不同特点的数据进行分类，选择适合的分类器，可以很大程度的提高最终的识别率，因此找到适合我们的算法的分类器或者把多个分类器的输出信息联合起来进行决策，也是今后工作要做的内容。浙江工业大学硕士学位论文参考文献【１】张一鸣．人脸表情识别［Ｄ】．辽宁：大连理工大学硕士学位论文，２００６，１２．［２】刘芳．应用图像处理技术的人脸表情识别研究【Ｄ】．北京：北京科技大学硕士学位论文，２００３，０６【３】王志良，刘芳，王莉．基于计算机视觉的表情识别技术综述【Ｊ】．计算机工程，２００６—０６，３２（１１）：２３ｌ一２３３．【４】４ＧＩ．Ｎａｓｓ，Ｊ．Ｓ．ＳｔｅｕｅｒａｎｄＥ．Ｔａｕｂｅｒ，ＣｏｍｐｕｔｅｒｓａｒｅＳｏｃｉａｌＡｃｔｏｒｓ［Ｍ］．ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆＣＨＩ’９４（Ｂｏｓｔｏｎ，ＭＡ），１９９４，ＰＰ：７２—７８．【５】何良华，邹采荣，包永强，赵力．人脸面部表情识别的研究进展【Ｊ】．电路与系统学报２００５—２，１０（１）：７０—７５．【６】孙雯玉．人脸表情识别算法研究［Ｄ】．北京：北京交通大学硕士学位论文，２００６，１２．【７】Ｈ．Ｓｃｈｌｏｓｂｅｒｇ，Ｔｈｒｅｅｄｉｍｅｎｓｉｏｎｏｆｅｍｏｔｉｏｎ［Ｊ］．ＰｓｙｃｈｏｌｏｇｉｃａｌＲｅｖｉｅｗ，１９５４，６１：８１—８８．【８】Ｐ。Ｅｋｍａｎ，Ｗ．Ｆｒｉｅｎｓｅｎ，Ｆａｃｉａｌａｃｔｉｏｎｃｏｄｉｎｇｓｙｓｔｅｍ（ＦＡＣＳ）：Ｍａｎｕａｌ，ＰａｌｏＡｌｔｏ：ＣｏｎｓｕｌｔｉｎｇＰｓｙｃｈｏｌｏｇｉｓｔｓＰｒｅｓｓ，１９７８．【９】ＥｓｓａＩｒｆａｎＡ．Ｃｏｄｉｎｇ，Ａｎａｌｙｓｉｓ，Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ，ａｎｄｒｅｃｏｇｎｉｔｉｏｎｏｆＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｓ【Ｊ】．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，１９９７—０７，１９（７）：７５７．７６３．【ｌＯ】金辉，人脸面部表情编码、分析、识别的研究与实现［Ｄ】，黑龙江：哈尔滨工业大学博士学位论文，２０００：２５．３０．【１１】Ｗ．Ｆｒｉｅｎｓｅｎ，Ｐ．Ｅｋｍａｎ，ＥＮＭＦＡＣＳ－７：ＥｍｏｔｉｏｎａｌＦａｃｉａｌＡｃｔｉｏｎＣｏｄｉｎｇＳｙｓｔｅｍ，Ｕｎｐｕｂｌｉｓｈｅｄｍａｎｕｓｃｒｉｐｔ，ＵｎｉｖｅｒｓｉｔｙｏｆＣａｌｉｆｏｍｉａａｔＳａｎＦｒａｎｃｉｓｃｏ，１９８４．【１２】高文，金辉．面部表情图像的分析与识别【Ｊ】．计算机学报，１９９７—０９，２０（９）：７８２．７８９．【１３】ＹａｎｇＭ，ＫｒｉｅｇｍａｎＤＪ，ａｈｕｊａＮ．Ｄｅｔｅｃｔｉｎｇｆａｃｅｓｉｎｉｍａｇｅｓ：Ａｓｕｒｖｅｙ【Ｊ】－ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａａｅｍＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２００２，２４（１）：３４．５８．【１４】刘晓曼，谭华春，章毓晋．人脸表情识别研究的新进展［Ｊ】．中国图形图像学报，２００６—１０（１１）：１３５９．１３６６．【１５】Ｒ．Ｗ．Ｐｉｃａｒｄ．ＡｆｆｅｃｔｉｖｅＣｏｍｐｕｔｉｎｇ［Ｍ】．ＭＩＴＰｒｅｓｓ，Ｌｏｎｄｏｎ，Ｅｎｇｌａｎｄ，１９９７．【１６】ＣｏｏｔｅｓＴｉｍｏｔｈｙＦ，ＥｄｗａｒｄｓＧａｒｅｔｈＪ，ｅｔａ１．ＡｃｔｉｖｅＡｐｐｅａｒａｎｃｅＭｏｄｅｌｓ【Ｊ】．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓＯｉｌＰａＲｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ．２００１一，０６，２３（６）：８９．９６．【１７】余冰等．基于特征运动的表情人脸识别【Ｊ】．中国图形图像学报，２００２．１１，７（Ａ）（１１）．【１８】Ｋ．Ｍａｓｅ．ＲｅｃｏｇｎｉｔｉｏｎｏｆＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｆｒｏｍＯｐｆｉｃａｌＦｌｏｗ．ＩＥＩＣＥＴｒａｍ．Ｅ．１９９１。７４（１０）：３４７４—４８３【１９】ＳａｒｒｉｓＮｉｋｏｓ，ＭｉｃｈａｅｌＮｉｋｏｓＧｒａｍｍａｌｉｄｉｓ．ＧｅｒａｓｓｉｍｏｓＳｔｒｉｎｔｚｉｓＦＡＰＥｘｔｒａｃｔｉｏｎＵｓｉｎｇＴｈｒｅｅＤｉｍｅｎｓｉｏｎａｌＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ【Ｊ】．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，２００２—１０，１２（１０）：８６５．８７６．一４６—浙江工业大学硕士学位论文【２０】ＫＵＯＣｈｕｎｇＪ，ＨｕａｎｇＲｕｅｙＳｏｎｇ，ＬｉｎＴｓａｎｇＧａｎｇ．３－ＤＦａｃｉａｌＭｏｄａｌＥｓｔｉｍａｔｉｏｎＦｒｏｍＳｉｎｇｌｅＦｒｏｎｔ．ＶｉｅｗＦａｃｉａｌＩｍａｇｅ【Ｊ】．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，２００２－０３，１２（３）．［２１】ＬａｖａｇｅｔｔｏＦａｂｉｏ，ＰｏｃｋａｊａｔＲｏｂｅｒｔｏ．ＡｎＥｆｆｉｃｉｅｎｔＵｓｅＯｆＭＰＧＥ－４ＦＡＰＩｎｔｅｒｐｏｌａｔｉｏｎｆｏｒＦａｃｉａｌＡｎｉｍａｔｉｏｎＴｒａｎｓａｃｔｉｏｎｓｏｎ７０ｂｉｔｓ／Ｆｒａｍｅ【Ｊｌ，ＩＥＥＥＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，２００１·１０，ｌ１（１０）．【２２】虞露．ＭＰＥＧ＿４中脸部动画参数和序列重绘的肌肉模型【Ｊ】．中国图形图像学报，２００１—０１，６（Ａ）（１）．［２３】王奎武等．一个ＭＰＥＧ－４兼容的人脸动画系统【Ｊ】．计算机研究与发展，２００１－０５，３８（５）．【２４】ＣａｌｄｅｒＦａｃｉａｌＡｎｄｒｅｗＪ，ＢｕｒｔｏｎＡＭｉｋｅ，ＭｉｌｌｅｒＰａｕｌ，ＹｏｕｎｇＡｎｄｒｅｗＷ．ＡＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓｏｆＥｘｐｒｅｓｓｉｏｎｓ［Ｊ】．Ｖｉｓｉｏｎｒｅｓｅａｒｃｈ，２００１，４１：ｌ１７９—１２０８．【２５】ＢａｅｋＫｙｕｎｇｉｍ，ＤｒａｐｅｒＢｒｕｃｅＡ，ＢｅｖｅｒｉｄｇｅＪＲｏｓｓ，ＳｈｅＫａｉ．ＰＣＡＶＳ．ＩＣＡ：Ａｃｏｍｐａｒｉｓｏｎｏｎｔｈｅ【ＯＬＩ．ｈｔｔｐ：／１ｗｗ．ｄｏｄｃｏｕｎｔｅｒｄｒｕｇ．ｃｏｍ／ｆａｃｉａｋｅｃｏｇｎｉｔｉｏｎ／ＦＲＶＴ２０００／ｆｒｖｔ２０００。ｈｔｍ。【２６】陈刚，戚飞虎．实用人脸识别系统的本征脸法实现【Ｊ】．计算机研究与发展，２００１－０２，３８（２）．【２７】张林等．基于主元分析和ｌＦｕｚａｙＡＲＴ模型的人脸识别算法【Ｊ】．电路与系统学报，１９９９—０９，４（３）．［２８１赵力庄等．Ｅｉｇｅｎｆａｃｅ的变维分类方法及其在表情识别中的应用【Ｊ】．计算机学报，１９９９－０６，２２（８）．［２９１周杰，卢春雨，张长水，李衍达．人脸自动识别方法综述［Ｊ】．电子学报，２０００—０４，２８（４）．【３０】ＧｅｏｒｇｈｉａｄｅｓＡｔｈｉｎｏｄｏｒｏｓＳ，ｅｔａ１．ＦｒｏｍＦｅｗｔｏＭａｎｙ：ＩｌｌｕｍｉｎａｔｉｏｎＣｏｎｅＭｏｄｅｌｓｆｏｒＦａｃｅｓＲｅｃｏｇｎｉｔｉｏｎｕｎｄｅｒＶａｒｉａｂｌｅＬｉｇｈｔｉｎｇａｎｄＰｏｓｅ【Ｊ】．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＰＡＭＩ．，２００１－０６，２３（６）．ｉｎｔｈｅＤｙｎａｍｉｃＬｉｎｋ【３１】ＭａｒｔｉｎＬａｄｅｓ，ｅｔａ１．ＤｉｓｔｏｒｔｉｏｎＩｎｖａｒｉａｎｔｏｎＯｂｊｅｃｔＲｅｃｏｇｎｉｔｉｏｎＡｒｃｈｉｔｅｃｔｕｒｅ【Ｊ】．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｃｏｍｐｕｔｅｒｓ，１９９３—０３，４２（３）．【３２】ＧｉａｎｌｕｃａＤｏｎａｔｏ，ＭａｒｉａｎＳｔｅｗａｒｔＢａｒｔｌｅｔｔ，ＪｏｓｅｐｈＣ．Ｈａｇｅｒｅｔａ１．ＣｌａｓｓｉｆｙｉｎｇＦａｃｉａｌＡｃｔｉｏｎｓ．ＩＥＥＥＴｒａｎｓ．ＯｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，１９９９，２１（１０）：９７４－９８９．【３３】ＴｒｉｓｔｒｏｍＣｏｏｋｅ．ＴｗｏＶａｒｉａｔｉｏｎｓｏｎＦｉｓｈｅｒ’ｓＬｉｎｅａｒＤｉｓｃｒｉｍｉｎａｎｔｆｏｒＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＳｔｅｗａｒｔ，ＬａｄｅｓＨＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２００２；２４（２）：２６８－２７３．ｃｏｍｐｏｎｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ【３４］ＢａｒｔｌｅｔｔＭａｒｉａｎＭａｒｔｉｎ，ＳｅｊｎｏｗｓｋｉＴｅｒｒｅｎｃｅＪ．ＩｎｄｅｐｅｎｄｅｎｔｆｏｒｆａｃｅｒｅｃｏｇｎｉｔｉｏｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳＰＩＥＳｙｍｐｏｓｉｕｍａｎｄｏｎＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ【Ａ】．ＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ；ｃｏｎｆｅｒｅｎｃｅＪｏｓｅ，１９９８－０１．ｏｎＨｕｍａｎＶｉｓｉｏｎＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇｍ【Ｃ】．Ｃａｌｉｆｏｒｎｉａ：Ｓａｎ【３５】ＤｉｎｇＰｅｉｌｖ，ＫａｎｇＸｕｅｌｅｉ，Ｚｈａｎｇ１８４．Ｌｉｍｉｎｇ．ＰｅｒｓｏｎａｌＲｅｃｏｇｎｉｔｉｏｎＵｓｉｎｇＩＣＡ【Ａ】．ＩＣＯＮＩＰ２００１Ｐｒｏｃｅｅｄｉｎｇｓ【Ｃ】．２００１，３：ｌ１７９－ｌ【３６】ＨａｖｒａｎＣ，ｅｔａ１．ＩｎｄｅｐｅｎｄｅｎｔＣｏｍｐｏｎｅｎｔｉｎｔｅｌｌｉｇｅｎｔＡｎａｌｙｓｉｓｆｏｒｆａｃｅａｕｔｈｅｎｔｉｃａｔｉｏｎ【Ａ】．ＫＥＳ’２００２ｐｒｏｃｅｅｄｉｎｇｓ·Ｓｙｓｔｅｍｓ【Ｃ】．Ｃｒｅｍａ（Ｉｔａｔｙ），２００２－０９．ｋｎｏｗｌｅｄｇｅ－ｂａｓｅｄＩｎｆｏｒｍａｔｉｏｎａｎｄＥｎｇｉｎｅｅｒｉｎｇ一４７—浙江工业大学硕士学位论文１２０７一１２１１．ＦＳ．ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎＵｓｉｎｇＨｉｄｄｅｎＭａｒｋｏｖ【３７】ＳａｍａｒｉａＭｏｄｅｌｓ：（ＰｈＤＴｈｅｓｉｓ）．Ｃａｍｂｒｉｄｇｅ：ＣａｍｂｒｉｄｇｅＵｎｉｖｅｒｓｉｔｙ，１９９４．【３８】ＴａｋａｈｉｒｏＯｔｓｕｋａ，ＪｕｎＯｈｙａ．ＲｅｃｏｇｎｉｔｉｏｎｏｆＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｓＵｓｉｎｇＨＭＭｗｉｔｈＣｏｎｔｉｎｕｏｕｓＯｕｔｐｕｔＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＰｒｏｂａｂｉｌｉｔｉｅｓ［Ｊ］．Ｐｒｏｃ．Ｏｆ１９９６：３２３．３２８．ＷｏｒｋｓｈｏｐｏｎＲｏｂｏｔａｎｄＨｕｍａｎＣｏｍｍｕｎｉｃａｔｉｏｎ，【３９】Ｔ．Ｏｔｓｕｋａ，Ｊ．Ｏｈｙａ：ＳｐｏｔｔｉｎｇＨＭＭ．ＩＥＥＥ【４０】ＸｉａｏＳｅｇｍｅｎｔｓＤｉｓｐｌａｙｉｎｇＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｓｆｒｏｍＩｍａｇｅＳｅｑｕｅｎｃｅｓＵｓｉｎｇＰｒｏｃ．Ｉｎｔ’Ｃｏｎｆ．ｏｎＦＧ，Ｎａｒａ，Ｊａｐａｎ，１９９８：４４２－４４７．Ｘｕ，ＹａｎｇｓｈｅｎｇＷａｎｇ．Ｒｅａｌ—ｔｉｍｅＦａｉｃａｌＥｘｐｒｅｓｓｉｏｎＲｅｃｏｇｎｉｔｉｏｎＺｈｏｕ，ＸｉａｎｇｓｈｅｎｇＨｕａｎｇ，ＢｉｎｏｎＢａｓｅｄＢｏｏｓｔｅｄＥｍｂｅｄｄｅｎＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ．ＩＥＥＥｏｎＴｒａｎｓ．ＯｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＴｈｉｒｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＩｍａｇｅａｎｄＧｒａｐｈｉｃｓ，２００４．ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｏｎ［４１】Ｍｉｎｅｒｓ，Ｂ．Ｗ，Ｂａｓｋ，Ｏ．Ａ．ＤｙｎａｍｉｃｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｆｕｚｚｙｈｉｄｄｅｎＭａｒｋｏｖｍｏｄｅｌｓＳｙｓｔｅｍｓ．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓ，２００５：１４１７．１４２２．ｉｍａｇｅｓ【Ｊ】．ＩＥＥＥ【４２】ＬｙｏｎｓＭ，ＢｕｄｙｎｅｋＴｒａｎｓａｃｔｉｏｎｓｏｎＪ，ＡｋａｍａｓｔｕＳ．ＡｕｔｏｍａｔｉｃｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｓｉｎｇｌｅｆａｃｉａｌＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，１９９９，２１（１２）：１３５７．１３６２．Ｍａｔｃｈｉｎｇ【Ｊ】．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎ［４３】ＷｉｓｋｏｔｔＬａｕｒｅｎｚ，ｅｌａ１．ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎｂｙＥｌａｓｔｉｃＢｕｎｃｈＧｒａｐｈｐａｍｉ．，１９９７－０７，１９（７）．【４４】丁嵘，苏光大，林行刚．特征联合弹性匹配人脸识别算法的比较【Ｊ１．计算机工程与应用，２００２－０７．【４５】ＴｉａｎｉｎＹｉｎｇ—ｌｉ，ＫａｎａｄｅＴａｋｅｏ，ｅｔａ１．ＥｖａｌｕａｔｉｏｎｏｆＧａｂｏｒ－Ｗａｖｅｌｅｔ．ＢａｓｅｄＦａｃｉａｌＡｃｔｉｏｎＵｎｉｔＲｅｃｏｇｎｉｔｉｏｎＩｍａｇｅＳｅｑｕｅｎｃｅｓｏｆＩｎｃｒｅａｓｉｎｇＣｏｍｐｌｅｘｉｔｙ【Ａ】．ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｉｆｔｈＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌｏｎＣｏｎｆｅｒｅｎｃｅＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ［Ｃ】．２００２．Ｎｅｔｗｏｒｋｓｆｏｒ［４６】ＦｅｒｉｓＲｏｇｅｒｉｏＳ，ＧｅｍｍｅｌｌＪｉｍ，ＴｏｙａｍａＫｅｎｔａｒｏ，ＫｒｕｇｅｒＶｏｌｋｅｒ．ＨｉｅｒａｒｃｈｉｃａｌＷａｖｅｌｅｔＦａｃｉａｌＦｅａｔｕｒｅＬｏｃａｌｉｚａｔｉｏｎ【ＯＬ］．．ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｍｉｃｒｏｓｏｆｔ．ｃｏｒｎ／－ＪＧｅｍｍｅｌｌ／ｐｕｂｓ／ＦｅｒｉｓＦＧ２００２．ｐｄｆ．［４７】ＣｏｏｔｅｓＴＦ，ＥｄｗａｒｄｓＧＪ．Ａｃｔｉｖｅａｐｐｅａｒａｎｃｅｍｏｄｅｌｓ【ｈｉ．Ｉｎ：５ｔｈＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ［Ｃ】．１９９８Ａ８４－４９８．【４８】Ｍ．Ｊ．Ｌｙｏｎｓ，Ｊ．Ｂｕｄｙｎｅｋ，ａｎｄＳ．Ａｋａｍａｔｓｕ，ＡｕｔｏｍａｔｉｃＴｒａｎｓ．ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＣｌａｓｓｉｆｉｃａｔｉｏｎｏｆＳｉｎｇｌｅＦａｃｉａｌＩｍａｇｅｓ，ＩＥＥＥＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，ｖｏＩ．２１，ｎｏ．１２，ｌａＰ．１，３５７．１，３６２，１９９９【４９】余棉水，黎绍发，基于光流的动态人脸表情识别【Ｊ】，微电子学与计算机．，２００５年第２２卷第７期．【５ｌ∞张家树，陈辉，李德芳，罗小宾，夏小东，人脸表情自动识别技术研究发展【Ｊ１，西南交通大学学报．一４８—浙江工业大学硕士学位论文２００５年６月第４０卷第３期．【５１】ＰａｎｔｉｅＭ，Ｒｏｔｈｋｒａｎｔｚ［Ｊ】．ＩＥＥＥＬ．ＦａｃｉａｌａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｆｏｒｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎａｎａｌｙｓｉｓｆｒｏｍｓｔａｔｉｃｆａｃｅｉｍａｇｅｓｏｎＴｒａｎｓａｃｔｉｏｎｓＳｙｓｔｅｍｓ，ＭａｎａｎｄＣｙｂｅｍｅｔｉｃｓ２ＰａｒｔＢ，２００４，３４（３）：１４４９－１４６１．【５２】ＰａｎｔｉｃＭ，ＲｏｔｈｋｒａｎｔｚＬ．Ｅｘｐｅｒｔｓｙｓｔｅｍｆｏｒａｕｔｏｍａｔｉｃａｎａｌｙｓｉｓｏｆｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ［Ｊ］．ＩｍａｇｅＶｉｓｉｏｎＣｏｍｐｕｔｉｎｇ，２０００，１８（１１）：８８１—９０５．【５３】ＧｕｅｏｒｇｕｉｅｖａＮ，ＧｅｏｒｇｉｅｖＧ，ＶａｌｏｖａＩ．Ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｏｎｎｅｔｗｏｒｋｓ【Ａ】．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓＮＶ，ＵＳＡ，２００３：２８５－２９１．ｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ【Ｃ】，ＬａｓＶｅｇａｓ，【５４】ＭａＬ，ＫｈｏｒａｓａｎｉｋＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓＦａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｃｏｎｓｔｒｕｃｔｉｖｅｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋｓ【Ｊ】．ｏｎＳｙｓｔｅｍｓ，ＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓ，ＰａｒｔＢ，２００４，３４（３）：１５８８—１５９５．【５５］ＳｅｂｅＮ，ＣｏｈｅｎＩ，ＧａｒｇＡ，ｅｔａＩ．ＥｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇａＣａｕｃｈｙｎａｉｖｅＢａｙｅｓＣｌａｓｓｉｆｉｅｒ【刖．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆＩｎｔｅｒｎａｔｉｏｎａｌ１７．２０．ＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ【Ｃ】，ＱｕｅｂｅｃＣｉｔｙ，Ｃａｎａｄａ，２００２，ｌ：【５６】ＣｏｈｅｎｓｔａｔｉｃＩ，ＳｅｂｅＮ，ＧａｒｇＡ，ｅｌａＬＦａｃｉａｌｅｘｐｒｅｓｓｉｏｎＩｍａｇｅｒｅｃｏｇｎｉｔｉｏｎｆｒｏｍｖｉｄｅｏｓｅｑｕｅｎｃｅｓ：Ｔｅｍｐｏｒａｌａｎｄｍｏｄｅｌｉｎｇ【Ｊ】．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＵｎｄｅｒｓｔａｎｄｉｎｇ，２００３，９１（１２２）：１６０—１８７．ｂａｙｅｓｉａｎｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｓｆｏｒｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ．ｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ［５７】ＣｏｈｅｎＩ，ＳｅｂｅＮ，ＣｏｚｍａｎＦＧ，ｅｔａＬＬｅａｒｎｉｎｇｒｅｃｏｇｎｉｔｉｏｎｗｉｔｈｂｏｔｈｌａｂｅｌｅｄａｎｄＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎｕｎｌａｂｅｌｅｄｄａｍ［Ａ】．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓＲｅｃｏｇｎｉｔｉｏｎ［Ｃ】，Ｍａｄｉｓｏｎ，Ｗｉｓｃｏｎｓｉｎ，ＵＳＡ，２００３，ｌ：５９５－６０４．【５８】ＺｈａｎｇＹ，ＪｉＱ．Ａｃｔｉｖｅｓｅｑｕｅｎｃｅｓ【Ｊ】．ＩＥＥＥ【５９】ＫａｐｏｏｒＡ，ＱｉａｎｄｄｙｎａｍｉｃｉｎｆｏｒｍａｔｉｏｎｆｕｓｉｏｎｆｏｒｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｕｎｄｅｒｓｔａｎｄｉｎｇｆｒｏｍｉｍａｇｅｏｎＴｒａｎｓａｃｔｉｏｎｓＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２００５，２７（５）：６９９－７１４ｒｅｃｏｇｎｉｔｉｏｎ【Ａ】．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓＩＥＥＥＹ，ＰｉｃａｒｄＲＷ．ＦｕｌｌｙａｕｔｏｍａｔｉｃｕｐｐｅｒｆａｃｉａｌａｃｔｉｏｎＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐ１９５．２０２，ｏｎ．ＡｎａｌｙｓｉｓａｎｄＭｏｄｅｌｉｎｇｏｆＦａｃｅｓａｎｄＧｅｓｔｕｒｅｓ【Ｃ】，Ｎｉｃｅ，Ｆｒａｎｃｅ，２００３：【６０】ＢａｒｔｌｅｔｔＭｌｉｃａｔｉｏｎｔｏＳ，ＬｉｔｔｌｅｗｏｒｔＧ，ＦｒａｎｋＭ，ｅｔｓｐｏｎｔａｎｅｏｕｓａ１．Ｒｅｃｏｇｎｉｚｉｎｇｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ：ｍａｃｈｉｎｅｌｅａｒｎｉｎｇａｎｄａｐｐｏｆＩＥＥＥｂｅｈａｖｉｏｒ［Ａ］．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａＲｅｍＲｅｃｏｇｎｉｔｉｏｎ［Ｃ】，ＳａｎＤｉｅｇｏ，ＣＡ，ＵＳＡ，２００５，２：５６８·５７３．ａ１．Ｒｅａｌｔｉｍｅｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ【６１】ＷａｎｇＹ，ＡｉＨ，ＷｕＢ，ｅｔｏｆＩｎｔｅｒｎａｔｉｏｎａｌｒｅｃｏｇｎｉｔｉｏｎｗｉｔｈａｄａｂｏｏｓｔ【Ａ】．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ２００４，３：９２６．９２９．ｒｅｓｓｉｏｎＣｏｎｆｅｒｅｎｃｅｏｎＰａＲｅｍＲｅｃｏｇｎｉｔｉｏｎ［Ｃ】，Ｃａｍｂｒｉｄｇｅ，ＵＫ【６２】ＧｕｏＧＤ，ＤｙｅｒＣ１ＬＬｅａｒｎｉｎｇｆｒｏｍＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎｏｎｅｘａｍｐｌｅｓｉｎｔｈｅｓｍａｌｌｓａｍｐｌｅｃａｓｅ：ｆａｃｅｅｘｐｏｎｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ｉｎＣｏｍｐｕｔｅｒＳｙｓｔｅｍ，ＭａｎａｎｄＣｙｂｅｍｅｔｉｃｓ２ＰａｒｔＢ，ＳｐｅｃｉａｌＩｓｓｕｅＬｅｎｍｉｎｇＲｅｃｏｇｎｉｔｉｏｎ，２００５，３５（３）：４７７－４８８．Ｆ，ｅｔａ１．Ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ一４９—【６３】ＭｕｌｌｅｒＳ，ＷａｌｌｈｏｆｆＦ，ＨｕｌｓｋｅｎｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇＰｓｅｕｄｏ３２Ｄｈｉｄｄｅｎ浙江工业大学硕士学位论文Ｍａｒｋｏｖｍｏｄｅｌｓ［Ａ】．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＣｉｔｙ，Ｃａｎａｄａ，２００２，２：３２·３５．ＰａｔｔｅｍｏｎＲｅｃｏｇｎｉｔｉｏｎ【Ｃ】，Ｑｕ６ｂｅｃ（６４】ＹｅａｓｉｎＭ，ＢｕｌｌｏｔＢ，ＳｈａｒｍａＲ．Ｆｒｏｍｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｔｏｌｅｖｅｌｏｆｉｎｔｅｒｅｓｔ：ａｓｐａｔｉ０２ｔｅｍｐｏｒａｌａｐｐｒｏａｃｈｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ【Ａ】．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ［Ｃ】，Ｗａｓｈｉｎｇｔｏｎ，ＤＣ，ＵＳＡ，２００４，２：９２２—９２７．【６５】Ｔ．Ｋａｎａｄｅ，Ｊ．Ｆ．Ｃｏｈｎ，Ｙ．Ｔｉａｎ，Ｃｏｍｐｒｅｈｅｎｓｉｖｅｄａｔａｂａｓｅｆｏｒｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎａｎａｌｙｓｉｓ，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＦｏｕｒｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｆＦａｃｅａｎｄＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ，２０００，ＰＰ：４６－５３．【６６】ＳｈｉｇｅｒｕＡｋａｍａｔｓｕ，ＭｉｙｕｋｉＫａｍａｃｈｉ，ＪｉｒｏＧｙｏｂａ．ＣｏｄｉｎｇＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎｗｉｔｈｏｎＧａｂｏｒＷａｖｅｌｅｔｓＧｅｓｔｕｒｅＭｉｃｈａｅｌＪ．Ｌｙｏｎｓ．ＰｒｏｃｅｅｄｉｎｇｓｏｆＴｈｉｒｄＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅＡｕｔｏｍａｔｉｃＦａｃｅａｎｄＲｅｃｏｇｎｉｔｉｏｎ，Ｎａｒａ，Ｊａｐａｎ，１９９８：２００—２０５．【６７】金忠．人脸图像特征抽取与维数研究【Ｄ】，南京：南京理工大学，１９９９【６８】【６９１陈伏兵．人脸识别中鉴别特征抽取若干方法研究【Ｄ】．南京：南京理工大学，２００６ＴｕｒｋＭ，Ｐｅｎｔｌａｎｄ，Ａ．Ｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｕｓｉｎｇｅｉｇｅｎｆａｃｅｓ．Ｉｎ：ＰｒｏｃＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｏｒｇａｎｉｚａｔｉｏｎＣｏｎｆｅｒｅｎｃｅ，１９９１．５８６—５９１．【７０】陈伏兵，高秀梅，张生亮，杨静宇．基于分块ＰｃＡ的人脸识别方法【Ｊ】．小型微型计算机系统，２００６—１０，２７（１０）：１９４３．１９４７．【７ｌ】艾英山，张德贤．基于加权特征脸法的人脸识别．微计算机信息（Ｊ】．２００５年第２１卷第ｌＯ一３期：２００．２０２．【７２】邓洪波，金连文．一种基于局部Ｇ枇ｒ滤波器组＋ＰＣＡ＋ＬＤＡ的人脸表情识别方法【Ｊ】．中国图形图像学报。２００７：２（１２）：３２２．３２９．【７３】边肇祺，张学工．模式识别【Ｍ】．第二版．北京：清华大学出版社，２０００：１３６，２２３．２２７，２３５—２３７．【７４】Ｊ．Ｙａｎｇ，Ｄ．Ｚｈａｎｇ，Ａ．Ｆ．Ｆｒａｎｇｉ，Ｊ．Ｙ．Ｙａｎｇ，Ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌＰＣＡ：ａｎｅｗａｐｐｒｏａｃｈｔｏａｐｐｅａｒａｎｃｅ·ｂａｓｅｄｆａｃｅｒｅｐｒｅｓｅｎｔａｔｉｏｎａｎｄｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］，ＩＥＥＥＴｒａｎｓ．ＰＡＭＩ２６（１）（２００４）１３１—１３７．【７５】【７６】张正．直接基于二维图像的人脸识别技术研究【Ｄ】．黑龙江：哈尔滨工业大学硕士学位，２００６－６程剑，应自炉．一种基于Ｆｉｓｈｅｒ准则的二维主元分析表情识别方法【Ｊ】．五邑大学学报．２００６９７Ｙ］第２０卷第２期，４２－４６【７７】徐杰，施鹏飞．基：：ＪＺＯａｂｏｒｄｘ波特征的多姿态人脸图像识别【Ｊ】．计算机工程与应用，２００３：２１：１７－１８．【７８】ＢＳｃｈｉｅｌｅ，ＪＬＣｒｏｗｌｅｙ．Ｒｅｃｏｇｎｉｔｉｏｎｗｉｔｈｏｕｔｃｏｒｒｅｓｐｏｎｄｅｎｃｅｕｓｉｎｇｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌｒｅｃｅｐｔｉｖｅｆｉｅｌｄｈｉｓｔｏｇｒａｍｓ［Ｊ］．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．２０００：３６（１）：３１－５２．【７９】张向东，李波．基：ＦＯａｂｏｒｄ、波变换和ＰＣＡ的人脸识别方法【Ｊ】．电子科技，２００７：４：７２—７４．［８０】ＢｕｃｉｕｏｎＣＩ，ＰｉｔａｓＫＩ．ＩＣＡａｎｄＯａｂｏｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｆｏｒＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎＲｅｃｏｇｎｉｔｉｏｎ［Ｃ］．ｈａｔ．Ｃｏｎｆ．ＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，２００３：８５５—８５８．【８ｌ】赵华波．基于分块加权（２Ｄ）２ＰＣＡ的单样本人脸识别［Ｄ】．湖北：武汉理工大学硕士学位论文，２００８－４—５０—浙江工业大学硕士学位论文致谢本文是在导师胡同森教授和田贤忠副教授的悉心指导下完成的。在三年的学习生活中，我深深地感受到了导师的亲切关怀，从选题、开题到论文完成，导师渊博的知识、丰富的实践经验、严谨的治学态度和对科学的执着追求与敬业精神都是我学习的榜样。在此，谨向胡老师和田老师致以崇高的敬意和衷心的感谢。论文的撰写过程中还得到了实验室中各位老师、师兄、师姐和其他同学的热情帮助，感谢他们为本文的研究工作所付出的辛勤劳动。在此还要感谢我的家人，感谢他们为我所付出的艰辛劳动，感谢他们在我漫长的学业中不断地给予我的关怀、支持与希望。真诚感谢所有在我成长中给予我帮助的朋友们，祝他们学业有成，工作Ｊｌ顷．Ｎ，身体健康，生活幸福。浙江工业大学硕士学位论文攻读学位期间参加的科研项目和成果录用和发表的论文［１】龚婷，胡同森，田贤忠．基于类内分块ＰＣＡ方法的人脸表情识别．《机电工程》．已录用面部表情识别研究
作者：
学位授予单位：
龚婷
浙江工业大学
1.期刊论文 孙宁.冀贞海.邹采荣.赵力.SUN Ning.JI Zhen-hai.ZOU Cai-rong.ZHAO Li 基于2维偏最小二乘法的图像局部特征提取及其在面部表情识别中的应用 -中国图象图形学报2007,12(5)
为了更有效地提取图像的局部特征,提出了一种基于2维偏最小二乘法(two-dimensional partial least square,2DPLS)的图像局部特征提取方法,并将其应用于面部表情识别中.该方法首先利用局部二元模式(local binary pattern,LBP)算子提取一幅图像中所有子块的纹理特征,并将其组合成局部纹理特征矩阵.由于样本图像被转化为局部纹理特征矩阵,因此可将传统PLS方法推广为2DPLS方法,用来提取其中的判别信息.2DPLS方法通过对类成员关系矩阵的构造进行相应的修改,使其适应样本的矩阵形式,并能体现出人脸局部信息重要性的差异.同时,对于类成员关系协方差矩阵的奇异性问题,也推导出了其广义逆的解析解.基于JAFFE人脸表情库的实验结果表明,该方法不但可以有效地提取图像局部特征,并能取得良好的表情识别效果.
2.学位论文 张毅 基于Boosting算法的表情识别研究 2008
面部表情识别是人工智能领域的一个新兴的研究课题,研究目标是让计算机能够自动的识别出人的表情,进而分析人的情感。计算机自动面部表情识别能够进一步增强人机交互的友好性与智能性,因此具有非常重要的研究和应用价值。在分析了目前国际上面部表情识别算法的基础上,本文着重研究了基于Boosting算法的面部表情识别和几种特征提取和分类的方法,并进行了相关的测试。论文的主要内容如下：
1.从情感出发。简单的介绍了情绪理论的基础,介绍了表情识别的研究历史与现状。讨论了情感识别在国际与国内研究的状况,介绍了情感的基本理论和背景。并介绍了人脸表情识别的研究历史意义,简单介绍了表情识别库,并针对表情识别的难点、优势和不足做了简要的说明。
2.研究了人脸检测算法以及表情图像的预处理方法。主要使用Adaboost机器学习算法来进行表情识别,其核心意义在于通过对样本的训练可以将识别率较低的弱分离器变成强分类器,从而提高识别的准确率。本文对于Boosting算法做了着重的介绍,包括PAC学习模型,Boosting算法的背景历史以及算法的理论模型做了介绍。并着重介绍了Adaboost算法来历和其算法步骤。
3.在分析了多种特征提取的算法基础上,本文分别采用了基于积分图原理和基于主分量分析算法(PCA)和局部二元模式(LBP)原理的分类器作为
Adaboost算法的弱分类器进行表情识别,并使用人脸表情库对结果进行测试并对测试的结果进行分析。还将其结果同其他表情识别算法进行比较。可以得出结论基于上述三种算法为弱分类器的Adaboost算法进行表情识别可以取得比较良好的分类识别效果。
4.根据论文中研究的表情识别算法,开发了一个表情识别原形系统。该系统可以对输入图像进行实时判别,得出高兴、厌恶、悲伤、生气、惊讶、恐惧及中性共七种表情。
3.期刊论文 廖瑞华.李勇帆.刘琳.文海英.Liao Ruihua.Li Yongfan.Liu Lin.Wen Haiying 基于SIFT的远程在线教育情感识别研究 -计算机应用与软件2010,27(6)
针对现代远程在线教育实践领域中的情感缺失问题,提出了一种基于人脸表情识别的尺度不变特征转换SIFT(Scale Invariance Feature Transform)情感识别算法.SIFT情感识别算法以情感计算为理论基础,以人脸面部表情识别为核心技术,通过捕捉远程学习者的面部表情,进行SIFT特征提取,来识别远程学习者的表情,从而来帮助学习者在一定程度上补偿远程学习中缺失的情感.通过SIFT特征提取算法,建立了自动情感识别流程,并通过试验验证了基于SIFT特征提取算法的远程在线教育情感识别的效果是令人满意的.
4.学位论文 胡庆格 基于Gabor小波变换的人脸表情识别方法的研究 2007
情感计算是国际上近几年刚刚兴起的、试图使计算机（机器）能够像人类那样具有理解和表达情感能力的一个多学科交叉的新研究领域，在智能人机交互中起着重要的作用。
由于人的情感主要通过面部表情等来表达，近些年来面部表情分析引起了很多计算机视觉研究者的兴趣。同时，面部表情分析是一个人工智能、计算机视觉、图像处理、心理学、认知学等多学科交叉的研究领域，具有良好的应用前景。其研究对这些学科尤其是人工智能学科的研究有较大的推动作用。 面部表情识别是情感计算研究的一个重点和难点，正是因为表情识别是一个多学科交叉的研究课题，因此，仍然有很多相关问题需要解决。
面部表情识别分为人脸检测、特征提取和表情分类三部分。目前在这三方面科学家都进行了很多研究，但这三个方面尤其是特征提取和表情分类方面的问题仍未得到很好的解决。本文重点对这两个方面进行了研究。
目前在模式识别领域， Ga 小波变换得到了广泛的应用。本文对二维小波变换在表情识别领域的应用进行了研究。同时利用图像处理的有关知识实现了人脸面部表情的分析和识别。在图像预处理方面运用了图像处理的一些方法使得所有图片归一化到相同的位置、角度和大小为后续的特征提取做准备；在特征提取部分，先对图像做逐像素的二维小波变换，然后再提取局部关键区域的小波变换系数；在表情识别部分，利用欧氏距离公式计算相似度，在匹配识别时采用了一种模拟弹性图匹配的方法，允许模板有一定的微小的整体挪动。最后利用K-近邻算法作为分类器实现面部六种基本表情的识别。 最后，对本文工作进行了总结，提出了进一步的工作方向和思路。
5.学位论文 曹建强 基于统计方法的面部表情识别研究 2008
面部表情识别所要研究的是如何自动、可靠、高效地识别出人脸表情所传达的信息，并利用这些信息推测人的心理活动，为后续工作提供依据，其目的在于建立友好、人性化的人机交互界面，使计算机具备感知和理解人的情绪的能力。但到目前为止，要建立一个鲁棒的自动人脸表情识别系统还存在许多困难尚未解决。本文在总结前人研究成果的基础上，从模式识别和机器学习的角度出发，利用统计学的方法对面部表情识别进行研究。
本文工作的重点在人脸特征的精确定位、表情特征提取和表情分类三个方面。在人脸特征的精确定位上，本文提出了多种方法改进主动形状模型
(activeshapemodel，ASM)的性能，提高人脸特征定位的准确性和精确性。将局部二元模式(localbinarypattern，LBP)引入表情识别，以取得更好的表情特征提取结果。并将LBP与嵌入式隐马尔可夫模型(embeddedhiddenMarkovmodel，EHMM)结合，利用LBP抽取的表情特征训练EHMM表情模型，提出基于LBP-EHMM表情识别方法。使用Matlab和C++等工具完成特征提取和表情识别验证性实验。
本文首先对人脸特征的精确定位展开研究，重点放在对具有良好统计性能和泛化能力的主动形状模型的研究上。ASM用统计的方法建立人脸特征的形状模型和局部纹理模型，利用形状模型对人脸的形状进行约束，再通过对局部纹理模型的匹配将识别问题转化为一个最优化的问题。本文在传统的多尺度ASM基础上，提出了基于人眼、嘴角等特征信息的ASM搜索模型的初始定位方法和反复迭代的搜索策略，提高了ASM收敛的正确率。同时对局部纹理模型进行改进，提出加权子模型ASM和2D子模型ASM，大大增强了ASM收敛的精度。
基于隐马尔可夫模型(hiddenMarkovmodel，HMM)改进的嵌入式隐马尔科夫模型具有良好的二维结构描述能力，已在人脸识别中得到应用。本文利用EHMM对人脸表情进行表情建模和分类，实现了基于EHMM的表情识别方法。在此基础上，引入了局部二元模式。提出基于LBP-EHMM表情识别方法，通过LBP良好的局部纹理描述性能提取局部纹理表情特征，输入EHMM训练表情模型。在JAFFE人脸表情库的基础上进行EHMM和LBP-EHMM表情识别实验。实验结果验证了基于EHMM和LBP-EHMM表情识别的有效性。
6.期刊论文 韩金玉.尤奎军.HAN Jin-yu.YOU Kui-jun 基于双向二维加权主分量分析的面部表情识别 -哈尔滨商业大学学报（自然科学版）2010,26(3)
将二维主分量分析方法与加权的方法相结合,给出了一种双向二维加权主分量分析方法用于面部表情特征提取,该方法从水平和垂直两个方向对图像矩阵进行降维处理,大幅降低了所提取的特征数目;且考虑到面部不同部位包含不同的表情信息这一特点,对各个特征赋予不同的权重系数.经实验验证了该方法的有效性.
7.学位论文 姜璐 基于矩和主分量分析的面部表情识别方法研究 2004
在日常生活中,人类的智能不仅表现在正常的理性思维和逻辑推理能力上,也表现在正常的情感能力上.在自然化的人机交互过程中,计算机不能没有理解和表达情感的能力.计算机中,这种能力对促进计算机视觉系统建模和数据库的发展都有直接的作用;此外,在行为学中,计算机的这种能力能帮助人们研究和建立交流中的可信度.本文主要讨论了基于矩的面部表情识别,其内容包括离散对称变换在人脸图像特征定位中的应用、各种矩在面部表情识别中的应用比较、相应的分类器的设计以及基于主分量分析(Principal Component Analysis:PCA)的面部表情识别方法研究.首先,本文介绍了现今人脸检测课题的研究现状,并在广义对称变换的基础上,定义了一种离散对称变换DST(Discrete Symmetry Transform),用于人眼的精确定位.为后续表情识别的研究做了预处理工作.接下来,介绍了Hu矩、Zernike矩和小波矩不变量的基本定义和性质,并将其运用到基于全局信息的面部表情特征提取中.在我们的实验中,使用了三种常用的小波函数——三次B样条小波函数、Haar函数和Shannon函数,将其识别率与Zernike矩的识别率进行了比较,结果表明对于同一个人的面部表情识别,小波矩具有更好的识别效果.随后,我们给出了一组改进的Hu矩不变量,并基于局部的特征区提取了改进的Hu矩不变量、Zernike矩不变量和三次B样条矩不变量等特征,根据提取的特征,我们设计了用BP算法训练的前向网络.实验结果表明,B样条矩识别表情的能力比其他各种矩的识别能力要强.最后,我们将另外一种特征统计方法—主分量分析方法和BP神经网络结合,设计了基于PCA的面部表情识别系统,实验结果表明矩特征提取的方法,其识别率比PCA高.
8.期刊论文 程剑.应自炉.Cheng Jian.Ying Zilu 基于二维主分量分析的面部表情识别 -计算机工程与应用2006,42(5)
提出了一种直接基于图像矩阵的二维主分量分析(2DPCA)和多分类器联合的面部表情识别方法.首先利用2DPCA进行特征提取,然后用基于模糊积分的多分类器联合的方法对七种表情(生气、厌恶、恐惧、高兴、中性、悲伤、惊讶)进行识别.在JAFFE人脸表情静态图像库上进行实验,与传统主分量分析(PCA)相比,采用2DPCA进行特征提取,不仅识别率比较高,而且运算速度也有很大的提高.
9.学位论文 韩金玉 面部表情识别研究 2008
计算机面部表情识别是指利用计算机对人脸的表情信息进行特征提取分析，按照人的认识和思维方式加以归类和理解，结合人类所具有的情感信息方面的先验知识使计算机进行联想、思考及推理，进而从人脸信息中去分析理解人的情绪。由于表情识别有着广泛的应用前景，因而已逐渐成为当前人机交互、图像理解、模式识别、机器视觉等领域的研究热点之一。
本文首先阐述了面部表情识别的课题背景及意义、发展与研究现状，然后结合国内外相关领域的发展，从特征提取与模式分类两个方面对目前表情识别的主流方法做了详细介绍。
在探讨表情识别与人脸识别差异的基础上，为满足后续特征提取工作的需求，对样本图像进行了预处理。首先定位出眼睛的位置，以此为基准对图像进行旋转、裁剪和缩放等几何操作。对原有的裁剪规则进行改进，使其更适合于表情识别。
本文重点研究了基于主成分分析的表情识别方法，针对其存在的缺点，将双向二维主成分分析方法与加权的方法结合，给出了一种基于双向二维加权主成分分析的表情特征提取方法。与传统的主成分分析方法相比较，该方法计算复杂度低，大幅降低了所提取的特征数目，且充分利用了对识别起关键作用的表情信息。实验验证了其有效性。
10.学位论文 崔洁 面部表情识别方法研究 2006
本文探索一种新的人脸表情识别方法。在特征提取方面，利用局域二值模式(LBP)技术进行面部纹理特征提取，该特征较容易得到，而且能较好地描述人脸特征。在表情分类方面，采用由粗略到精确的表情分类方案。在粗略分类阶段，利用卡方值测量测试样本与各个表情模板间的差异，实现从七类表情分类到两类表情分类的粗略分类。在精确分类阶段，采用多模板对、加权卡方值和k阶近邻域分类器相结合的方法来实现最终的表情分类。本文方法首先用于灰度图像中人脸的表情识别。采用JAFFE数据库中由9个人表现的193幅表情图像验证该方法的有效性，平均识别率可达到77.5﹪，高于报道的采用相同数据库、相同数据库划分的其他方法。本文方法还用于彩色图像中人脸表情的全自动识别。实验结果验证了方法的有效性。
本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1529865.aspx
授权使用：西北农林科技大学(xaxbnlkjdx)，授权号：2ecf8d47-8127-4551-8848-9e5d00ff5a16
下载时间：2010年12月31日