基于三维特征点模型的人脸表情识别算法

提出了一种基于三维特征点模型匹配的人脸表情识别算法.首先,以混合树结构建模不同姿态脸部特征组合,实现特征点定位,并建立脸部三维几何特征模型;然后,基于广义普鲁克分析原理对特征点模型进行归一化计算,并建立具有鲁棒性的匹配特征;最后,采用支持向量机实现表情的训练和识别.通过对BU-3DFE数据库中6种脸部表情的测试,表明该算法能够达到很好的识别效果.     

基于HASM的口形特征点定位

针对口形特征点定位的准确性问题,提出一种基于HASM(hierarchical active shape model)的口形轮廓定位方法,采用不等步长、不等角度建模策略和口形聚类策略,构建局部纹理模型作为特征点搜索依据,并利用马氏距离选取最佳定位点.试验结果表明,HASM模型的口形特征点定位方法使内唇定位和闭口口形定位的准确率达到90%以上.     

一种基于肤色特征的人脸特征点定位方法

针对传统人脸特征点定位方法中存在的算法复杂、鲁棒性差以及精确度低等问题,本文提出一种基于肤色特征的人脸特征点自动定位方法.首先对预处理后的图像在多个色彩空间中利用肤色特征实现人脸区域的精确定位;然后,在人脸区域内根据各特征部位的特性构造色度模型函数来标定其特征区域;最后,在特征区域内完成人脸特征点的自动定位.实验结果表明,该算法简单、鲁棒性较高,且能够快速高效地实现人脸特征点定位.     

基于流形的约束局部模型拟合

为了将人脸形状向量集的流形结构嵌入到人脸定位模型中,以人脸定位参数模型中典型的约束局部模型为基础展开研究。结合局部坐标编码理论和稀疏约束,将基于流形结构的邻近形状向量集代替点分布模型中的非刚性形变集,实现了流形学习中的局部切空间排列方法与点分布模型的融合,从而得到了一个流形嵌入的约束局部模型。经过在模拟数据、有标注的人脸部件数据库和有标注的人脸数据库的试验验证,与基于线性重建的局部约束模型拟合相比,嵌入流形结构的约束局部模型具有更好的性能。     

基于特征融合的人脸表情识别算法研究

为了避免传统表情识别方法中复杂的特征手动提取过程,同时保证能够提取到更多的表情特征,文中提出一种融合卷积神经网络(Convolutional Neural Network,CNN)、方向梯度直方图(Histogram of Oriented Gradient,HOG)以及人脸关键点定位(facial landmark detection)的人脸表情识别方法.该方法首先通过在图像预处理中使用多任务卷积神经网络(Multi-task convolutional neural network,MTCNN)对不同尺度输入图像进行人脸检测并得到人脸的关键点位置信息(facial landmark).然后根据facial landmark的位置信息计算出人脸表情图像的几何结构特征,并且计算人脸表情图像局部区域的方向梯度直方图来构成HOG特征,采用特征融合的方式将facial landmark和HOG特征做进一步的融合形成新的特征向量LM_HOG.最后将融合后的特征与经过CNN提取的全局特征再次融合输入到支持向量机(Support Vector Machine,SVM)和Softmax中进行表情识别.在FER2013和Extended Cohn-Kanade(CK+)人脸表情库上的实验结果表明,将融合得到的LM_HOG特征作为局部特征,用以描述图像的局部性差异,CNN提取的特征作为全局特征,用以描述人脸表情图像的整体性差异,融合后的特征能更好的提取图像细节特征,平均识别率分别达到了75.14％和97.86％,具有优越的性能.     

人脸图像特征点眼睛的定位与提取

采用类间方差分析法对人脸图像进行二值化处理后，得到轮廓清晰连续的边缘图像，能较准确地对眼睛特征点进行定位与提取。     

自底向上的人脸特征点定位

针对人脸特征点定位的复杂性,提出了一种鲁棒的人脸特征点定位方法.该方法通过对497张不同年龄层次、不同性别、不同脸型的人脸进行训练学习,可以自动地对新输入的人脸图像进行识别和定位.与传统方法不同的是,该方法首先通过皮肤模型确定人脸的大致位置,然后采用自底向上的方法,利用主动外观模型（AAM）对特征明显的局部器官进行定位,再进一步定位器官组合,直至完成整张脸的器官定位.与传统方法相比,该方法不是局限于全局化的定位手段,而是通过逐层调整匹配精度的形式,使总体匹配精度得到提高.     

融合局部特征与深度学习的三维掌纹识别

为了探索三维掌纹在生物特征识别领域的应用,基于局部纹理特征和深度学习,提出一种有效的三维掌纹识别方法. 通过曲率特征、形状指数、表面类型分别来描述三维掌纹的局部几何特征,将其作为深度神经网络的输入,完成三维掌纹识别任务. 在香港理工大学的三维掌纹数据库上对不同的几何特征、不同的深度神经网络模型进行全面分析与比较. 三维掌纹识别实验结果表明,与其他三维掌纹识别方法相比较,所提方法的识别率更高,识别时间更短,在实时掌纹识别领域具有较大的应用潜力.     

人脸图像特征点的定位与提取方法的研究

对于复杂的人脸模式，脸部特征定位是人脸自动识别技术的关键.对人脸图像特征点的定位过程和提取算法进行了研究.通过对人脸图像进行增强与平滑等预处理，并生成清晰完整的二值化图像；利用灰度积分投影曲线确定人脸区域，以缩小定位范围；同时找到垂直方向上人脸特征的大致位置，以便进行下一步的特征提取工作；以粗定位为基准，按照适当的方法对眼、鼻、嘴的特征点依次准确提取.利用粗略与精确两步定位过程方法，在简化处理的同时，可准确提取正面人脸图像中的特征点.实践证明，该方法直观、可靠，具有良好的实用性.     

基于二维图像的人脸面部特征点定位与提取

提出了一种人脸面部特征点定位与提取的方法.利用该方法,在人脸预处理基础上,通过人脸分割、基于水平方向Prewitt算子模版的边缘检测和积分投影技术,可以快速有效地提取眼睛、鼻子和嘴巴等特征点信息.实验表明,该方法可以校正人脸倾斜并具有较高的准确率.     

基于级联网络和残差特征的人脸特征点定位

为进一步提高人脸特征点定位精度,探究当前广泛用于人脸关键点定位的全卷积神经网络（FCN）架构的原理和缺陷,讨论FCN核函数在特征点定位中引入的副作用,即训练和测试时评判准则不一致的问题. 理论分析该问题存在的可能性和普遍性,设计实验验证在实际场景下此问题存在的广泛性. 提出结合残差特征的沙漏网络结构并将其应用于人脸特征点检测;提出多级沙漏网络的级联结构,并将其与经典的栈式沙漏网络进行对比分析. 实验结果表明：二级级联结构获得了与四级栈式结构相当的特征点定位精度,大幅降低了模型参数量和时间复杂度. 所提方法在300-W数据库的困难子集上的平均归一化误差为6.84%,优于已有最好方法.     

基于Kinect信息融合的移动平台目标定位算法研究

针对场景的光照变化和遮挡、混响等因素对目标定位准确性和鲁棒性的影响,提出了一种基于Kinect音视频融合的目标定位方法.在获取场景的颜色、深度和声源定位信息后,首先利用获取的深度信息剔除背景信息,然后分别对颜色、深度和声源定位的模型计算似然函数,最后融合上述3种似然函数,并在粒子滤波框架下实现目标定位.实验结果表明,音视频信息融合的目标定位平均准确率达到90.7%,相比于同一场景下独立使用视频和音频定位的准确率分别提高了9.1%和16.9%.     

基于Gabor特征融合与LBP直方图的人脸表情特征提取方法

针对Gabor特征全局表征能力弱以及特征数据维数存在冗余的问题,提出了一种采用Gabor多方向特征融合与分块直方图相结合的方法以有效提取表情特征.通过对不同表情的重要特征部位进行细化,采用Gabor滤波器有针对性地提取相关区域的多尺度和多方向特征,并对同尺度的特征进行融合,利用各区域内融合特征的直方图分布来表征图像.该方法可以提高特征提取的准确性,有效突出重要特征的辨识作用,大幅度降低特征的维数,在JAFFE表情库可以达到100%的识别率.     

三维模型检索中的语义与形状异构特征融合

三维模型检索是多媒体信息检索领域的重要组成部分,由于"语义鸿沟"的存在使得当前基于内容的检索结果通常不十分令人满意。考虑到解决"语义鸿沟"的关键是将三维模型的底层形状特征与高层语义特征进行有效融合,为此提出一种三维模型的语义与形状异构特征融合方法,该方法将三维模型在基于内容的检索过程中用户反馈信息形成的语义关联作为模型的语义表达,并通过子空间学习方法将这种语义表达信息与模型的底层特征进行融合,最后将融合后的新特征应用于三维模型检索中。在Princeton shape benchmark上的测试表明,该方法的检索结果明显好于单纯形状特征的检索结果。