双模态及语义知识的三维人脸表情识别方法

目前,人脸表情识别的主要研究对象是二维图像,它所包含的信息有限,而且易受人脸姿态、光照等影响.其次,人脸表情识别方法大多是基于图像低层视觉特征,而人类对图像的理解是基于高层语义知识,这两者之间存在本质上的差异,即“语义鸿沟”.为此,在三维人脸表情图像和语义知识的基础上,创新地提出双模态及语义知识的三维人脸表情识别方法.该方法首先提出一种将三维的局部曲率和二维局部角点进行双模态融合的方法,自动提取准确的三维人脸表情低层视觉特征;然后,采用AHP和G1相结合计算高层语义知识向量;最后,采用K-NN算法将低层视觉特征和高层语义知识融合,缩小低层视觉特征和高层语义知识之间的“语义鸿沟”,提高人脸表情的识别率.     

多模深度卷积神经网络应用于视频表情识别

由于视频中的手工特征和主观情感之间的直接相关性很小,识别视频序列中的面部表情是一项很有挑战性的任务,为了克服这个缺陷,有效提高视频中的人脸表情识别性能。本方法采用两个深度卷积神经网络,即空间卷积神经网络和时间卷积神经网络,用于视频中的时空表情特征学习。其中,空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征,而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征。然后,将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合,输入到支持向量机实现视频中的人脸表情分类任务。在公共的RML和BAUM-1s视频情感数据集的测试结果表明,该方法分别取得了71.06%和52.18%的正确识别率,明显优于现有文献报导的结果。多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能。     

基于类内分块PCA方法的人脸表情识别

主成分分析方法（PCA）是目前广泛应用在人脸等图像识别领域的重要手段。为了更准确地识别人脸的表情信息,有效抽取出图像中对表情识别贡献较大的局部特征,提出了一种类内分块PCA方法对人脸表情进行特征提取。首先对图像进行分块,再对分块得到的所有子图像块利用PCA方法进行鉴别分析,并计算出各类训练样本的子空间,然后计算测试样本到各类子空间的距离,最后输入最近邻分类器得到分类结果。在JAFFE人脸表情库上进行的实验结果表明,使用该方法后获得的识别率优于传统的PCA方法。     

基于Gabor小波的2D人脸表情的合成

人脸图像合成是新一代人机交互中的重要技术。传统的三维模型加生理模型的方法可以生成真实的人脸表情图像,但计算复杂度很高。文章提出一种基于Gabor小波的用于人脸逼真表情图像合成的新方法,利用Gabor小波变换滤波器提取人脸表情图像特征,生成逼真表情图像。从实验结果来看该方法可以仅利用1张训练集内、外的人脸图像合成出该人在不同表情下逼真的脸部表情图像,同时可以合成库内的人在新表情下的表情图像。     

基于DVF与Gabor小波的人脸表情特征提取方法研究

目前,人脸表情的识别率普遍不高,这主要受制于缺少有效提取表情特征的特征提取方法及对表情特征进行有效数据分析的识别方法,而作为基础的表情特征提取方法至关重要。为了提升人脸表情的识别率,文中提出了一种新的人脸表情特征提取方法。该方法结合DVF及Gabor小波提取人脸表情特征信息,并通过欧式距离方法验证表情特征提取的有效性。实验结果表明,该方法能有效保证特征信息的有效性。     

基于二维Gabor变换和粒子群优化BP网络的人脸表情识别

研究了使用二维Gabor小波变换和DCT离散余弦变换实现人脸特征提取并使用BP神经网络进行表情分类识别的方法。首先,将人脸图像经过归一化预处理,然后经过二维Gabor变换生成不同尺度和方向下的特征向量,为了降低其维数,使用DCT离散余弦变换对其进行压缩,提取最终的表情特征向量。为了提高BP神经网络对表情的分类精度和减少训练时间,使用改进的粒子群算法PSO来优化BP神经网络的各权值和阀值。仿真结果表明:使用Gabor小波变换并经DCT进行压缩后得到的特征向量,在经过粒子群优化的BP神经网络进行训练后,能有效地实现对其进行分类,具有较其他方法较高的识别率。     

基于有监督的核局部线性嵌入的面部表情识别

流形学习方法可以有效的发现存在于高维图像空间的低维子流形并进行维数约简,近年来越来越受到生物特征识别和认知科学领域的研究者的重视。但是流形学习是一种非监督学习方法,其鉴别能力反而不如传统的维数约简方法,而且流形学习方法大多没有明晰的投影矩阵,很难直接对新样本进行维数约简。针对这两个问题,本文提出一种新的有监督的核局部线性嵌入算法(supervised kernel local linear embedding,SKLLE),并将算法应用于面部表情识别。该算法通过非线性核映射将人脸图像样本投影到高维核空间,然后将人脸图像局部流形的结构信息和样本的类别信息进行有效的结合进行维数约简,提取低维鉴别流形特征用于表情分类。SKLLE算法不仅能发现嵌入于高维人脸图像空间的低维表情子流形,而且增强了局部类间的联系,同时对新样本有较好的泛化性,实验结果表明该算法能有效的提高面部表情识别的性能。     

基于频谱脸和不变矩人脸识别新方法的研究

提出了基于频谱脸和不变矩的人脸识别方法。频谱脸是一种人脸的特征表达方式,可以有效地消除人脸表情变化、少许遮掩对人脸识别的影响。而不变矩是图像的一种统计特征,具有的平移不变性、旋转不变性和比例不变性,可以有效减少少许姿态和光照条件变化所带来的识别误差。因此首先对原始图像进行适当级数的小波变换及傅立叶变换得到人脸图像的频谱脸表达,然后利用频谱脸图像矩阵的不变矩作为识别特征,建立人脸识别模型。利用ORL人脸数据库进行仿真实验,结果表明,该方法识别率较高,识别速度较快,便于实时实现。     

一种仿生的人脸不变特征提取方法

为了提高基于子空间算法的人脸识别的识别率,提出一种仿生的人脸不变特征提取方法.通过模拟初级视皮层(V1)的信息处理机制,构建一个二层结构的分层网络提取人脸图像的不变特征.网络的第1层模拟Vl简单细胞的功能,通过稀疏编码方法学习获得一组类似Vl简单细胞的滤波器,利用该组滤波器提取图像的光照不变特征;第2层模拟V1复杂细胞的功能,通过局部极大值运算对第1层的输出在空间和尺度邻域内进行合并,得到对光照、表情、轻微姿态变化和面部局部细节变化具有鲁棒性的人脸不变特征.以此不变特征代替原始人脸图像作为子空间算法的输入,从而提高识别率.在FERET和ORL人脸库上的实验表明,相对于直接使用子空间算法,方法将识别率提高了4.95%～20.35%.     

基于Gabor特征和Adaboost的人脸表情识别

为了改善人脸表情的识别率,提高分类器的性能,通过提取人脸表情图像的Gabor特征,再结合Adaboost算法,从而进行人脸表情的识别（Facial expression recognition,FER）。利用Gabor滤波器是人脸表情特征提取的一个重要手段,Adaboost算法则将一系列的弱分类器组合,最终生成一个强分类器。对表情识别这个多类识别问题,采取1：1的办法来解决,总共产生k（k-1）/2（k为总类别数）个强分类器,将多个强分类器进行级联实现人脸表情的多类分类。实验结果表明,相对于其他识别方法如MVBoost算法等,这种方法的识别准确率有很大的提高。     

基于多尺度LBP特征的人脸描述与识别

为提高人脸识别的准确性和鲁棒性,提出了一种基于多尺度LBP特征的人脸描述与识别算法。先对原始人脸图像进行二级小波分解,并采用LBP算子分别计算两幅低频逼近图像的LBP特征谱,再将LBP特征谱划分为若干个互不重叠的特征区域,并分别进行直方图统计,最后将所有区域的LBP直方图序列连接起来得到多尺度LBP特征,将其作为人脸的鉴别特征用于分类识别。所提出算法在ORL人脸数据库上取得高达99%的人脸识别率。实验分析表明,多尺度LBP特征具有较强的人脸图像描述能力和可鉴别性,且对人脸表情及位置的变化具有较高的鲁棒性。     

高光谱遥感图像空谱联合分类方法研究

在遥感影像研究领域里,高光谱数据分类是一个热点问题。近年来,在这个问题上涌现出很多研究方法,然而,大多数方法都是用浅层的方法提取原始数据的特征。将深度学习的方法引入高光谱图像分类中,提出一种新的基于深信度网络(DBN)的特征提取方法和图像分类架构用于高光谱数据分析。将谱域-空域特征提取和分类器相结合提高分类精度。使用高光谱数据进行实验,结果表明该分类器优于当前的一些先进的分类方法。此外,本文还揭示了深度学习系统在高光谱图像分类研究中具有的巨大潜力。     

自组织LLE算法及其在人脸识别中的应用

流形学习方法可以有效的发现存在于高维图像空间的低维子流形并进行维数约简,近年来越来越受到生物特征识别和认知科学领域的研究者的重视。针对局部线性嵌入（Local linear embedding,简称LLE）流形学习算法存在的问题,本文提出了一种自组织LLE算法(Self-Organized LLE,简称SO-LLE),该算法不仅能自动确定数据点邻域选择、减少运算量,而且能有效的发现嵌入于高维人脸图像的低维子流形。本文对SO-LLE算法进行了详细的理论分析,并应用各种数据集进行了仿真实验和分析。在公开的人脸数据库上的仿真实验结果表明,该方法能有效的提高人脸识别的性能。     

模拟生物视觉机制的彩色人脸识别方法

为了充分利用彩色图像提供的信息提高人脸识别的性能,提出了一种模拟生物视觉机制的彩色人脸识别方法。该方法首先构造一种模拟人类的色彩感知机制的对立色模型,将彩色人脸图像描述为对立色形式。然后,模拟初级视皮层的信息处理机制,从图像对立色描述的亮度分量和色度分量分别提取人脸的纹理特征和色彩特征。最后,分别对纹理特征和色彩特征进行分类识别,并将二者的识别相似度融合得到最终的人脸识别结果。该方法利用对立色模型提高了色彩特征对光照变化的鲁棒性,并且综合利用彩色图像的色彩和纹理信息提高了人脸识别的精度,特别是对模糊图像的识别精度。在彩色FERET人脸库和AR人脸库上的实验表明,相对于直接对灰度图像进行识别的方法,该方法对清晰图像的识别率提高了4.5%～16.3%,而对模糊图像的识别率提升更加显著。     

基于Haar分类器和AAM算法的人脸基准点定位

人脸基准点定位可应用于人脸识别、疲劳检测等领域。针对人脸基准点定位中常用的主动表观模型(AAM)的局限性,提出了Haar分类器和AAM算法相结合的人脸基准点定位方法。先是计算图像积分图,然后采用基于Haar特征的AdaBoost级联检测器快速定位出人脸区域,最后将检测到的位置和图像信息传递给AAM进行人脸基准点定位。该方法在抽取的AFLW(annotated facial landmarks in the wild)人脸测试集上表现出良好的性能。实验结果表明,采用该方法能准确、快速定位出人脸基准点。     

基于迁移学习的VGG-16网络芯片图像分类

针对芯片图像分类过程中图像数量过少、需要大量人工标注以及效率低的问题,提出一种基于迁移学习的VGG-16网络芯片图像分类方法。该方法通过VGG-16网络直接从原始像素中自动学习图像特征,有效减少人工标注的成本,同时对比了VGG-16网络模型和基于迁移学习的VGG-16网络模型的准确率及其混淆矩阵。实验结果表明,所提出的基于迁移学习的VGG-16网络模型对芯片图像分类效果要优于原VGG-16网络模型。     

Infrared and Visible Images Fusion with Multi-visual Cues

Image fusion is an important technique which combines the original information from multiple input images into a single composite image. The fused images will be more beneficial to human visual perception or further computer processing tasks than any individual input. Most of the traditional infrared and visible fusion approaches perform the fusion on the assumption that the original information is measured by local saliency features such as contrast or gradient. There is little consideration of the “interesting” or “useful” information in global. In this paper, an infrared and visible image fusion method is proposed by considering the final aim of image fusion, the human visual perception and further image processing tasks. The fusion is implemented under the non-subsampled contourlet transform based image fusion framework. The low frequency sub-band coefficients which represent the intensity of the scene are fused with the weight map which is constructed by considering both visual saliency uniqueness and task-oriented objectness, and refined by spatial consistency with guide filter. The new fusion strategy ensures that the objects being “interesting” or “useful” are preserved in the fused image. Sixteen pairs of infrared and visual images are used to test the validation of the proposed method. The experimental results show obvious improvement of the proposed method in terms of both objective and subjective quality measurements corresponding to other methods.     

基于小波变换和核主成分分析的人脸识别算法

人脸识别是当前模式识别和图像处理领域的研究热点。属于生物鉴别技术的一部分。一个完整的人脸识别系统主要由以下几个基本环节构成：图像预处理、人脸检测与定位、特征提取分类识别。本文主要针对图像的特征提取分类识别环节进行分析和试验：首先应用哈尔小波变换初步提取人脸图像的特征;再对小波系数运用核主成分分析进行最终的人脸特征提取。     

基于小波与双三次插值的高温锻件红外图像增强方法

提出了一种基于小波变换和双三次插值的图像处理方法,该方法利用离散小波将原图像分解成低频子带与高频子带,然后对原图像及这些子带分别进行双三次插值,同时提出增加一个中间步骤来估算高频子带,即扣除原低分辨率图像和插值后的LL子带中的相同成分而得到不同成分的图像（高频成分）,然后利用不同成分的图像对高频子带LH、HL及HH分别进行校正融合,并通过小波逆变换对这些图像进行融合重构。该方法不仅能够有效地消除图像噪声,改善细节信息,而且能够最大限度地保留边缘信息和增加图像的清晰度。最后运用该方法和传统算法分别对核电主管道高温锻件和小型高温锻件的红外图像进行增强处理,实验结果验证了该方法的可行性及优越性。