基于Faster R-CNN的人脸面部情感识别方法

常规人脸面部情感识别方法不准确,存在识别后的情感反馈误差大的问题,为此提出基于更快的区域卷积神经网络（Faster Region-Convolutional Neural Network,Faster R-CNN）的人脸面部情感识别方法。首先,采集人脸图像数据,通过面部检测、面部对齐、面部数据增强、面部归一化4个步骤预处理面部图像;其次,基于多尺度特征融合算法提取表情特征,生成情感识别数据标签;最后,利用FasterR-CNN构建人脸面部情感识别模型,并识别人脸面部情感。实验结果表明,基于FasterR-CNN的人脸面部情感识别方法在6种基本表情中均具有90%以上的识别准确率。     

基于面部块运动历史直方图特征的视频表情自动识别

为了自动识别视频中的表情类别,提出基于面部块表情特征编码的视频表情识别方法。检测并精确定位视频中人脸关键点位置,之后以检测到的关键点为中心,提取面部显著特征块;对面部各特征块提取运动历史直方图动态特征描述子,这些描述子被当作表情特征输入Adaboost分类器进行训练和识别;最终预测视频表情类型。通过在国际通用表情数据库BU-4DFE的纹理图像上进行测试,取得了83.2%的平均识别率,充分证明了所提算法的有效性。跟同领域其他主流算法相比,所提算法具有很强的竞争性。     

基于无监督提取表情时空特征的情感识别

情感识别是解决智能教学系统中情感缺失问题的关键技术。针对识别时如何从视频中有效提取人脸表情时空特征的问题,提出一种采用堆叠卷积独立子空间分析模型进行无监督特征提取的识别方法,来对疑惑、愉快和厌倦3种学习中最常出现的情感进行识别。该方法检测视频中的人脸区域并进行规范化处理,采用堆叠卷积独立子空间分析模型从视频块中无监督地学习表情的时空特征,采用线性支持向量机进行分类。实验结果表明,相比使用人工特征的方法,该方法能够更有效地提取视频中人脸表情的时空特征,获得更高的识别率,同时符合实时性要求。     

基于方向直方图的手语识别方法研究

传统的手语识别方法基本都是利用离散的各帧静态图像进行识别,存在一定局限性,根据普通摄像头获得的视频图像,并采用方向直方图来获得单帧的静态特征矢量和各帧图像间的动态特征矢量.实现手语的识别.首先针对头两帧图像,通过手部边缘轮廓提取算法找到手的区域,然后从中提取出能表现手部形状的静态特征矢量.同时,对连续帧的图像做动作评估,获得手部移动的动态特征欠量.最后,将手部形状的静态特征与动态特征结合,采用使用欧氏距离作为矢量问匹配程度的度量算法以实现手语识别.实验对5个人的5种手语分别进行测试,均能正确识别,结果验证了该方法的有效性.     

基于特征流的面部表情运动分析及应用

面部表情的分析与识别,不但在社会生活中具有普遍意义,而且在计算机的情感计算方面也起着有重要作用.关于表情运动特征的分析,有根据人脸面部几何结构特征的变化来分析的,有根据特征脸的概念定义的"表情空间"来分析的,也有从特征点跟踪的方法或运动模板的角度来分析的.基于人脸面部物理-几何结构模型,提取面部表情特征区域,通过动态图像序列中的光流估计,计算其运动场,进而计算特征流向量,把一组图像序列的运动向量组成运动特征序列,对表情的运动进行分析.该系统作为一个智能体应用到多功能感知机中,作为视频通道输入的一部分来理解人类的体势语言信息.     

基于帧间差异的人脸篡改视频检测方法

近几年,随着计算机硬件设备的不断更新换代和深度学习技术的不断发展,新出现的多媒体篡改工具可以让人们更容易地对视频中的人脸进行篡改。使用这些新工具制作出的人脸篡改视频几乎无法被肉眼所察觉,因此我们急需有效的手段来对这些人脸篡改视频进行检测。目前流行的视频人脸篡改技术主要包括以自编码器为基础的Deepfake技术和以计算机图形学为基础的Face2face技术。我们注意到人脸篡改视频里人脸区域的帧间差异要明显大于未被篡改的视频中人脸区域的帧间差异,因此视频相邻帧中人脸图像的差异可以作为篡改检测的重要线索。在本文中,我们提出一种新的基于帧间差异的人脸篡改视频检测框架。我们首先使用一种基于传统手工设计特征的检测方法,即基于局部二值模式（Local binary pattern,LBP）/方向梯度直方图（Histogram of oriented gradient,HOG）特征的检测方法来验证该框架的有效性。然后,我们结合一种基于深度学习的检测方法,即基于孪生网络的检测方法进一步增强人脸图像特征表示来提升检测效果。在FaceForensics++数据集上,基于LBP/HOG特征的检测方法有较高的检测准确率,而基于孪生网络的方法可以达到更高的检测准确率,且该方法有较强的鲁棒性;在这里,鲁棒性指一种检测方法可以在三种不同情况下达到较高的检测准确率,这三种情况分别是：对视频相邻帧中人脸图像差异用两种不同方式进行表示、提取三种不同间隔的帧对来计算帧间差异以及训练集与测试集压缩率不同。     

逐次分块差分直方图对运动目标的提取

为从视频图像序列中准确且完整地提取运动目标,提出一种基于运动差分直方图的目标提取算法。通过对视频图像序列中两帧相邻图像以及它们的差分图像进行逐次分块,分析对应分块的差分直方图,利用背景区域块与目标区域块对应的差分直方图分布不同,逐步去除背景提取目标,有效避免提取的目标内部出现空洞,以块为单位的处理提高算法运行速度。通过数值实验验证了该算法具有较好检测性。     

基于Uniform LBP和DMMA的单样本人脸识别

在单样本人脸识别系统中,为了获得更好的人脸面部特征,提出了一种融合Uniform LBP特征和多流形判别分析（Discriminative Multi-Manifold Analysis,DMMA）的特征提取方法。对每幅人脸图像进行分块构成一个子集。使用统一局部二值模式（Uniform LBP）算子提取每个子集中图像的直方图,每个子集中的直方图形成一个统计流形,应用DMMA算法获得人脸图像的低维特征。采用基于重建的流形-流形间的距离识别未知的人脸图像。在AR数据库和ORL数据库上实验结果表明,该算法的识别性能优于一般的DMMA算法。     

结合差图像和Gabor小波的人脸表情识别

提出一种结合差图像和Gabor小波变换的人脸特征提取方法,并使用支持向量机SVM(Support Vector Machines)进行人脸表情识别。对包含情感信息的静态灰度图像进行预处理,将眼睛和嘴巴等表情子区域从人脸中切割出来,求出其差图像,然后提取差图像的Gabor特征,使用下采样降维减少特征向量的维数并进行归一化,最后使用SVM进行分类。与只从表情子区域提取Ga-bor特征的识别方法进行了比较,结果显示识别效果更好。     

采用Transformer网络的视频序列表情识别

目的 相比于静态人脸表情图像识别,视频序列中的各帧人脸表情强度差异较大,并且含有中性表情的帧数较多,然而现有模型无法为视频序列中每帧图像分配合适的权重。为了充分利用视频序列中的时空维度信息和不同帧图像对视频表情识别的作用力差异特点,本文提出一种基于Transformer的视频序列表情识别方法。方法首先,将一个视频序列分成含有固定帧数的短视频片段,并采用深度残差网络对视频片段中的每帧图像学习出高层次的人脸表情特征,从而生成一个固定维度的视频片段空间特征。然后,通过设计合适的长短时记忆网络(long short-term memory network,LSTM)和Transformer模型分别从该视频片段空间特征序列中进一步学习出高层次的时间维度特征和注意力特征,并进行级联输入到全连接层,从而输出该视频片段的表情分类分数值。最后,将一个视频所有片段的表情分类分数值进行最大池化,实现该视频的最终表情分类任务。结果 在公开的BAUM-1s(Bahcesehir University multimodal)和RML(Ryerson Multimedia Lab)视频情感数据集上的试验结果表明,该...     

Emotion Detection via Discriminant Laplacian Embedding

Human emotion detection is of substantial importance in a variety of pervasive applications in assistive environments. Because facial expressions provide a key mechanism for understanding and conveying emotion, automatic emotion detection through facial expression recognition has attracted increased attention in both scientific research and practical applications in recent years. Traditional facial expression recognition methods normally use only one type of facial expression data, either static data extracted from one single face image or motion-dependent data obtained from dynamic face image sequences, but seldom employ both. This work proposes to place the emotion detection problem under the framework of Discriminant Laplacian Embedding (DLE) to integrate these two types of facial expression data in a shared subspace, such that the advantages of both of them are exploited. Due to the reinforcement between the two types of facial features, the new data representation is more discriminative and easier to classify. Encouraging experimental results in empirical studies demonstrate the practical usage of the proposed DLE method for emotion detection.     

融合表情和BVP生理信号的双模态视频情感识别

目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息,本文提出一种基于面部表情和血容量脉冲（BVP）生理信号的双模态视频情感识别方法。方法 首先对视频进行预处理获取面部视频;然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征,并利用视频颜色放大技术获取BVP生理信号,进而提取生理信号情感特征;接着将两种特征分别送入BP分类器训练分类模型;最后利用模糊积分进行决策层融合,得出情感识别结果。结果 在实验室自建面部视频情感库上进行实验,表情单模态和生理信号单模态的平均识别率分别为80%和63.75%,而融合后的情感识别结果为83.33%,高于融合前单一模态的情感识别精度,说明了本文融合双模态进行情感识别的有效性。结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息,有效增强了视频情感的分类性能,与类似的视频情感识别算法对比实验验证了本文方法的优越性。另外,基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰,最终获得更优的识别精度。     

Facial expression recognition based on local region specific features and support vector machines

Facial expressions are one of the most powerful, natural and immediate means for human being to communicate their emotions and intensions. Recognition of facial expression has many applications including human-computer interaction, cognitive science, human emotion analysis, personality development etc. In this paper, we propose a new method for the recognition of facial expressions from single image frame that uses combination of appearance and geometric features with support vector machines classification. In general, appearance features for the recognition of facial expressions are computed by dividing face region into regular grid (holistic representation). But, in this paper we extracted region specific appearance features by dividing the whole face region into domain specific local regions. Geometric features are also extracted from corresponding domain specific regions. In addition, important local regions are determined by using incremental search approach which results in the reduction of feature dimension and improvement in recognition accuracy. The results of facial expressions recognition using features from domain specific regions are also compared with the results obtained using holistic representation. The performance of the proposed facial expression recognition system has been validated on publicly available extended Cohn-Kanade (CK+) facial expression data sets.     

信息熵加权的HOG特征提取算法研究

针对人脸图像中不同部位所含的信息熵不同,对识别的影响程度不同等因素,提出了一种信息熵加权的HOG特征提取方法。该算法将待识别的人脸图像进行分块,对分块后的图像进行HOG特征提取,计算每块图像所含的信息熵作为权重系数加到各个分块中形成新的HOG特征,通过PCA算法对特征进行降维,得到信息熵加权的HOG特征。通过在ORL和YALE实验结果表明,该算法相较于其他传统识别方法具有更高的识别精度和准确度,并且对于人脸在光照、姿态表情等干扰因素下均具有良好的有效性和鲁棒性。     

基于Shearlet变换和均匀局部二值模式特征的协作表示人脸识别算法

为了获得人脸图像中更丰富的纹理特征以提高人脸识别率,提出了一种基于Shearlet变换和均匀局部二值模式(ULBP)算子提取特征(Shearlet_ULBP特征)的协作表示方法--Shearlet_ULBP CRC用于人脸识别。首先,人脸图像通过Shearlet变换分解,得到多尺度多方向的幅值域图谱,再经过简单的平均融合,获得融合后的幅值域图谱;然后,通过ULBP算子结合分块的方法获得该Shearlet变换后融合图像的直方图特征;最后,结合协作表示的方法来分类所提取到的特征。该方法可以提取到图像更丰富的边缘以及纹理信息,在ORL、Extended Yale B和AR人脸数据库上进行测试,在图像无遮挡的情况下识别率都达到了99%以上,在有遮挡情况下也都达到了91%以上的识别率。实验结果表明,所提方法不仅对于光照、姿态和表情变化具备较强的鲁棒性,同时能在一定程度上处理人脸图像中存在遮挡的情形。     

人脸检测中眼睛精确定位的研究

人脸检测在许多应用中都是重要的一个处理阶段,例如人脸识别、电视会议、人机界面等。眼睛是一个在人脸检测中极为重要的人脸特征,因此一种快速可靠的精确定位眼睛的算法对许多实际的应用是十分重要的。该文提出了一种新颖的精确定位眼睛的方法,该方法由两部分组成:第一部分,通过人脸区域分割、五官定位、人脸确认三个步骤在复杂背景中进行人脸区域的检测;第二部分,在检测到人脸区域和眼睛大致位置的基础上,用一种新的椭圆检测算法精确定位眼睛虹膜的位置。实验证明该文所提出的算法是快速可靠的。     

A video prediction approach for animating single face image

Generating dynamic 2D image-based facial expressions is a challenging task for facial animation. Much research work focused on performance-driven facial animation from given videos or images of a target face, while animating a single face image driven by emotion labels is a less explored problem. In this work, we treat the task of animating single face image from emotion labels as a conditional video prediction problem, and propose a novel framework by combining factored conditional restricted boltzmann machines (FCRBM) and reconstruction contractive auto-encoder (RCAE). A modified RCAE with an associated efficient training strategy is used to extract low dimensional features and reconstruct face images. FCRBM is used as animator to predict facial expression sequence in the feature space given discrete emotion labels and a frontal neutral face image as input. Both quantitative and qualitative evaluations on two facial expression databases, and comparison to state-of-the-art showed the effectiveness of our proposed framework for animating frontal neutral face image from given emotion labels.

     

Emotion recognition from thermal infrared images using deep Boltzmann machine

Facial expression and emotion recognition from thermal infrared images has attracted more and more attentions in recent years. However, the features adopted in current work are either temperature statistical parameters extracted from the facial regions of interest or several hand-crafted features that are commonly used in visible spectrum. Till now there are no image features specially designed for thermal infrared images. In this paper, we propose using the deep Boltzmann machine to learn thermal features for emotion recognition from thermal infrared facial images. First, the face is located and normalized from the thermal infrared images. Then, a deep Boltzmann machine model composed of two layers is trained. The parameters of the deep Boltzmann machine model are further fine-tuned for emotion recognition after pre-training of feature learning. Comparative experimental results on the NVIE database demonstrate that our approach outperforms other approaches using temperature statistic features or hand-crafted features borrowed from visible domain. The learned features from the forehead, eye, and mouth are more effective for discriminating valence dimension of emotion than other facial areas. In addition, our study shows that adding unlabeled data from other database during training can also improve feature learning performance.     

人脸局部特征增强的亲属关系验证方法

亲属关系验证是人脸识别的一个重要分支,可以用于寻找失散亲人、搜寻走失儿童、构建家庭图谱、社交媒体分析等重要场景。父母和孩子的人脸图像之间往往存在较大的差异,如何从人脸中提取到有鉴别力的特征是提高亲属关系验证准确率的关键。因此,提出了一种基于深度学习和人脸局部特征增强的亲属关系验证方法,构建了人脸局部特征增强验证网络（Local Facial Feature Enhancement Verification Net,LFFEV Net）,获取用于亲属关系验证的具有强鉴别力的人脸特征表示。LFFEV Net由局部特征注意力网络和残差验证网络两部分组成。局部特征注意力网络提取人脸局部关键特征,将获取的局部关键特征和对应的原始图像一同输入到残差验证网络中获取更具鉴别力的人脸特征,将特征经过融合并结合Family ID信息进行亲属关系验证。算法在公开的亲属关系数据集KinFaceW-I和KinFaceW-II上进行测试,实验结果表明,所设计的方法在亲属关系验证任务中有较高的识别率。