结合多注意力机制和中间帧序列的微表情识别

微表情是一种反映人真实情感的自发性面部变化。由于微表情变化微弱且持续时间短暂,传统的神经网络难以提取到类间差异极小的微表情特征。针对上述问题,提出了一种改进的ECANet34-DA网络,在残差网络的主干部分加入DA模块和不降维局部跨通道交互策略的高效通道注意力(Efficient Channel Attention, ECA),能够关注到更细微的表情变化。使用峰值帧附近序列组成中间帧序列作为输入图像,有效解决数据量有限问题。将宏表情数据集Fer2013的先验知识通过迁移学习应用到微表情识别。将ECANet34-DA网络模型在主流数据集CASME II,SMIC和SAMM上进行实验,使用留一人交叉验证方法表明此方法有效提高了识别精度,在CASME II数据集5类微表情识别中取得了85.44%的准确率和81.96%的未加权F1指数(UF1)。     

一种基于CNN与LSTM结合的微表情识别算法

微表情表现强度微弱且非常短暂。针对微表情识别效果不理想的问题,以视觉几何组(Visual Geometry Group,VGG)网络为基础,提出卷积神经网络(Convolutionnal Neural Network,CNN)与长短期记忆网络(Long Short-Term Memory,LSTM)结合的识别算法。CNN提取数据集CASME II的空域特征,LSTM处理时域特征,实现空域与时域特征的结合。针对深度学习训练困难以及过拟合问题,加入批量归一化算法与丢弃法,提高网络训练速度,有效防止过拟合。针对数据集稀缺的问题,固定每次读取帧序列的长度,随机生成起始帧的位置,不断循环读取以遍历整个数据集并达到数据扩增。根据实验结果,五类微表情(高兴、惊讶、厌恶、抑郁、其他)识别率最高可达72.3%。     

基于ME-Xception卷积神经网络的微表情识别

微表情（Micro Expression, ME）存在面部肌肉运动幅度小、数据集样本少的问题,这会导致神经网络在学习过程中难以捕获有效特征和提高识别精度,因此,本文提出了一种基于改进Mini-Xception卷积神经网络的微表情识别方法。首先,在预处理阶段根据余弦相似度计算得到放大倍数,对微表情进行自适应运动放大;接着改进Mini-Xception网络模型,具体操作为在输入层两侧添加投影层以重整输入特征,将通道注意力机制加入由深度可分离卷积层和批归一化层组成的循环模块中,以此来构建ME-Xception网络模型;最后,将ME-Xception网络模型用于微表情识别任务,在CASME Ⅱ、SAMM和SMIC数据集上进行实验,结果表明该方法有效提高了识别精度,与其他主流算法相比可以获得较好的识别性能。      

一种基于Radon变换的微表情识别算法

微表情是人们处在一些与平时生活环境不同的高强度环境下试图控制和掩饰的情感表现,也是一种不曾意识到的瞬时脸部表情,持续时间短,强度弱。为了提高其准确率,提出了基于Radon变换的微表情识别算法。首先,对数据库中的视频序列进行灰度归一化、尺寸归一化和二维主成分分析法(Two-dimensional Principal Component Analysis,2DPCA)降维预处理,使用光流法对降维后图像提取运动特征;然后使用Radon变换算法对光流图像进行处理,得到对应微表情的特征值和特征图像;最后使用支持向量机进行微表情分类识别。实验结果表明,使用Radon变换后得到的微表情特征图像得到了较好的识别效果,在微表情数据集CASME和CASMEⅡ上识别率分别为81. 48%和82. 17%,通过与选取的其他方法对比说明了该方法具有更好的识别性能。     

结合人脸关键点与光流特征的微表情识别

微表情能反映出人们试图隐藏的真实情感,光流法进行微表情识别时,存在易受光照变化影响而使特征提取不准确的缺陷。针对上述问题提出一种结合人脸关键点与光流特征的微表情识别方法,该方法通过引入人脸关键点分支以忽略光照的影响,弥补光流法的不足,重点关注人脸关键位置的变化,最终建立一个人脸关键点和光流的双输入网络模型。该模型在CASME II和SAMM数据集上使用留一法交叉验证进行了实验,在CASME II上四分类准确率和F1值分别为69.19%和66.24%,相比基准微表情识别方法本方法准确率和F1值分别提升了6.05%和5.44%;在SAMM数据集上也优于现有方法,说明该方法与其他主流算法相比具有更好的识别性能。     

一种基于3D-CNN的微表情识别算法

微表情是一种持续时间很短暂的面部表情。针对其识别率低的问题,提出了一种基于三维卷积神经网络（3D Convolutionnal Neural Network,3D-CNN）的微表情识别算法。使用Keras作为网络框架,在3D-VGG-Block(3Dimension Visual Geometry Group Block,3D-VGG-Block)的基础上加入批量归一化算法以及丢弃法,提升网络深度与训练速度的同时有效地防止过拟合;针对数据集稀少的问题,采取随机设置起始帧的位置,提前设定每次读取帧序列的长度,循环操作,在将所有数据均遍历的同时,达到数据增广的目的。该算法在CASME II数据集上的识别率最高达68.85%,在识别率上有一定优势。     

基于深度神经网络的微表情识别

微表情是一种极为短暂的面部表情,当人们想要掩饰内心的真实情感时,就会不自觉的流露出来。由于微表情的持续时间短,动作幅度小等特点,检测和识别微表情就变得尤为困难。为了解决传统图像识别的方法的识别率低和预处理复杂等缺点,本文提出了采用深度神经网络的方法来对微表情进行识别。该深度神经网络由卷积神经网络(CNN)和长短时记忆型(LSTM)递归神经网络组合而成,CNN层负责提取微表情的静态图像特征,LSTM层将提取到的卷积特征进行整合,而得到这些特征在时域上的信息,进而对这些信息进行分类训练。在CASM2数据集下,该方法对5类表情的识别率比传统方法高。     

基于MG-LTP与ELM的微表情识别

特征提取和表情分类是表情识别的关键技术。针对传统方法识别率低的缺点,首先,提出了一种基于平均灰度的局部三值模式(MG-LTP)新算法,用于提取表情特征;其次,使用极限学习机(ELM)作为分类器,用于特征分类;最后,将二者结合用于表情识别,并进一步应用于人脸微表情识别中。在JAFFE数据库及CASME人脸微表情数据库进行试验,与传统方法对比,取得了较好的效果。     

基于光流法与伪三维残差网络的微表情识别

微表情是一种动态变化的面部表情,具有复杂的时空特征,给其识别带来了极大的困难。本文提出一种基于光流法与伪三维残差网络（P3D ResNet）的微表情识别方法,通过光流法对微表情运动信息建模,为网络提供关键信息的同时丰富数据空间维度,采用伪三维残差网络进一步学习微表情的时间和空间特征。首先,将三个主流的微表情数据集进行融合,并对融合的数据集进行预处理;然后使用TVL1光流法提取表征微表情运动信息的光流特征序列,将得到的光流特征序列与微表情灰度图像序列进行通道连接,形成一个新的三通道微表情图像序列;最后将获得的微表情数据进行数据增强送入伪三维残差网络同时提取微表情的时空特征以实现微表情的识别。其中,P3D ResNet是在残差网络的框架中采用二维卷积滤波器提取微表情的空间特征,一维卷积滤波器提取微表情的时间特征来模拟三维卷积滤波器。在融合数据集上的实验表明,本文方法的性能相对基准方法有了显著的改进,UF1和UAR分别提高了14.71%、14.58%。本文提出的方法在融合数据集及三个独立数据集上的识别性能优于现有较先进的方法,从而证明了本文的微表情识别方法的先进性和鲁棒性。      

基于卷积神经网络的脱机单个手写汉字识别

本文在GoogLeNet网络基础上搭建了一个适合手写汉字识别的卷积神经网络.研究建立了新的手写汉字训练集,新训练集综合了现有的训练集并剔除了其中的错误,同时加入印刷体训练集,增加书写风格的多样性.训练神经网络时采用随机梯度下降算法,并加入动量项加速网络参数的收敛,使用正则项防止过度拟合,最终训练出的神经网络在训练集上的正确率为99.56％,在验证集上的正确率达到96％,并具有很好的泛化能力.