结合多注意力机制和中间帧序列的微表情识别

微表情是一种反映人真实情感的自发性面部变化。由于微表情变化微弱且持续时间短暂,传统的神经网络难以提取到类间差异极小的微表情特征。针对上述问题,提出了一种改进的ECANet34-DA网络,在残差网络的主干部分加入DA模块和不降维局部跨通道交互策略的高效通道注意力(Efficient Channel Attention, ECA),能够关注到更细微的表情变化。使用峰值帧附近序列组成中间帧序列作为输入图像,有效解决数据量有限问题。将宏表情数据集Fer2013的先验知识通过迁移学习应用到微表情识别。将ECANet34-DA网络模型在主流数据集CASME II,SMIC和SAMM上进行实验,使用留一人交叉验证方法表明此方法有效提高了识别精度,在CASME II数据集5类微表情识别中取得了85.44%的准确率和81.96%的未加权F1指数(UF1)。     

一种基于Radon变换的微表情识别算法

微表情是人们处在一些与平时生活环境不同的高强度环境下试图控制和掩饰的情感表现,也是一种不曾意识到的瞬时脸部表情,持续时间短,强度弱。为了提高其准确率,提出了基于Radon变换的微表情识别算法。首先,对数据库中的视频序列进行灰度归一化、尺寸归一化和二维主成分分析法(Two-dimensional Principal Component Analysis,2DPCA)降维预处理,使用光流法对降维后图像提取运动特征;然后使用Radon变换算法对光流图像进行处理,得到对应微表情的特征值和特征图像;最后使用支持向量机进行微表情分类识别。实验结果表明,使用Radon变换后得到的微表情特征图像得到了较好的识别效果,在微表情数据集CASME和CASMEⅡ上识别率分别为81. 48%和82. 17%,通过与选取的其他方法对比说明了该方法具有更好的识别性能。     

基于ME-Xception卷积神经网络的微表情识别

微表情（Micro Expression, ME）存在面部肌肉运动幅度小、数据集样本少的问题,这会导致神经网络在学习过程中难以捕获有效特征和提高识别精度,因此,本文提出了一种基于改进Mini-Xception卷积神经网络的微表情识别方法。首先,在预处理阶段根据余弦相似度计算得到放大倍数,对微表情进行自适应运动放大;接着改进Mini-Xception网络模型,具体操作为在输入层两侧添加投影层以重整输入特征,将通道注意力机制加入由深度可分离卷积层和批归一化层组成的循环模块中,以此来构建ME-Xception网络模型;最后,将ME-Xception网络模型用于微表情识别任务,在CASME Ⅱ、SAMM和SMIC数据集上进行实验,结果表明该方法有效提高了识别精度,与其他主流算法相比可以获得较好的识别性能。      

基于光流法与伪三维残差网络的微表情识别

微表情是一种动态变化的面部表情,具有复杂的时空特征,给其识别带来了极大的困难。本文提出一种基于光流法与伪三维残差网络（P3D ResNet）的微表情识别方法,通过光流法对微表情运动信息建模,为网络提供关键信息的同时丰富数据空间维度,采用伪三维残差网络进一步学习微表情的时间和空间特征。首先,将三个主流的微表情数据集进行融合,并对融合的数据集进行预处理;然后使用TVL1光流法提取表征微表情运动信息的光流特征序列,将得到的光流特征序列与微表情灰度图像序列进行通道连接,形成一个新的三通道微表情图像序列;最后将获得的微表情数据进行数据增强送入伪三维残差网络同时提取微表情的时空特征以实现微表情的识别。其中,P3D ResNet是在残差网络的框架中采用二维卷积滤波器提取微表情的空间特征,一维卷积滤波器提取微表情的时间特征来模拟三维卷积滤波器。在融合数据集上的实验表明,本文方法的性能相对基准方法有了显著的改进,UF1和UAR分别提高了14.71%、14.58%。本文提出的方法在融合数据集及三个独立数据集上的识别性能优于现有较先进的方法,从而证明了本文的微表情识别方法的先进性和鲁棒性。      

基于深度学习的人脸微表情识别

与一般的面部表情相比,微表情的持续时间更短,对其检测和识别是一种巨大的挑战.利用传统的图像识别方法进行微表情识别不仅准确率低,预处理也更复杂.为了开发可靠的神经网络,需要大量的训练集以及大量的标记图像样本.本文基于CASME和CASMEⅡ数据集训练改进的卷积神经网络模型,将特征提取和分类识别结合在一起,充分提取微表情的...     

基于视频放大和双分支网络的微表情识别

微表情是指当人们想要隐藏其真实情绪时,所自发产生的表情,持续时间在1/5 s之内,其面部肌肉运动短暂、幅度微小,有限的数据集使得特征提取变得困难,给其识别带来巨大的挑战。针对这些问题,本文提出一种基于图像预处理技术和双分支网络的识别方法,首先利用先进的人脸对齐网络获取有效的面部表情区域,再采取欧拉视频放大技术捕捉面部动作的微弱变化,以及提取光流信息作为视频序列的特征,然后将光流信息不同组合的特征图输入到双分支分类网络中得到表情标签输出。在SMIC和CASMEⅡ两个公开的数据集上进行实验,采用留一法交叉验证,准确率分别达到0.545和0.584,实验结果的定量分析和定性分析均验证了所提出识别模型的有效性。     

一种弱光照交通标志识别方法

针对弱光照环境下自动驾驶感知设备获取的图像质量不佳,从而导致交通标志难以识别的问题,提出了一种针对弱光照的交通标志识别方法,即将弱光照交通标志图片经Retinex Net模型进行光照增强后,采用改进Regnet模型对光照增强的交通标志图片进行识别。实验结果表明,在弱光照交通标志数据集上,所提出的识别方法准确率可达99.67%,F1值可达100%,召回率可达100%,精确度可达100%。与经典深度学习Resnet101模型相比,四项评价指标分别提高了1.43%,1.91%,1.9%和1.48%。     

一种基于CNN与LSTM结合的微表情识别算法

微表情表现强度微弱且非常短暂。针对微表情识别效果不理想的问题,以视觉几何组(Visual Geometry Group,VGG)网络为基础,提出卷积神经网络(Convolutionnal Neural Network,CNN)与长短期记忆网络(Long Short-Term Memory,LSTM)结合的识别算法。CNN提取数据集CASME II的空域特征,LSTM处理时域特征,实现空域与时域特征的结合。针对深度学习训练困难以及过拟合问题,加入批量归一化算法与丢弃法,提高网络训练速度,有效防止过拟合。针对数据集稀缺的问题,固定每次读取帧序列的长度,随机生成起始帧的位置,不断循环读取以遍历整个数据集并达到数据扩增。根据实验结果,五类微表情(高兴、惊讶、厌恶、抑郁、其他)识别率最高可达72.3%。     

一种基于3D-CNN的微表情识别算法

微表情是一种持续时间很短暂的面部表情。针对其识别率低的问题,提出了一种基于三维卷积神经网络（3D Convolutionnal Neural Network,3D-CNN）的微表情识别算法。使用Keras作为网络框架,在3D-VGG-Block(3Dimension Visual Geometry Group Block,3D-VGG-Block)的基础上加入批量归一化算法以及丢弃法,提升网络深度与训练速度的同时有效地防止过拟合;针对数据集稀少的问题,采取随机设置起始帧的位置,提前设定每次读取帧序列的长度,循环操作,在将所有数据均遍历的同时,达到数据增广的目的。该算法在CASME II数据集上的识别率最高达68.85%,在识别率上有一定优势。     

基于平均序列SRC的视频人脸跟踪和识别研究

为了从大字典视频中跟踪和识别人脸,提出了一种基于平均序列的稀疏表示分类端到端识别方法。首先,利用所有可用视频数据和属于同一个人的人脸跟踪帧进行联合优化;然后,将严格的时间约束添加到l1-最小化;最后,运用人脸跟踪中所有单个帧重建各个身份,利用稀疏重建完成人脸分类。在You Tube人脸数据集上的实验验证了本文方法的有效性,在You Tube名人数据集和本文搜集的电影预告片数据集上的实验结果表明,相比几种较为新颖的分类方法,该方法取得了更高的识别精度,并且在拒绝不明身份上的准确率比SVM高8%。     

基于MG-LTP与ELM的微表情识别

特征提取和表情分类是表情识别的关键技术。针对传统方法识别率低的缺点,首先,提出了一种基于平均灰度的局部三值模式(MG-LTP)新算法,用于提取表情特征;其次,使用极限学习机(ELM)作为分类器,用于特征分类;最后,将二者结合用于表情识别,并进一步应用于人脸微表情识别中。在JAFFE数据库及CASME人脸微表情数据库进行试验,与传统方法对比,取得了较好的效果。     

基于SWA优化级联网络的表情识别方法

为了提高表情识别技术的检测精度,文中提出了一种采用随机权重平均SWA优化级联网络的人脸表情识别方法。与单个卷积网络相比,多网络级联能得到更好的检测精度。相对于传统的SGD训练方法,SWA训练方法能增强级联网络中子网络的泛化能力,进一步提高模型的整体性能。通过在Fer2013数据集上测试实验发现,基于SWA方法训练采用加权求和法方式级联的网络模型识别准确率达到74.478%,相对于传统SGD方法训练的单网络模型提高了1.4%以上。另外,与其他典型方法相比,所提改进模型的识别准确率更高。     

基于人脸关键点检测的车载疲劳驾驶系统研究

针对传统目标检测面部微表情的模型精度低的问题,转换思路利用人脸识别三元子算法提取人的面部关键点,进行面部关键点的标注,对面部关键点进行欧氏距离计算并与传统目标检测算法结合,从而对人脸面部微表情进行准确识别,并利用闭眼、低头、打哈欠3种预警方法进行互补,并通过车道线分割,进行车辆的行驶异常状态的判断,从而准确对驾驶员进行疲劳驾驶检测,并且可以检测驾驶途中抽烟打电话等不安全行为。采用的面部关键点模型68关键点人脸关键点标注模型,目标检测模型yolov5s,并对神经网络添加了空间向量注意力机制(Convolutional Block Attention Module,CBAM),提高检测准确度。系统法高度集成于开发版中,使得该系统具有方便快捷、准确度高的优势。实验表明,三元子和目标检测以及车道线分割结合的方法,能够有效对驾驶员进行疲劳驾驶面部微表情检测,并且准确率相较于传统方法有了大幅度提高,解决了传统目标检测微表情方法中准确度低、适用范围狭窄、鲁棒性差的问题,能够有效识别疲劳驾驶并及时提醒驾驶员。     

结合级联框架与注意力机制的人脸表情识别

针对人脸表情变化细微易受到非表情区域影响、传统神经网络提取难以提取有效特征等问题，提出了一种结合级联框架与注意力机制的人脸表情识别方法。首先，通过级联框架模型排除人脸图像的多余干扰；其次在深度有效网络中引入注意力机制从通道和空间维度上进行注意权重推断，以增强表情特征的表达能力，抑制冗余信息的影响；最后采用Focal loss损失函数进一步减弱数据集分布不均衡带来的影响。实验结果表明，该方法在公开数据集FER2013、JAFFE上分别取得了72.42%和95.71%的识别准确率，与其他算法相比具有一定先进性与优越性。     

基于VGG的人脸表情识别与分类

为了使人脸表情识别更加快速、准确,以满足复杂社会情境中的需求,本文研究了基于深度卷积神经网络的人脸表情识别方法,实现了人脸不同离散表情识别分类.针对现有数据集数据量不足、深度网络计算易出现过拟合现象等问题,本文基于人脸图片关键点进行了剪裁,获得64个子区域,将数据扩充为64倍,以达到数据增强的目的;使用基于VGG-19网络模型的卷积神经网络,对动作单元进行分类与强度计算,使用Sigmoid函数,使网络具备多标签多分类能力,并在VGG-19网络的第四组卷积层之后加入一个加权处理层,提高准确率.结果显示,增强后叠加的人脸表情识别与分类基本能够完成,而引入加权处理层后的准确率则得到了显著提高.     

具有遮挡鲁棒性的监控视频人脸再识别算法

传统身份识别技术需要将待识别人员信息预先录入，同时未考虑识别过程中的遮挡问题，不能满足公共场所基于监控视频的再识别需求。现有行人再识别算法多依赖于服饰等外观特征，难以进行长期追踪与再识别。针对以上问题，本文提出了一种对遮挡具有鲁棒性的人脸再识别算法。首先，对监控视频中的人脸进行检测与对齐，并判断人脸中存在的遮挡位置；其次，根据遮挡位置查找掩码字典并选择对应掩码，再用掩码排除遮挡元素；最后，使用注意力机制对多帧图片分配权重以更新特征，再使用分区域匹配方法得到识别结果。为验证该方法的有效性，本文分别在COX数据集和人工合成遮挡的数据集上对所提方法进行了测试。其中，在COX数据集上的rank-1准确率为95.2%， 在合成遮挡的数据集上rank-1准确率为73.0%，相比现有方法有明显优势。      

基于分离混合注意力机制的人脸表情识别

近年来,人脸表情识别研究因机器学习的引入取得了显著的进步,但由于光照变化、人脸姿态等原因使得人脸表情识别准确率一直不高。提出了一种基于混合注意力机制网络的方法,把通道注意力和空间注意力机制分离,增强网络的通道特征和跨通道相关性学习能力。在注意力机制后增加软阈值机制以抑制噪声,在网络损失函数中迭加类中心损失减小类内差异,通过预处理提高网络的泛化能力。实验结果表明,该方法在人脸数据集CK+和fer2013上准确率比主流方法更高,所用参数更少,收敛性更好。     

基于改进AlexNet卷积神经网络的人脸表情识别

为了解决传统卷积神经网络用于人脸表情识别准确率不高的问题,提出了一种基于改进深度AlexNet卷积神经网络的表情识别方法。该方法基于AlexNet网络的基本结构,采用单图形处理单元（Graphics Processing Unit,GPU）进行训练,减少了两层卷积层和一层全连接层,在每层卷积层后加上批标准化（Batch Normalization,BN）代替原来的局部归一化,并在全连接层后加上Dropout正则化进一步防止过拟合。与AlexNet模型相比,改进的网络结构更简单、复杂度低、参数量少,可以节省大量模型训练时间进行快速预测,且更不易过拟合,同时加快了模型收敛速度,提高了网络泛化能力。在Fer2013数据集以及CK+数据集上进行实验,结果表明,所提方法分别得到了68.85%和97.46%的识别率,较其他人脸表情识别方法的识别率有一定提高。     

基于自组织映射网络的微表情运动规律分析方法

表情是人类情感交互的重要方式。神经生理学研究表明：微表情很难由主观意识所控制,是人类真实情感的流露。与宏表情不同,微表情发生常常伴随着面部左右和上下的不对称移动,运动模式复杂。但由于微表情运动幅度小,人眼难以直接观察,微表情运动规律尚未被深入解析。在公共安保等领域,对微表情识别算法的可靠性与可解释性有很高要求。因此,本文旨在研究微表情运动规律分析方法,实现微表情运动规律的系统性解析。本文工作包括：研究基于自组织映射网络（Self-Organizing Maps, SOM）的微表情特征无监督聚类方法,得到微表情运动模式及其概率。定义微表情运动相似度指标,它从面部14个感兴趣区域运动趋势的角度来衡量两个微表情运动特征的差异程度,并作为调节SOM网络权值的依据。本文对CASMEII、SAMM、SMIC和MMEW数据集的微表情样本进行分析,并根据SOM网络的聚类结果总结微表情运动规律,该规律可以指导微表情识别算法特征提取,提升可靠性。     

一种基于EfficientNet与BiGRU的多角度SAR图像目标识别方法

合成孔径雷达(SAR)的自动目标识别(ATR)技术目前已广泛应用于军事和民用领域。SAR图像对成像的方位角极其敏感,同一目标在不同方位角下的SAR图像存在一定差异,而多方位角的SAR图像序列蕴含着更加丰富的分类识别信息。因此,该文提出一种基于EfficientNet和BiGRU的多角度SAR目标识别模型,并使用孤岛损失来训练模型。该方法在MSTAR数据集10类目标识别任务中可以达到100%的识别准确率,对大俯仰角(擦地角)下成像、存在版本变体、存在配置变体的3种特殊情况下的SAR目标分别达到了99.68%, 99.95%, 99.91%的识别准确率。此外,该方法在小规模的数据集上也能达到令人满意的识别准确率。实验结果表明,该方法在MSTAR的大部分数据集上识别准确率均优于其他多角度SAR目标识别方法,且具有一定的鲁棒性。