融合全局与局部特征的跨数据集表情识别方法北大核心CSCD

人脸表情数据集在收集过程中存在主观的标注差异和客观的条件差异,导致表情识别模型在不同数据集间呈现明显的性能差异。为了提高跨数据集表情识别精度、减少表情识别在实际应用中进行样本打标重训练的过程,本文提出了一种基于表情融合特征的域对抗网络模型,用于跨数据集人脸表情识别。采用残差神经网络提取人脸表情的全局特征与局部特征。利用Encoder模块对全局特征与局部特征进行融合,学习更深层次的表情信息。使用细粒度的域鉴别器进行源数据集与目标数据集对抗,对齐数据集的边缘分布和条件分布,使模型能迁移到无标签的目标数据集中。以RAF-DB为源数据集,以CK+、JAFFE、SFEW2.0、FER2013、Expw分别作为目标数据集进行跨数据集人脸表情识别实验。与其他跨数据集人脸表情识别算法相比,所提方法获得了最高的平均识别率。实验结果表明,所提方法能有效提高跨数据集人脸表情识别的性能。     

无注意力胶囊网络的面部表情识别方法

表情识别技术可以从人类的表情中分析出识别对象的情感活动，针对面部表情图像复杂的空间关系和特征信息时，不能建立有效特征提取和映射模型的问题，稀疏多层感知机（spare multilayer perceptron,sMLP）使用很少的参数量让每个空间位置进行交流，而胶囊网络也可以表现特征的空间姿态信息，因此提出了一种新的面部表情识别模型sMLP-CapsNet，以提升表情识别空间关系映射的能力。采用CK+数据集和RAF-DB数据集，通过改进的胶囊神经网络从轮廓到细节提取面部表情图片特征，进而实现面部表情分类。相比于其他面部表情识别算法，模型精度提升效果明显，在CK+数据集和RAF-DB数据集上分别可达到99.48%以及85.69%的识别率，展现了该算法的先进性。     

改进YOLOv4的实验室设备检测算法

针对实验室设备的检测识别问题，提出一种改进YOLOv4算法。针对K-means聚类算法在尺度分布不均匀场景下的局限性，提出一种将数据集标注框按大小划分区间，分别聚类的IK-means++算法；在主干网络中引入通道注意力模块，提出一种阶梯状特征融合网格加强特征融合能力；以计算机实验室为例构建数据集进行训练。实验结果表明，IK-means++算法聚类效果得到有效提升；改进后的YOLOv4算法检测精度更高，模型复杂度更低，速度更快。     

基于改进的YOLO算法的交通标志识别

为了解决交通标志识别易受光照、遮挡和小目标影响的问题，对YOLOv5-P6算法进行改进，提出了一种新的交通标志识别算法。算法采用加权双向特征金字塔网络，提高特征提取能力，增加了跨层连接并对传递的特征进行权重调整，更好地融合道路交通标志的通道特征；使用空洞空间池化金字塔模块提取多尺度上下文信息，进一步增大感受野从而改善语义分割的效果；引入改进的跨阶段局部网络，使模块更加简洁；在训练过程中加入随机裁剪技术，并采用图像缩放、图像切变以及代数运算对检测效果不理想的类别进行实例扩充，缓解模型的过拟合问题。在TT100K数据集上应用本算法，识别精度达到90.02%,与传统的YOLOv5模型相比提高了4.72%,帧处理速率达到36.07FPS。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题，提出了一种基于深度学习的遥感图像目标检测与识别算法。首先，构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试；其次，基于原始的多尺度单发射击（SSD）网络模型，融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块；最后，在训练策略上引入聚焦分类损失函数，以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验，结果表明所提算法的检测平均精度均值（mAP）达到77.95%，相较于SSD网络模型提高了3.99个百分点，同时检测速度为33.8 frame/s。此外，在拓展实验中，改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明，所提改进算法能够有效地提高遥感图像目标检测的精度。     

基于VGG-NET的特征融合面部表情识别

为了解决在面部表情特征提取过程中卷积神经网络CNN和局部二值模式LBP只能提取面部表情图像的单一特征,难以提取与面部变化高度相关的精确特征的问题,提出了一种基于深度学习的特征融合的表情识别方法。该方法将LBP特征和CNN卷积层提取的特征通过加权的方式结合在改进的VGG-16网络连接层中,最后将融合特征送入Softmax分类器获取各类特征的概率,完成基本的6种表情分类。实验结果表明,所提方法在CK+和JAFFE数据集上的平均识别准确率分别达到了97.5%和97.62%,利用融合特征得到的识别结果明显优于利用单一特征识别的效果。与其他方法相比较,该方法能有效提高表情识别准确率,对光照变化更加鲁棒。     

基于改进YOLOv3的复杂环境下交通标志检测

针对深度学习算法中目标检测网络模型在复杂环境下识别交通标志的难点,对YOLOv3模型迁移学习算法的基本特点展开研究,构建并划分了复杂环境下中国交通标志数据集,并通过引入特征尺度的概念进一步改进YOLOv3算法,使数据集能够更好地处理各种复杂环境带来的影响。通过对比实验,证明改进后的YOLOv3算法对复杂环境下交通标志检测的效果明显优于标准YOLOv3算法及SSD算法,获得了更高的检测精度和更短的检测时间。     

深度导向显著性检测算法

针对目前基于深度卷积神经网络的显著性检测算法存在对复杂场景图像目标检测不完整、背景噪声多的问题，提出一种深度特征导向显著性检测算法。该算法是基于现有底层特征与深度卷积特征融合模型（ELD）的改进，网络模型包含基础特征提取、高层语义特征跨层级引导传递两个部分。首先，根据不同层级卷积特征的差异性，构建跨层级特征联合的高层语义特征引导模型；然后，用改进的网络模型生成初始显著图，利用高层语义特征引导的方式进行显著性聚类传播；最后，用完全联系条件随机场对聚类传播的结果进行优化，使其能够获取更多结构边缘信息和降低噪声并生成完整显著图。在ECSSD上和DUT-ORMON两个数据集上进行实验测试，实验结果表明，所提算法的准确率和召回率（PR）优于ELD模型，其F-measure（F）值分别提升了7.5%和11%，平均绝对误差（MAE）值分别降低了16%和15%，说明了所提算法模型能够在目标识别、模式识别、图像索引等复杂图像场景应用领域得到更加鲁棒的结果。     

持续学习改进的人脸表情识别

目的 大量标注数据和深度学习方法极大地提升了图像识别性能。然而,表情识别的标注数据缺乏,训练出的深度模型极易过拟合,研究表明使用人脸识别的预训练网络可以缓解这一问题。但是预训练的人脸网络可能会保留大量身份信息,不利于表情识别。本文探究如何有效利用人脸识别的预训练网络来提升表情识别的性能。方法 本文引入持续学习的思想,利用人脸识别和表情识别之间的联系来指导表情识别。方法指出网络中对人脸识别整体损失函数的下降贡献最大的参数与捕获人脸公共特征相关,对表情识别来说为重要参数,能够帮助感知面部特征。该方法由两个阶段组成：首先训练一个人脸识别网络,同时计算并记录网络中每个参数的重要性;然后利用预训练的模型进行表情识别的训练,同时通过限制重要参数的变化来保留模型对于面部特征的强大感知能力,另外非重要参数能够以较大的幅度变化,从而学习更多表情特有的信息。这种方法称之为参数重要性正则。结果 该方法在RAF-DB（real-world affective faces database）,CK+（the extended Cohn-Kanade database）和Oulu-CASIA这3个数据集上进行了实验评估。在主流数据集RAF-DB上,该方法达到了88.04%的精度,相比于直接用预训练网络微调的方法提升了1.83%。其他数据集的实验结果也表明了该方法的有效性。结论 提出的参数重要性正则,通过利用人脸识别和表情识别之间的联系,充分发挥人脸识别预训练模型的作用,使得表情识别模型更加鲁棒。     

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型（PDIS）。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。     

离散不确定系统分布式鲁棒融合滤波器设计

针对一类离散多传感器动态模型的不确定系统,将鲁棒滤波理论与数据融合技术相结合,基于参数依赖Lyapunov函数,研究该离散系统的鲁棒融合滤波器设计问题。在集中式鲁棒融合滤波器的基础上,探讨了分布式加权融合滤波器的设计方法,通过仿真实验比较了鲁棒融合滤波器的性能。结果表明,利用该分布式加权融合算法,不仅对于解决当系统模型中存在参数不确定性时的滤波问题有较好的鲁棒性能和较低的计算量,而且在多传感器系统中对于满足不同精度鲁棒融合滤波器的设计需要具有较大的灵活性。     

一种自动特征提取的SAR图像水华识别方法

针对SAR图像水华识别中人工提取特征效率低的问题,提出了一种自动特征提取识别方法.该方法应用改进的K-means算法提取SAR图像暗斑,利用数据增强算法扩充暗斑图像集,并基于对水华暗斑图像特征的深入分析对DenseNet网络结构进行改进,以实现对水华暗斑与非水华暗斑更有效地识别区分.以太湖数据集作为实验数据,该方法获得了87.30％的总体精度,这一结果表明自动特征提取识别方法对于SAR图像水华识别的有效性.     

基于IGF+Bi-LSTM算法的心电信号分类

为强化心电信号渐变特征、提高时序信号分类精度,基于Bi-LSTM提出了一种融合渐变数据特征的自适应算法IGF+Bi-LSTM（self-adaptive Bi-LSTM based on integrating gradient features）。该算法在一定范围内自适应选取相似程度最高的渐变数据特征,通过数据融合强化渐变特征在网络隐空间的交互,拓展Bi-LSTM信息传递模式;针对时序信号间存在周期性不匹配和强度不一致的问题,提出一种基于差分的改进的B式距离,以刻画数据和不同标签数据全体间的差异度S并自适应调整IGF+Bi-LSTM中的融合系数。实验表明,该算法在ECG数据集上的分类精度达到98.7%,F1值为98.7%,证明了IGF+Bi-LSTM算法的有效性和实用性。     

基于全局空间注意力的人脸表情识别

人脸表情识别是模式识别领域中一个重要的研究方向。传统的机器学习方法受限于需要手动提取特征,该方式会导致识别结果的泛化能力不足,且稳定性较差。针对该限制,设计了一种基于深度学习的人脸表情识别算法,该算法通过卷积神经网络提取特征,然后经过全局空间注意力模块对特征分配权重,增强并融合重要特征、抑制边缘特征,从而提升网络分类的准确性。通过在FER2013人脸表情数据集上的实验,验证了该算法的合理性与有效性,最高达到了1.014%的准确度提升。最后,将算法应用于真实场景下的人脸表情识别,同样能拥有较高的识别精度,验证了该算法在真实环境下的有效性。     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

基于CNN与关键区域特征的人脸表情识别算法

为了克服目前公开的人脸表情数据集的数据量较少,并且有一些类别的表情表达存在一定的相似这两个因素对人脸表情识别率的影响,提出一种基于关键区域特征融合的人脸表情分类算法。算法首先提取人脸图像中表情表达的关键区域,然后分别提取关键区域的特征信息并融合,最终使用融合的特征进行分类。通过实验验证:算法在JAFFE和CK+公开数据集上均取得了较好的识别准确率。     

基于多粒度与自修复融合的人脸表情识别

为有效提取和融合表情多粒度特征信息，降低自然场景人脸表情数据集存在不确定性和错误数据等因素致使准确率难以满足现实需求的问题，基于深度卷积神经网络提出多粒度与自修复融合的表情识别模型。采用拼图生成器生成不同粒度图像，利用渐进式的训练过程学习不同粒度图像之间互补的特征信息，采用自修复方法避免网络过度拟合错误样本图像，对错误样本进行重新标注。在AffectNet数据集和RAF-DB数据集上准确率分别达到了63.94%和87.10%,实验结果表明，该模型具有较高的准确率和良好的鲁棒性。     

基于深度神经网络的表面划痕识别方法

为实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别，提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络（CNN）构成，其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理，风格迁移网络包括前馈转换网络和损失网络，首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征，对前馈转换网络进行离线训练，获取网络最优参数值，最终使风格迁移网络生成亮度均匀且风格一致的图像，然后，利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例，进行划痕识别实验，实验结果表明：与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比，划痕漏报率低至8.54%，并且收敛速度更快，收敛曲线更加平滑，在不同的深度模型下均可取得较好的检测效果，准确率提升2%左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题，从而提高划痕识别精度；同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别，大幅度降低划痕漏报率和误报率。     

无人驾驶中基于ResNet深度模型的人脸微表情识别算法

为解决由于人脸微表情存在局部特征少、不同情绪差异性小等特点而带来的特征提取难度大、表情识别率低等问题，以进一步提高人脸微表情识别精度，提出一种基于ResNet深度模型的人脸微表情识别算法。算法针对无人驾驶中的行人人脸表情识别场合，主要包括数据预处理及模型构建，在保证数据集统一性的同时，能够有效提高微表情的识别率。使用FER2013数据集对ResNet-50模型进行实际验证，并与ResNet-18的表现加以对比。本算法在实验中获得98.7%的准确率，优于ResNet-18，充分验证算法模型的有效性。     

多尺度坐标注意力金字塔卷积的面部表情识别

针对传统卷积神经网络对人脸面部表情特征提取能力不足、计算速度较慢等问题，提出了一种多尺度融合注意力的金字塔卷积模型。为了减少网络的参数量，提高网络的计算速度，增大模型的感受野，改进了金字塔卷积结构；为了从多尺度表示面部表情特征，提高模型对面部特征的表示能力，提出了SECA坐标注意力模块；为了节省网络的计算量，解决模型冗余的问题，促进通道间的信息融合，提出了深度可分离混洗方法。实验结果表明，该模型在公开数据集FER2013、CK+和JAFFE上的准确率分别为72.89%、98.55%和94.37%，参数量为1.958×107，与其他网络对比，该网络识别效果更好，准确率更高，同时保持较快的计算速度。