注意力引导的三流卷积神经网络用于微表情识别

目的 微表情识别在心理咨询、置信测谎和意图分析等多个领域都有着重要的应用价值。然而,由于微表情自身具有动作幅度小、持续时间短的特点,到目前为止,微表情的识别性能仍然有很大的提升空间。为了进一步推动微表情识别的发展,提出了一种注意力引导的三流卷积神经网络（attention-guided three-stream convolutional neural network, ATSCNN）用于微表情识别。方法 首先,对所有微表情序列的起始帧和峰值帧进行预处理;然后,利用TV-L1(total variation-L1)能量泛函提取微表情两帧之间的光流;接下来,在特征提取阶段,为了克服有限样本量带来的过拟合问题,通过3个相同的浅层卷积神经网络分别提取输入3个光流值的特征,再引入卷积块注意力模块以聚焦重要信息并抑制不相关信息,提高微表情的识别性能;最后,将提取到的特征送入全连接层分类。此外,整个模型架构采用SELU(scaled exponential linear unit)激活函数以加快收敛速度。结果 本文在微表情组合数据集上进行LOSO(leave-one-subject-out)交叉验...     

双通道扩张卷积注意力图像去噪网络*

针对深度学习图像去噪算法存在网络过深导致细节丢失的问题,提出一种双通道扩张卷积注意力网络CEANet。拼接信息保留模块将每一层的输出特征图融合,弥补卷积过程中丢失的图像细节特征进行密集学习;扩张卷积可以在去噪性能和效率之间进行权衡,用更少的参数获取更多的信息,增强模型对噪声图像的表示能力,基于扩张卷积的稀疏模块通过扩大感受野获得重要的结构信息和边缘特征,恢复复杂噪声图像的细节;基于注意力机制的特征增强模块通过全局特征和局部特征进行融合,进一步指导网络去噪。实验结果表明,在高斯白噪声等级为25和50时,CEANet都获得了较高的峰值信噪比均值和结构相似性均值,能够更高效地捕获图像细节信息,在边缘保持和噪声抑制方面,具有较好的性能。相关实验证明了该算法进行图像去噪的有效性。     

嵌入双尺度分离式卷积块注意力模块的口罩人脸姿态分类

目的 针对口罩遮挡的人脸姿态分类新需求,为了提高基于卷积神经网络的人脸姿态分类效率和准确率,提出了一个轻量级卷积神经网络用于口罩人脸姿态分类。方法 本文设计的轻量级卷积神经网络的核心为双尺度可分离注意力卷积单元。该卷积单元由3×3和5×5两个尺度的深度可分离卷积并联而成,并且将卷积块注意力模块(convolutional block attention module,CBAM)的空间注意力模块(spatial attention module,SAM)和通道注意力模块(channel attention module,CAM)分别嵌入深度(depthwise,DW)卷积和点(pointwise,PW)卷积中,针对性地对DW卷积及PW卷积的特征图进行调整。同时对SAM模块补充1×1的点卷积挤压结果增强其对空间信息的利用,形成更加有效的注意力图。在保证模型性能的前提下,控制构建网络的卷积单元通道数和单元数,并丢弃全连接层,采用卷积层替代,进一步轻量化网络模型。结果 实验结果表明,本文模型的准确率较未改进SAM模块分离嵌入CBAM的模型、标准方式嵌入CBAM的模型和未嵌入注意力模块的模型分别提升了2.86%、6.41% 和12.16%。采用双尺度卷积核丰富特征,在有限的卷积单元内增强特征提取能力。与经典卷积神经网络对比,本文设计的模型仅有1.02 MB的参数量和24.18 MB的每秒浮点运算次数(floating-point operations per second,FLOPs),大幅轻量化了模型并能达到98.57%的准确率。结论 本文设计了一个轻量高效的卷积单元构建网络模型,该模型具有较高的准确率和较低的参数量及计算复杂度,提高了口罩人脸姿态分类模型的效率和准确率。     

LAC-DGLU:基于CNN和注意力机制的命名实体识别模型

对文本进行分词和词嵌入通常是中文命名实体识别的第一步,但中文的词与词之间没有明确的分界符,专业词及生僻词等未收录词(Out of Vocabulary,OOV)严重干扰了词向量的计算,基于词向量嵌入的模型性能极易受到分词效果的影响。同时现有模型大多使用循环神经网络,计算速度较慢,很难达到工业应用的要求。针对上述问题,构建了一个基于注意力机制和卷积神经网络的命名实体识别模型,即LAC-DGLU。针对分词依赖的问题,提出了一种基于局部注意力卷积(Local Attention Convolution,LAC)的字嵌入算法,减轻了模型对分词效果的依赖。针对计算速度较慢的问题,使用了一种带门结构的卷积神经网络,即膨胀门控线性单元(Dilated Gated Linear Unit,DGLU),提高了模型的计算速度。在多个数据集上的实验结果显示,该模型相比现有最优模型F1值提高了0.2%～2%,训练速度可以达到现有最优模型的1.4～1.9倍。     

基于残差注意力机制和金字塔卷积的表情识别

随着深度学习的应用,表情识别技术得到快速发展,但如何提取多尺度特征及高效利用关键特征仍是表情识别网络面临的挑战.针对上述问题,文中使用金字塔卷积有效提取多尺度特征,使用空间通道注意力机制加强关键特征的表达,构建基于残差注意力机制和金字塔卷积的表情识别网络,提高识别的准确率.网络使用MTCNN(Multi-task Convolutional Neural Network)进行人脸检测、人脸裁剪及人脸对齐,再将预处理后的图像送入特征提取网络.同时,为了缩小同类表情的差异,扩大不同类表情的距离,结合Softmax Loss和Center Loss,进行网络训练.实验表明,文中网络在Fer2013、CK+数据集上的准确率较高,网络参数量较小,适合表情识别在现实场景中的应用.     

基于改进YOLOv7的安全帽佩戴检测算法

佩戴安全帽对确保高危作业人员的生命安全至关重要。然而,由于施工现场活动范围广泛,从摄像头收集的安全帽图像具有相对较小、检测难度大的特点,容易出现漏检或错检的问题。因此,提出了一种基于改进YOLOv7的安全帽检测算法。使用Kmeans++算法聚类得到更优的先验边界框,在原YOLOv7中添加一个小目标检测层,同时加入卷积注意力机制模块（Convolutional Block Attention Module,CBAM）,使网络更加关注输入图像的有效信息。为优化损失函数,使用Focal-EIoU替换了原YOLOv7网络模型中的完整的交并比（Complete Intersectionover Union,CIoU）,从而减少损失函数自由度,提高模型性能。实验采用了百度飞桨公开的安全帽数据集进行训练。结果表明,改进算法的准确率达到92.2%,召回率达到91.6%,全类别平均正确率（mean Average Precision,mAP）提升1.4个百分点。提出的改进算法有效降低了漏检率及错检率,在安全帽佩戴检测中表现出良好的性能。     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

基于混合注意力神经网络的表情识别

针对人脸表情识别研究中存在的表情类间差异小而导致的表情易混淆的问题,提出了一种改进模型。通过在残差网络的基础上引入混合注意力机制,强化模型对表情局部特征的关注,通过引入Focal Loss强化模型对复杂表情的学习,引入Center Loss帮助模型过滤出显著特征。实验表明,该方法在公开人脸表情数据集RER2013上的识别准确率为73.74%。     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

注意力机制与复合卷积在手写识别中的应用

将图片切分成单"字"识别再连接成"串"是脱机手写图像识别的一种方法,但由于手写字符间易存在粘连,切分方法不易实现.卷积循环神经网络(CRNN)虽解决了整张文本图片输入,标签却不易对齐的问题,但由于不同人脱机手写风格的严重差异,网络提取出的特征表示力不够.对此提出了加强型卷积块注意力模块和复合卷积,并将其加入处理脱机文本...     

融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

结合混合域注意力与空洞卷积的3维目标检测

目的 通过深度学习卷积神经网络进行3维目标检测的方法已取得巨大进展,但卷积神经网络提取的特征既缺乏不同区域特征的依赖关系,也缺乏不同通道特征的依赖关系,同时难以保证在无损空间分辨率的情况下扩大感受野。针对以上不足,提出了一种结合混合域注意力与空洞卷积的3维目标检测方法。方法 在输入层融入空间域注意力机制,变换输入信息的空间位置,保留需重点关注的区域特征;在网络中融入通道域注意力机制,提取特征的通道权重,获取关键通道特征;通过融合空间域与通道域注意力机制,对特征进行混合空间与通道的混合注意。在特征提取器的输出层融入结合空洞卷积与通道注意力机制的网络层,在不损失空间分辨率的情况下扩大感受野,根据不同感受野提取特征的通道权重后进行融合,得到全局感受野的关键通道特征;引入特征金字塔结构构建特征提取器,提取高分辨率的特征图,大幅提升网络的检测性能。运用基于二阶段的区域生成网络,回归定位更准确的3维目标框。结果 KITTI（A project of Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）数据集中的实验结果表明,在物体被遮挡的程度由轻到高时,对测试集中的car类别,3维目标检测框的平均精度AP_3D值分别为83.45%、74.29%、67.92%,鸟瞰视角2维目标检测框的平均精度AP_BEV值分别为89.61%、87.05%、79.69%; 对pedestrian和cyclist 类别,AP_3D和AP_BEV值同样比其他方法的检测结果有一定优势。结论 本文提出的3维目标检测网络,一定程度上解决了3维检测任务中卷积神经网络提取的特征缺乏视觉注意力的问题,从而使3维目标检测更有效地运用于室外自动驾驶。     

基于联邦学习与改进CBAM-ResNet18的脑肿瘤分类

针对联邦学习框架下,基于卷积注意力模块的多客户端脑肿瘤分类方法对于MRI图像中肿瘤区域细节提取能力不足、通道注意力与空间注意力相互干扰的问题,以及针对多点医疗肿瘤数据分类准确性低的问题,提出了一种融合联邦学习框架和改进的CBAM-ResNet18网络的脑肿瘤分类方法.利用联邦学习特性联合多点脑肿瘤数据,采用Leaky ReLU激活函数代替ReLU激活函数以减轻神经元死亡,将卷积注意力模块中的通道注意力模块由先降维再升维改成先升维再降维,充分提高网络对图像细节的提取能力,将卷积注意力模块中的通道注意力模块与空间注意力模块由级联结构改为并联结构,使得网络的特征提取能力不会受到二者先后顺序的影响.通过在Kaggle公开的脑肿瘤MRI数据集上的进行实验,该方法的准确率、精准度、召回率与F1值分别为97.78%、97.68%、97.61%与97.63%,比基准模型分别高6.54%、4.78%、6.80%、7.00%.实验结果证明,该方法不仅能够打破数据孤岛,实现多点数据融合,而且比多数现有主流模型的性能更好.     

基于改进YOLOv4的变电站缺陷检测

为提高变电站设备缺陷的检测精度, 保障变电站运行安全, 提出一种基于改进YOLOv4的缺陷检测算法. 不同于原始YOLOv4, 该算法使用一维卷积替代全连接来优化CBAM卷积注意力模块, 然后将其嵌入主干网络中以增强特征提取能力; 同时, 在特征融合中应用空洞卷积扩大感受野, 聚合更广的语义信息. 该算法在现场拍摄的样本集上进行测试, mAP可达到86.97%, 相比原始YOLOv4提高了2.78%. 实验结果表明, 本文提出的YOLOv4改进算法能够提升网络性能, 更好地应用于变电站设备缺陷检测任务.     

基于预测和残差细化网络的道路提取算法研究

针对航拍图像中的道路检测问题,提出了一种基于预测和残差细化网络的航拍图像道路提取算法。首先,预测网络进行初始预测,为了提高分割网络的细化能力,学习到更高层的道路特征信息,预测网络中引入了空洞卷积和多核池化模块。其次,残差细化网络对预测网络的输出进一步细化,改善预测网络结果出现的模糊问题。此外,针对航拍图像中道路像素比例较小的特点,网络还融合了二元交叉熵、结构相似性以及交并比损失函数,以减少道路信息损失。在Massachusetts道路数据集上的实验结果表明,精确率、召回率、F值和准确率等指标分别达到了99.3%,95.7%,97.3%和95.1%,交并比及平均结构相似性评价指标也分别达到了94.8%和84.3%,相比于其他算法,该算法有一定的应用价值。     

基于膨胀卷积和门控循环单元组合的入侵检测模型

基于机器学习的入侵检测模型在网络环境的安全保护中起着至关重要的作用。针对现有的网络入侵检测模型不能够对网络入侵数据特征进行充分学习的问题,将深度学习理论应用于入侵检测,提出了一种具有自动特征提取功能的深度网络模型。在该模型中,使用膨胀卷积来增大对信息的感受野并从中提取高级特征,使用门控循环单元（GRU）模型提取保留特征之间的长期依赖关系,再利用深层神经网络（DNN）对数据特征进行充分学习。与经典的机器学习分类器相比,该模型具有较高的检测率。在著名的KDD CUP99、NSL-KDD和UNSW-NB15数据集上进行的实验表明,该模型具有由于其他分类器的性能。具体来说,该模型在KDD CUP99数据集上的准确率为99.78%,在NSL-KDD数据集上的准确率为99.53%,在UNSW-NB15数据集上的准确率为93.12%。     

融合多路特征和注意力机制的强化学习关键帧提取算法

针对现有视频关键帧提取算法对运动类视频中运动特征提取不准导致的漏检和误检问题,提出一种融合多路特征和注意力机制的强化学习关键帧提取算法。该算法首先通过人体姿态识别算法对视频序列进行人体骨骼关节点提取;然后使用S-GCN和ResNet50网络分别提取视频序列中的运动特征和静态特征,并将两者进行加权融合;最后应用注意力机制对特征序列进行视频帧重要性计算,并利用强化学习进行关键帧的提取和优化。实验结果表明,该算法能较好地解决运动类视频在关键帧提取中出现的漏误检问题,在检测含有关键性动作的视频帧时表现较好,算法准确率高、稳定性强。     

空洞卷积与注意力融合的对抗式图像阴影去除算法

为了解决暗区域、纹理复杂或半影区域的阴影去除效果不明显的问题,提出了空洞卷积与注意力机制融合的对抗式图像阴影去除算法。该算法基于生成对抗网络的总体思想,将空洞卷积引入残差网络中,用自定义的空洞残差块进行特征提取,扩大了特征提取的感受野。在注意力编码阶段,加入4层相同结构的空洞卷积,确保最小计算量的情况下为解码阶段提供更抽象、更本质的全局的语义特征。运用多重注意力机制,引导判别网络对无阴影图像的鉴别,提高判别网络能力。该算法分别在ISTD(image shadow triplets dataset)与SRD(shadow removal dataset)公开数据集上进行检验,SSIM(structural similarity)值达到97.77%。该算法图像特征信息保存完整,画面清晰,暗区域及地物复杂的区域阴影去除效果较好,对半影区域,也有具有良好的表现。