基于注意力机制的深度学习路面裂缝检测

为实现自动准确地检测路面裂缝,提升路面裂缝检测效果,提出了一种基于注意力机制的裂缝检测网络(attention-basedcracknetworks,ACNet).该网络采用编码器-解码器网络构架,编码器采用ResNet34为骨干网,提取路面裂缝特征;在编码器和解码器间加入基于注意力机制的特征模块(attention-basedfeaturemodule,AFM),以利用全局信息和增加对检测不同尺度裂缝的鲁棒性,更好地提取裂缝特征和定位裂缝位置;在解码阶段也引入注意力机制,设计了基于注意力机制的解码模块(attention-baseddecodermodule,ADM),实现对裂缝的准确定位.在公共裂缝数据集CFD和CRACK500上,与U-Net等其他8种方法进行了比较,结果表明, ACNet裂缝检测效果更理想,在主观视觉上,裂缝定位更准确,细节更丰富;在实验指标F1和重合率上,检测结果都有明显提升,说明了该网络的有效性.     

基于金字塔特征和级联注意力的路面裂缝检测

路面裂缝检测是道路病害自动检测一个关键环节,传统图像检测方法效率不高且易受环境干扰。论文基于卷积神经网络设计了一种在金字塔特征上采用级联注意力（Cascaded Attention）机制的CANet新结构。该网络以ResNext50为骨架网络提取路面图像金字塔特征,进而生成跨层和跨尺度的两级注意力掩膜对裂缝的卷积特征进行增强,并在不同尺度输出的裂缝特征采用双向融合方式生成裂缝预测图。CANet网络新增三个新模块,分别是Layer Attention(LA)模块、Scale-Attention(SA)模块以及Multi View Enhance(MVE)模块。该网络分别在CrackLS315和DeepCrack-DB两个数据集上进行了训练和测试,ODS和OIS指标都取得了当前最好结果。     

基于注意力机制和多尺度特征融合的道路裂缝检测

针对复杂背景下细小裂缝难以检测和裂缝检测出现断裂的问题,提出一种基于注意力机制和多尺度特征融合的道路裂缝检测方法EAFNet。在编码阶段设计边缘细化模块,更好提取裂缝细节特征;在网络中间部分设计基于注意力机制的多尺度特征融合模块对裂缝进行准确定位;在解码器部分设计融合优化模块,更好提取裂缝特征和定位裂缝位置。在公开数据集CRACK500训练集上进行训练并在两个道路裂缝数据集上进行测试,与现有的部分检测方法相比,该算法在分割精度和泛化性上都有提升,该算法对于细小裂缝的分割更为精细且有效解决了裂缝检测的断裂问题。     

基于残差注意力机制和金字塔卷积的表情识别

随着深度学习的应用,表情识别技术得到快速发展,但如何提取多尺度特征及高效利用关键特征仍是表情识别网络面临的挑战.针对上述问题,文中使用金字塔卷积有效提取多尺度特征,使用空间通道注意力机制加强关键特征的表达,构建基于残差注意力机制和金字塔卷积的表情识别网络,提高识别的准确率.网络使用MTCNN(Multi-task Convolutional Neural Network)进行人脸检测、人脸裁剪及人脸对齐,再将预处理后的图像送入特征提取网络.同时,为了缩小同类表情的差异,扩大不同类表情的距离,结合Softmax Loss和Center Loss,进行网络训练.实验表明,文中网络在Fer2013、CK+数据集上的准确率较高,网络参数量较小,适合表情识别在现实场景中的应用.     

基于注意力机制和轻量级空洞卷积的混凝土路面裂缝检测

混凝土路面上的裂缝会影响结构的安全性、适用性和耐久性，裂缝检测是一个充满挑战的研究热点。文中提出了由改进的全卷积网络和深监督网络组成的裂缝检测模型，以改进的VGG-16作为主干网络，首先将低层卷积特征聚合，通过空间注意力机制再次融合到主干网络；其次，将中高层卷积特征通过轻量级空洞卷积融合模块进行多尺度融合得到具有清晰边缘且分辨率较高的特征图像，所有的侧边特征图像相加产生最终的预测图像；最后，深监督网络为每个阶段的检测结果提供直接监督。该网络选择焦点损失函数作为评价函数，经过训练的网络模型能够在光照不均、背景复杂等各种条件下从输入的原始图像中高效地识别出裂缝位置。为验证所提方法的有效性和鲁棒性，在DeepCrack, CFD,Crack500这3个数据集上与6种方法进行了比较，所提算法表现出卓越的性能，F-score值达到了87.12%。     

基于融合注意力和任务解耦的路面裂缝检测

针对路面裂缝自动化检测中存在裂缝漏检和定位不准的问题,提出一种路面裂缝实时检测模型CrackNet。基于YOLOv5结构设计,在特征融合网络插入融合注意力模块,重点关注特定通道和空间位置裂缝信息,有效解决部分裂缝漏检问题;在多尺度预测阶段引入任务空间分离头模块,利用分治策略将分类和回归任务解耦,模型优化方向更加自由。实验结果表明,该方法mAP为71%,速度为42 FPS,优于基准模型,有效改善了裂缝漏检和定位不准的问题。     

基于可逆金字塔和平衡注意力的工业裂缝分割

针对目前工业裂缝分割算法存在细小裂缝易丢失、孤立噪点难消除的问题，提出一种基于可逆金字塔和平衡注意力的工业裂缝分割网络（reversible pyramid and balanced attention network，RPBAN）。提出可逆金字塔模块，在编码器与解码器之间引入特征金字塔和改进后的倒-特征金字塔，加深全局特征与细节特征的融合，从而提升细小裂缝检测性能；在解码阶段引入平衡注意力模块，将平衡特征作为引导信息，有效消除孤立噪点；在学习阶段选取Focal Loss作为损失函数，控制正负样本在训练中所占的权重，使得模型更专注于裂缝样本。通过在自建的输配电线路瓷瓶裂缝数据集InsulatorCrack和三个具有挑战性的公开裂缝数据集CFD、CrackTree200和AEL上进行验证和测试，实验表明与其他基准方法相比，RPBAN提升了细小裂缝检测效果，有效消除了孤立噪点，能够实现更高精度的语义分割。在四个数据集上IoU分别达到61.42%、58.36%、64.45%、53.44%，说明了RPBAN的有效性和通用性。     

基于全局注意力及金字塔卷积网络的表情识别

近年来基于深度学习的人脸表情识别技术已取得很大进展,但对于表情特征的多尺度提取,以及在不受约束的现实场景中进行面部表情识别仍然是具有挑战性的工作。为解决此问题,提出一种金字塔卷积神经网络与注意力机制结合的表情识别方法。对于初始的一张人脸表情图像,将其按照区域采样裁剪成多张子图像,将原图像和子图像输入到金字塔卷积神经网络进行多尺度特征提取,将提取到的特征图输入到全局注意力模块,给每一张图像分配一个权重,从而得到有重要特征信息的图像,将子图像和原始图像的特征进行加权求和,得到新的含有注意力信息的全局特征,最终进行表情识别分类。在CK+、RAF-DB、AffectNet三个公开表情数据集上分别取得了98.46%、87.34%、60.45%的准确率,提高了表情的识别精度。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

基于硬注意力机制的多模态视频字幕的处理

传统的视频字幕生成模型大多都采用编码器—译码器框架。在编码阶段,使用卷积神经网络对视频进行处理。在解码阶段,使用长短期记忆网络生成视频的相应字幕。基于视频的时序相关性和多模态性,提出了一个混合型模型,即基于硬注意力的多模态视频字幕的生成模型。该模型在编码阶段使用不同的融合模型将视频和音频两种模态进行关联,在解码阶段基于长短期记忆网络的基础上加入了硬注意力机制来生成对视频的描述。这个混合模型在数据集MSR-VTT(Microsoft research video to text)上得到的机器翻译指标较基础模型有0.2%~3.8%的提升。根据实验结果可以判定基于硬注意力机制的多模态混合模型可以生成视频的精准描述字幕。     

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题，提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法，实现对图像低级边缘、边界、目标轮廓的检测。首先构建了双通道主干网络，包含语义分支通道和空间细节分支通道；其次基于多尺度原则，构建了多尺度及注意力机制模块，对特征图像的高、宽、通道的维度变换，分配特征权重，在捕捉跨通道信息的同时，还能够捕捉方向感知和位置感知的信息；最后将空洞融合模块融合到语义分支通道中，提升网络提取特征信息的能力。实验结果表明，所提出的算法对光伏板图像边缘检测性能有提升，相较HED、RCF与FCN算法，F1值提升了2.83%、0.37%与1.54%，获得了较为清晰的裂缝图像。     

轻型金字塔池化注意力机制网络实现图像超分

在基于深度学习的图像超分辨率重建领域,通过扩大网络规模以提高性能将导致计算资源损耗增加。为此,提出了一种轻量级的基于金字塔池化注意力机制网络（light-weighted pyramid pooling-based attention network,LiPAN）,该算法模型由融合注意力机制的信息蒸馏块、多层金字塔池化结构和反向注意力融合模块组成。注意力机制确保了网络对重要特征的提取,金字塔池化结构可获取更多的上下文信息,得到更准确的重建结果,蒸馏结构的引入可有效地提高网络性能并减少网络参数。与目前主流的轻量级网络模型相比,提出的LiPAN模型在Set5、Set14、BSD100及Urban100四个公共数据集分别进行2倍、3倍和4倍下采样重建并定量评估,获得最优峰值信噪比和结构相似度。由此表明,提出的LiPAN在网络模型参数与当前主流的轻量级网络相当的情况下,具有更优的超分辨率重建性能。     

基于注意力机制和多空间金字塔池化的实时目标检测算法

YOLOv4计算复杂度高、空间金字塔池化模块仅一次增强特征融合网络的深层区域特征图的表征能力、检测头网络的特征图难以突出重要通道特征;针对以上问题,提出一种基于注意力机制和多空间金字塔池化的实时目标检测算法;该算法采用多空间金字塔池化,提取局部特征和全局特征,融合多重感受野,加强特征融合网络的浅、中、深层特征图的表征能力;引入压缩激励通道注意力机制,建模通道间的相关性,自适应调整特征图各个通道的权重,从而使网络更加关注重要特征;特征融合和检测头网络中使用深度可分离卷积,减少了网络参数量;实验结果表明,所提算法的均值平均精度均高于其他七种主流对比算法;与YOLOv4相比,参数量、模型大小分别减少了27.85 M和106.25 MB,所提算法在降低复杂度的同时,提高了检测准确度;且该算法的检测速率达到33.70 帧/秒,满足实时性要求。     

基于并行注意力UNet的裂缝检测方法

裂缝对公共设施而言存在着安全隐患,因此裂缝检测是公共设施进行维护的重要手段.由于裂缝图像中存在噪声、光线、阴影等因素干扰,神经网络在训练时极易被影响,导致预测结果出现偏差,降低预测效果.为减少这些干扰,设计了一个并行注意力机制,并将其嵌入到UNet网络的解码部分,进而提出了并行注意力UNet(parallel attention based UNet, PA-UNet).该方法分别从通道和空间2个维度加大裂缝特征权重以抑制干扰,然后对这2个维度生成的特征进行融合,以获得更具互补性的裂缝特征.为了验证该方法的有效性,选取了4个数据集进行实验,结果表明该方法较现有的主流方法,裂缝检测效果更加优异.同时,为了验证并行注意力机制的有效性,选取了4种注意力机制与其进行对比实验,结果表明并行注意力机制效果优于其他注意力机制.     

融合注意力机制和空洞卷积的滑坡图像检测

滑坡区域图像检测与识别在灾害范围识别、灾情数据分析和防灾减灾中具有丰富的应用和研究价值。本文针对滑坡图像滑坡体形状纹理的多样性,以及滑坡目标区域检测识别效果不够理想的问题,提出一种注意力机制CBAM与空洞卷积结合的目标检测方法。在传统的目标检测算法Faster R-CNN的基础上,将注意力机制模型添加到卷积神经网络层,通过空间注意力与通道注意力结合的CBAM模型来进行滑坡图像特征的提取,增加空洞卷积模块来加大感受野区域,提高神经网络对遥感图像区域中的滑坡目标识别、尺寸不规范等特点的学习能力,从而进一步提升滑坡目标区域的检测精度。实验结果表明,在传统的目标检测算法的基础上采用两者结合的方式进行检测,可提升滑坡遥感图像上目标检测的召回率和精确率,具有一定的有效性和鲁棒性。     

结合注意机制和多尺度卷积的YOLO行人检测算法

为提高行人检测的检测性能, 本文结合SqueezeNet、注意力机制、空洞卷积和Inception等结构, 提出一种基于改进YOLOv4的行人检测算法. 改进YOLO在特征增强部分引入残差连接和结合空洞卷积的注意力模块D-CBAM, 可以从提取到的特征中选择对目标检测重要的信息. 此外, 结合SqueezeNet的“squeeze- expand”结构和Inception网络的多尺度卷积思想提出Inception-fire模块用于替代网络中的连续卷积层, 通过增加网络的宽度达到提升算法性能的效果, 同时减少网络的参数. 最后, 根据行人检测任务的特点并结合Focal loss对损失函数进行改进, 分别对正负样本和难易样本添加权重因子, 强调对正样本和难分类样本的训练, 从而提高网络的检测能力. 改进的YOLO算法在INRIA行人数据集上的检测精度能够达到94.95%, 相对原YOLOv4提高4.25%, 同时参数量减少了36.35%, 检测速度也获得13.54%的提升, 在行人检测中能够表现出更优秀的性能.     

基于增强卷积神经网络的路面裂纹检测

为了提高路面裂纹检测的效率以及精度,将增强卷积神经网络引入路面裂纹图像识别中。首先,采用线性灰度变换对原始图像进行预处理,减少噪声对识别的影响。接着经过结构设计,算法训练以及实验样本测试几个步骤后,建立了路面裂纹识别模型。最终通过在Matlab实验显示,建立的识别模型能够有效地对路面裂纹进行识别,识别率可达92.8%。实验结果表明相比于其他算法,本算法具有效率高、结果准确等优势,能够满足工程需求。