基于注意力机制和多尺度特征融合的道路裂缝检测

针对复杂背景下细小裂缝难以检测和裂缝检测出现断裂的问题,提出一种基于注意力机制和多尺度特征融合的道路裂缝检测方法EAFNet。在编码阶段设计边缘细化模块,更好提取裂缝细节特征;在网络中间部分设计基于注意力机制的多尺度特征融合模块对裂缝进行准确定位;在解码器部分设计融合优化模块,更好提取裂缝特征和定位裂缝位置。在公开数据集CRACK500训练集上进行训练并在两个道路裂缝数据集上进行测试,与现有的部分检测方法相比,该算法在分割精度和泛化性上都有提升,该算法对于细小裂缝的分割更为精细且有效解决了裂缝检测的断裂问题。     

增强语义信息与多通道特征融合的裂缝检测

路面裂缝检测是用以判断道路安全与否的关键技术,由于裂缝的背景复杂多样,传统的裂缝检测算法难以准确检测裂缝。提出了一种增强语义信息与多通道特征融合的裂缝自动检测算法。网络整体为编码器-解码器结构,在编码器部分引入扩张卷积模块,扩大特征图有效感受野,整合图像上下文信息,增强特征语义表达能力,提高像素分类精度。在解码器部分搭建了一个基于注意力机制的多通道特征融合模块,利用高层全局注意力信息指导高层语义特征与低层细节特征的逐级融合,有利于恢复图像细节信息,进一步提升对裂缝的像素级检测精度。实验结果表明,在CRACK500公开数据集上训练的模型在测试集上取得72.5%的平均交并比（Intersection over Union,IoU）和96.8%的F1score,该模型直接用于CrackForest数据集测试,平均IoU和F1score分别提升2.0个百分点和1.1个百分点,表明模型具有很好的泛化性能,可用于复杂道路场景下的裂缝检测与质量评估。     

基于注意力与金字塔融合的医学图像分割仿真

针对现有的U-Net编解码结构网络的边缘模糊以及上下文信息提取能力弱等问题,提出了在编解码结构网络基础上融合反向注意力和金字塔模块的图像分割网络.网络以Res2Net50作为特征编码器提取特征,在编码器与解码器中引入尺度感知金字塔融合模块,加强网络对上下文信息的提取能力,然后在跳跃连接处加入反向注意力模块,用以提取边缘...     

多尺度局部特征增强Transformer道路裂缝检测模型

目的 道路裂缝是路面病害的早期征兆。定期监测路面状况、及时准确地发现路面裂缝对于交通养护机构降低成本、保证路面结构的可靠性和耐久性以及提高驾驶安全性、舒适性有重要意义。目前基于卷积神经网络的深度学习模型在长距离依赖建模方面存在不足,模型精度难以满足真实路面环境下的裂缝检测任务。一些模型通过引入空间/通道注意力机制进行长距离依赖建模,但是会导致计算量和计算复杂程度增加,无法实现实时检测。鉴于此,本文提出一种基于Transformer编码—解码结构的深度神经网络道路裂缝检测模型CTNet(crack transformer network)。方法 该模型主要由Transformer注意力模块、多尺度局部特征增强模块、上采样模块和跨越连接4部分构成。采用Transformer注意力机制能更有效提取全局和长距离依赖关系,克服传统卷积神经网络表征输入信息的短距离相关缺陷。同时,为适应裂缝尺寸变化多样性,将Transformer与多尺度局部特征增强模块相结合,从而有效整合不同尺度局部信息,克服Transformer局部特征建模不足。结果 通过与DeepCrack模型在不同裂缝检测数据集中的比较表明...     

基于Deepcrack网络的混凝土裂缝检测方法

混凝土结构裂缝对建筑安全构成了极大的潜在威胁,裂缝检测对建筑结构的维护具有重要意义,当前基于深度学习的裂缝检测针对提取裂缝细节的能力仍有待提高。因此,该文对Deepcrack网络进行优化,提出了基于金字塔分割注意力和全局上下文的混凝土裂缝检测算法PG-Deepcrack。首先,在编码器中提出双卷积-注意力并行模块,增加金字塔分割注意力分支为卷积层提供更丰富的多尺度裂缝信息;其次,为了捕获长距离依赖关系,并行模块操作后引入全局上下文模块,进一步提升网络对裂缝细节的表达能力;最后,在特征融合阶段利用全维动态卷积和GELU激活函数,对编解码器特征层联级融合,使网络更全面地保留不同尺寸的裂缝信息并提高模型的泛化性能。为验证网络模型的有效性,在Deepcrack数据集上与7个网络模型进行对比试验,所提出的网络表现了最佳性能,IoU达到了72.78%。     

联合自注意力和循环网络的图像标题生成

目前大多数图像标题生成模型都是由一个基于卷积神经网络(Convolutional Neural Network,CNN)的图像编码器和一个基于循环神经网络(Recurrent Neural Network,RNN)的标题解码器组成。其中图像编码器用于提取图像的视觉特征,标题解码器基于视觉特征通过注意力机制来生成标题。然而,使用基于注意力机制的RNN的问题在于,解码端虽然可以对图像特征和标题交互的部分进行注意力建模,但是却忽略了标题内部交互作用的自我注意。因此,针对图像标题生成任务,文中提出了一种能同时结合循环网络和自注意力网络优点的模型。该模型一方面能够通过自注意力模型在统一的注意力区域内同时捕获模态内和模态间的相互作用,另一方面又保持了循环网络固有的优点。在MSCOCO数据集上的实验结果表明,CIDEr值从1.135提高到了1.166,所提方法能够有效提升图像标题生成的性能。     

基于金字塔特征和级联注意力的路面裂缝检测

路面裂缝检测是道路病害自动检测一个关键环节,传统图像检测方法效率不高且易受环境干扰。论文基于卷积神经网络设计了一种在金字塔特征上采用级联注意力（Cascaded Attention）机制的CANet新结构。该网络以ResNext50为骨架网络提取路面图像金字塔特征,进而生成跨层和跨尺度的两级注意力掩膜对裂缝的卷积特征进行增强,并在不同尺度输出的裂缝特征采用双向融合方式生成裂缝预测图。CANet网络新增三个新模块,分别是Layer Attention(LA)模块、Scale-Attention(SA)模块以及Multi View Enhance(MVE)模块。该网络分别在CrackLS315和DeepCrack-DB两个数据集上进行了训练和测试,ODS和OIS指标都取得了当前最好结果。     

改进编码-解码框架下的跨站脚本检测

为解决传统机器学习方法特征提取工作艰难导致对跨站脚本检测性能有限的问题,提出应用注意力机制改进编码-解码框架的方法并以此建立模型检测跨站脚本。由卷积神经网络和双向门控循环单元网络并行构成编码器,既考虑输入数据上下文信息,又充分提取有效特征;使用注意力机制解决传统编码-解码框架的“分心问题”;使用门控循环单元网络构成解码器,使用分类器进行分类检测。在收集到的数据集上进行仿真实验,验证了模型的有效性和性能优势。     

结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法

针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络.在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码器模块中引入残差注意力机制,强化网络对重要特征的关注同时抑制不必要的噪声.实验结果表明,相较其他算法,该算法取得了较显著的改进;相对PRNet,该算法以更少的参数量在各项指标上取得7.7％～12.1％的性能提升.     

基于可逆金字塔和平衡注意力的工业裂缝分割

针对目前工业裂缝分割算法存在细小裂缝易丢失、孤立噪点难消除的问题，提出一种基于可逆金字塔和平衡注意力的工业裂缝分割网络（reversible pyramid and balanced attention network，RPBAN）。提出可逆金字塔模块，在编码器与解码器之间引入特征金字塔和改进后的倒-特征金字塔，加深全局特征与细节特征的融合，从而提升细小裂缝检测性能；在解码阶段引入平衡注意力模块，将平衡特征作为引导信息，有效消除孤立噪点；在学习阶段选取Focal Loss作为损失函数，控制正负样本在训练中所占的权重，使得模型更专注于裂缝样本。通过在自建的输配电线路瓷瓶裂缝数据集InsulatorCrack和三个具有挑战性的公开裂缝数据集CFD、CrackTree200和AEL上进行验证和测试，实验表明与其他基准方法相比，RPBAN提升了细小裂缝检测效果，有效消除了孤立噪点，能够实现更高精度的语义分割。在四个数据集上IoU分别达到61.42%、58.36%、64.45%、53.44%，说明了RPBAN的有效性和通用性。