ERCUnet：一种基于U-Net改进的道路裂缝检测模型

针对传统的道路裂缝检测方法存在灵活度不高、普适性不强等问题,本文参考ResNet中的残差设计和U-Net模型的U形编码解码结构,设计一种基于U-Net改进的道路裂缝检测模型——ERCUnet。该模型以残差块为主体,针对裂缝检测优化不同深度卷积层的卷积核数量,模型中所有的残差块结构相同,模型整体结构更加整齐和简单,具有可塑性好、结构性强,残差结构不仅使特征融合更加充分,也避免了深层卷积神经网络梯度消失的问题。实验在CrackForest数据集上进行,将CrackForest的118张含标注图片按照5〖DK〗∶1的比例划分训练集和测试集,通过一系列数据增广方法,有效缓解了训练数据过少的问题。损失函数融合了交叉熵和F1分数,缓解了正负样本不均衡的问题,最终的实验结果显示ERCUnet模型参数量仅为U-Net(BN)模型的13.30%,在测试集上的查全率、查准率、F1值均达70%以上,噪声率、准确率分别为29.05%、99.01%。为证实ERCUnet的可塑性,通过修改模型参数得到ERCUnet-tiny模型,其参数量仅为U-Net(BN)模型的2.39%,在测试集上取得了与U-Net(BN)相近的效果。     

结合双注意力机制的道路裂缝检测

目的 道路裂缝检测旨在识别和定位裂缝对象,是保障道路安全的关键问题之一。为解决传统深度神经网络在检测背景较复杂、干扰较大的裂缝图像时精度较低的问题,设计了一种基于双注意力机制的深度学习道路裂缝检测网络。方法 本文提出了在骨干网络中融入空洞卷积和两种注意力机制的方法,将其中的轻量型注意力机制与残差模块结合为残差注意力模块Res-A。对比研究了该模块“串联”和“并联”两种方式对于裂缝特征关系权重的影响并获得最佳连接。同时,引入Non-Local计算模式的注意力机制,通过挖掘特征图谱的关系权重以提高裂缝检测性能。结合两种注意力机制可以有效解决复杂背景下道路裂缝难检测的问题,提高了道路裂缝检测精度。结果 在公开复杂道路裂缝数据集Crack500上进行对比实验与验证。为证明本文网络的有效性,将平均交并比(mean intersection over union, m Io U)、像素精确度(pixel accuracy, PA)和训练迭代时间作为评价指标,并进行了3组对比实验。第1组实验用于评价残差注意力模块中通道注意力机制和空间注意力机制之间不同组合方式的检测性能,结果表明这两种机制并联相加时...     

基于注意力机制的深度学习路面裂缝检测

为实现自动准确地检测路面裂缝,提升路面裂缝检测效果,提出了一种基于注意力机制的裂缝检测网络(attention-basedcracknetworks,ACNet).该网络采用编码器-解码器网络构架,编码器采用ResNet34为骨干网,提取路面裂缝特征;在编码器和解码器间加入基于注意力机制的特征模块(attention-basedfeaturemodule,AFM),以利用全局信息和增加对检测不同尺度裂缝的鲁棒性,更好地提取裂缝特征和定位裂缝位置;在解码阶段也引入注意力机制,设计了基于注意力机制的解码模块(attention-baseddecodermodule,ADM),实现对裂缝的准确定位.在公共裂缝数据集CFD和CRACK500上,与U-Net等其他8种方法进行了比较,结果表明, ACNet裂缝检测效果更理想,在主观视觉上,裂缝定位更准确,细节更丰富;在实验指标F1和重合率上,检测结果都有明显提升,说明了该网络的有效性.     

融合注意力机制改进残差网络的表情识别方法

为提高大数据挖掘过程中表情识别的计算速度和准确率,在ResNet-50模型的基础上,融合通道注意力机制与改进残差网络,提出一种表情识别方法的改进模型(SE-ResNet-50+Swish)。改进模型在ResNet-50的基础上,引入多个带有通道注意力模块SE的特征层对表情样本进行特征提取,利用注意力机制增强关键的特征通道,增强网络的特征表达与鲁棒性,且能够有效减少计算量,并利用激活函数Swish替代ReLU激活函数,以达到进一步提升表情识别准确率的目的。在CAS-PEAL-R1数据库上进行验证的结果表明,SE-ResNet-50在ResNet-50的基础上引入SE模块之后,虽然增加了网络层数,但计算速度以及表情识别的准确率有明显提高;改进模型利用Swish替代ReLU后,相比于SE-ResNet-50的参数数量与计算量等无显著增多,但表情识别准确率有提升;以上结果表明,改进模型能够有效减少计算量,并增强网络的特征表达与鲁棒性,从而达到提升表情识别计算速度与识别准确率的目的。     

基于改进U-Net网络的细小裂纹检测

针对复杂背景下细小裂纹图像检测难、噪声干扰多和裂纹宽度信息易丢失的问题,提出一种基于U-Net改进的方法.利用残差块解决网络退化,加入BN层改善梯度弥散,融入深度可分离卷积以及高尺度的转置卷积,实现特征信息由浅入深的传递;改进注意力机制,实现细节特征的优化;延伸U-Net特征向量长度,在底部加入由最大池化层、小尺度深度...     

基于注意力机制和残差网络的恶意代码检测方法

针对目前已有的基于深度学习的恶意代码检测方法提取特征不足和准确率低的问题,提出一种基于注意力机制和残差网络（ResNet）的恶意代码检测方法 ARMD。为了支持该方法的训练,从Kaggle网站获取了47 580个恶意和良性代码的Hash值,并利用VirusTotal分析工具提取每个代码数据调用的API,在此之后将所调用的API整合为1 000个不重复的API作为检测的特征来构造训练样本数据;然后根据VirusTotal的分析结果进行良恶性判定进而标记样本数据,并采用SMOTE增强算法使数据样本均衡化;最后构建并训练注入注意力机制的ResNet,从而实现恶意代码检测。实验结果表明ARMD的恶意代码检测准确率为97.76%,且与目前已有的基于卷积神经网络（CNN）和ResNet模型的检测方法相比,平均精确率至少提高了2个百分点,验证了ARMD的有效性。     

基于注意力机制和残差网络的恶意代码检测方法

针对目前已有的基于深度学习的恶意代码检测方法提取特征不足和准确率低的问题,提出一种基于注意力机制和残差网络（ResNet）的恶意代码检测方法 ARMD。为了支持该方法的训练,从Kaggle网站获取了47 580个恶意和良性代码的Hash值,并利用VirusTotal分析工具提取每个代码数据调用的API,在此之后将所调用的API整合为1 000个不重复的API作为检测的特征来构造训练样本数据;然后根据VirusTotal的分析结果进行良恶性判定进而标记样本数据,并采用SMOTE增强算法使数据样本均衡化;最后构建并训练注入注意力机制的ResNet,从而实现恶意代码检测。实验结果表明ARMD的恶意代码检测准确率为97.76%,且与目前已有的基于卷积神经网络（CNN）和ResNet模型的检测方法相比,平均精确率至少提高了2个百分点,验证了ARMD的有效性。     

改进U-Net型网络的遥感图像道路提取

目的 遥感图像道路提取在城市规划、交通管理、车辆导航和地图更新等领域中发挥了重要作用,但遥感图像受光照、噪声和遮挡等因素以及识别过程中大量相似的非道路目标干扰,导致提取高质量的遥感图像道路有很大难度。为此,提出一种结合上下文信息和注意力机制的U-Net型道路分割网络。方法 使用Resnet-34预训练网络作为编码器实现特征提取,通过上下文信息提取模块对图像的上下文信息进行整合,确保对道路的几何拓扑结构特征的提取;使用注意力机制对跳跃连接传递的特征进行权重调整,提升网络对于道路边缘区域的分割效果。结果 在公共数据集Deep Globe道路提取数据集上对模型进行测试,召回率和交并比指标分别达到0.847 2和0.691 5。与主流方法U-Net和CE-Net（context encoder network）等进行比较,实验结果表明本文方法在性能上表现良好,能有效提高道路分割的精确度。结论 本文针对遥感图像道路提取中道路结构不完整和道路边缘区域不清晰问题,提出一种结合上下文信息和注意力机制的遥感道路提取模型。实验结果表明该网络在遥感图像道路提取上达到良好效果,具有较高的研究和应用价值。     

基于改进卷积注意力模块与残差结构的SSD网络

SSD(Single Shot Multibox Detector)是一种基于卷积神经网络的单阶检测算法,相比双阶检测算法,它在保证一定精度的同时显著提高了检测速度,但仍难以满足很多实际应用,尤其是在小目标检测任务中,检测精度更是难以满足需求.针对该不足,文中提出了一种基于改进残差结构与卷积注意力模块的特征提取网络Re...     

面向轴承早期故障检测的多尺度残差注意力深度领域适配模型

针对由工作环境和设备状况的差异引起的轴承早期故障检测模型可靠性差、误报警率高的问题，根据早期故障检测的特点和需求，提出一种多尺度注意力深度领域适配模型。首先，将监测信号处理成由原始信号、希尔伯特-黄变换边际谱、频谱组成的三通道数据；然后，通过在残差注意力模块中增加不同尺寸的滤波器以提取多尺度深度特征，使用卷积-反卷积操作来重构输入信息从而获得注意力信息，并且将注意力信息与多尺度特征融合构建了一种多尺度残差注意力模块，用于提取对早期故障表征能力更强的注意力特征；其次，在所提取到的注意力特征基础上，构建基于交叉熵和最大均值差异（MMD）正则化约束的损失函数来实现领域适配；最后，采用随机梯度下降算法进行网络参数优化，构建端到端的早期故障检测模型。在IEEE PHM-2012数据挑战赛数据集上的实验结果表明，与8种代表性的早期故障检测和诊断方法以及迁移学习算法相比，所提方法能够在不延迟报警时间点的前提下，分别比8种方法的平均误报警率降低了62.7%和61.3%，有效提高了早期故障检测的鲁棒性。     

面向轴承早期故障检测的多尺度残差注意力深度领域适配模型

针对由工作环境和设备状况的差异引起的轴承早期故障检测模型可靠性差、误报警率高的问题,根据早期故障检测的特点和需求,提出一种多尺度注意力深度领域适配模型。首先,将监测信号处理成由原始信号、希尔伯特-黄变换边际谱、频谱组成的三通道数据;然后,通过在残差注意力模块中增加不同尺寸的滤波器以提取多尺度深度特征,使用卷积-反卷积操作来重构输入信息从而获得注意力信息,并且将注意力信息与多尺度特征融合构建了一种多尺度残差注意力模块,用于提取对早期故障表征能力更强的注意力特征;其次,在所提取到的注意力特征基础上,构建基于交叉熵和最大均值差异（MMD）正则化约束的损失函数来实现领域适配;最后,采用随机梯度下降算法进行网络参数优化,构建端到端的早期故障检测模型。在IEEE PHM-2012数据挑战赛数据集上的实验结果表明,与8种代表性的早期故障检测和诊断方法以及迁移学习算法相比,所提方法能够在不延迟报警时间点的前提下,分别比8种方法的平均误报警率降低了62.7%和61.3%,有效提高了早期故障检测的鲁棒性。     

基于通道注意力与密集连接机制的道路裂缝识别方法研究

随着人工智能的急速发展,以深度学习为代表的各类人工智能算法开始应用在道路裂缝检测领域中.本文介绍了一种基于通道注意力与密集连接机制的道路裂缝检测网络DenseNet-SE及其变体DenseNet-NSE,并将该方法与现存技术进行了测试和分析.实验结果表明,DenseNet-SE与DenseNet-NSE能够提高模型的泛...     

基于残差注意力机制的点云配准算法

针对传统点云配准算法精度低、鲁棒性差以及放疗前后癌症患者无法实现精确放疗的问题,提出一种基于残差注意力机制的点云配准算法（ADGCNNLK）。首先,在动态图深度卷积网络（DGCNN）中添加残差注意力机制来有效地利用点云的空间信息,并减少信息损失;然后,利用添加残差注意力机制的DGCNN提取点云特征,这样做不仅可以在保持点云置换不变性的同时捕捉点云的局部几何特征,也可以在语义上将信息聚合起来,从而提高配准效率;最后,将提取到的特征点映射到高维空间中并使用经典的图像迭代配准算法LK进行配准。实验结果表明,所提算法与迭代最近点算法（ICP）、全局优化的ICP算法（Go-ICP）和PointNetLK相比,在无噪、有噪的情况下配准效果均最好。其中,在无噪情况下,与PointNetLK相比,所提算法的旋转均方误差降低了74.61%,平移均方误差降低了47.50%;在有噪声的情况下,与PointNetLK相比,所提算法的旋转均方误差降低了73.13%,平移均方误差降低了44.18%,说明所提算法与PointNetLK相比鲁棒性更强。将所提算法应用于放疗前后癌症患者人体点云模型的配准,从而辅助医生治疗,并实现了精确放疗。     

基于多尺度特征融合与注意力机制的脊柱CT图像分割

本文针对医学脊柱CT图像因骨密度不均匀、骨骼结构复杂或图像成像分辨率低等因素造成的分割精度较低的问题,提出一种基于卷积-反卷积神经网络的CT图像脊柱分割方法.通过引入多尺度残差模块及注意力机制改进U-Net网络,训练特征模型并进行测试.在真实数据集上的实验结果表明,该方法能有效提高CT图像中脊柱的分割精度及分割效率,Dice系数评估值为0.97,IOU系数评估值为0.94.     

基于注意力机制和残差块的真实图像去噪

为有效去除真实图像噪声，提出一种基于注意力机制和残差块的图像去噪算法。采用通道和空间注意力机制相结合的双重注意力模块给不同的特征赋予权重，并与残差块合并于编解码结构；应用增大感受野模块，在保护图像结构的同时增大感受野；整体架构采用密集特征融合保留更多细节。实验结果表明，该算法在SIDD和DND数据集的峰值信噪比分别达到了39.59 dB和39.73 dB,结构相似性分别达到了0.911%和0.953%,具有最佳视觉效果。所提算法在去噪的同时能够保留更多图像细节信息。     

结合注意力机制和多路径U-Net的视网膜血管分割

针对现有算法无法精确分割细微血管末端,且分割结果易受光学造影与病变区域影响的问题,提出一种结合注意力和多路径U-Net的视网膜血管分割算法.首先,设计一个双路径U-Net,通过纹理与结构分支提取粗和细粒度血管,并使用语义指导模块充分融合深浅层特征;其次,采用一种引入注意力机制和DropBlock的残差模块来代替普通卷积模块,改善处于复杂背景区域中血管的分割效果,防止过拟合;最后,将双路径U-Net的输出图与原图传入特征细化模块进行特征提取和融合,进一步细化血管分割结果.在DRIVE, STARE和CHASEDB1数据集上的实验结果表明,该算法的准确率分别为97.01%,96.43%和97.52%;灵敏度分别为80.31%,84.38%和81.61%;受试者工作特性曲线下方的面积(AUC)分别为98.67%, 98.06%和98.83%,综合分割性能优于其他算法.     

基于注意力机制子网络的时空跌倒检测算法

近年来行人跌倒检测变得越来越重要,因为准确及时的跌倒检测可以帮助跌倒者获得紧急救援。针对复杂场景中由于光照变化、遮挡和尺度变化等导致检测性能下降的问题,提出一种实时、鲁棒的跌倒检测算法。首先采用YOLO v3目标检测模块完成行人检测;然后在跟踪模块中对每个跟踪的边界框提取深层特征后,运用数据增强和重检测技术提高光照变化下的检测精度,并引入注意力机制子网络应对被遮挡目标的检测;最后跌倒判断模块对行人姿态进行判断,完成实时跌倒检测和报警。在Cityperson数据集、Montreal fall数据集和自建数据集上的实验结果表明,行人检测算法的检测精度达到87.05%,跌倒算法的检测精度达到98.55%,时延在120 ms以内,且在光照变化和遮挡影响下依然能获得良好的性能。     

基于注意力机制的3D车辆检测算法

3D车辆检测是自动驾驶场景中的一个关键问题,涉及到3D目标检测与目标分类。目前的3D检测与分类网络对于所有输入的点云数据一视同仁,但在实际检测过程中,点云中不同点对于检测的重要程度可能并不相同。为了得到更好的检测结果,通过引入注意力机制来得到不同点的特征的权重,从而在回归时让部分点的特征得到更多的重视。实验表明,该算法在保证实时效率的前提下,与现有算法相比,具有更高的准确度。     

基于AlexNet的注意力机制网络研究

本文采用引入人类视觉系统的注意力机制对AlexNet网络模型进行改进,通过融入注意力机制对AlexNet注意力机制网络进行研究,并通过CIFAR-10数据集进行实验对比验证.实验对比结果表明,AlexNet注意力机制网络模型比传统AlexNet网络模型具有更好的分类效果,其分类准确率提升了2％.