基于改进注意力网络的转炉炼钢状态判别

转炉炼钢的状态判别对成品钢材质量的好坏有直接影响。根据人工经验的状态判别需要持续观察炉口的火焰变化,存在主观性强、成本高等问题。为了提升转炉炼钢状态判别的准确率,提出一种基于注意力机制的3D残差卷积神经网络模型。改进的通道注意力将平均池化和最大池化进行特征融合,可以推断出更精细的通道特征,空间注意力能提取到空间上的重点信息。实验结果表明,改进的模型效果好于SE、CBAM和ECA注意力模块,与未加注意力机制的3D残差模型相比,F1分数提高了1.03个百分点,准确度提高了1.06个百分点。最后通过消融实验,分析通道注意力和空间注意力对于网络模型的影响。     

改进U-Net模型的无人机影像在建道路分类

针对无人机影像背景复杂,城市在建道路分类易被相似目标、建设设施等信息干扰的问题,提出了基于改进U-Net模型的无人机影像在建道路提取模型。为获取更深层次的边界细节信息,采用Res2net结构分阶替换原有U-Net网络的卷积层,提高网络下采样深度;增加CBAM双注意力机制模块引于各分块特征信息之后,对空间和通道进行重新校准,强调道路特征,校正模型参数;引入改进的Dense ASPP模块,与前层次的细节信息拼接,增强道路区域上下文信息的获取能力。结果表明,所提出的改进U-Net网络训练的提取模型在精确率、召回率、F1分值、平均交并比等评价指标上,均优于传统的U-Net、DeeplabV3+、HRnet等网络模型,可有效提取建设道路各阶段信息,针对在建道路项目的施工进度监测提供方法支持。     

基于FPA-U-Net-GAU的肺部病变区域分割方法研究

针对现有机器学习和深度学习网络算法对肺部病变区域分割精度不高的问题,提出了一种基于改进的特征金字塔注意力机制(Feature Pyramid Attention,FPA)与U-Net网络结合肺部病变区域分割算法。该算法在U-Net采样中嵌入FPA,FPA对目标区域空间位置信息进行分级特征提取,并结合全局池化学习表示特征。在每个上采样模型中引入全局注意力上采样模块(Global Attention Upsample,GAU)作为全局上下文信息的特征提取,网络方法简写为FPA-U-Net-GAU。将FPA-U-Net-GAU与几种经典分割算法模型进行对比,实验结果表明,FPA-U-Net-GAU方法有效提高了分割精度和稳定性,其DSC为0.885,PPV为0.851,Sensitivity为0.882。     

结合双注意力机制的道路裂缝检测

目的 道路裂缝检测旨在识别和定位裂缝对象,是保障道路安全的关键问题之一。为解决传统深度神经网络在检测背景较复杂、干扰较大的裂缝图像时精度较低的问题,设计了一种基于双注意力机制的深度学习道路裂缝检测网络。方法 本文提出了在骨干网络中融入空洞卷积和两种注意力机制的方法,将其中的轻量型注意力机制与残差模块结合为残差注意力模块Res-A。对比研究了该模块“串联”和“并联”两种方式对于裂缝特征关系权重的影响并获得最佳连接。同时,引入Non-Local计算模式的注意力机制,通过挖掘特征图谱的关系权重以提高裂缝检测性能。结合两种注意力机制可以有效解决复杂背景下道路裂缝难检测的问题,提高了道路裂缝检测精度。结果 在公开复杂道路裂缝数据集Crack500上进行对比实验与验证。为证明本文网络的有效性,将平均交并比(mean intersection over union, m Io U)、像素精确度(pixel accuracy, PA)和训练迭代时间作为评价指标,并进行了3组对比实验。第1组实验用于评价残差注意力模块中通道注意力机制和空间注意力机制之间不同组合方式的检测性能,结果表明这两种机制并联相加时...     

用于肺部病灶图像分割的多尺度稠密融合网络

针对主流的深度学习网络难以完整分割肺部病灶、区域边界预测模糊的问题，提出一种基于U-Net的多尺度稠密融合网络（MDF-Net）。首先，引入多分支密集跳层连接以捕获多级上下文信息，并在网络末端引入信息加权融合（IWF）模块进行逐级融合，以解决网络中的特征损失问题；其次，设计一种自注意力金字塔模块，使用各金字塔层对特征图进行不同规模的切分处理，并使用自注意力机制计算像素关联度，从而增强局部与全局区域的感染特征显著性；最后，设计一种区别于传统U-Net的上采样模式的上采样残差（UR）模块，多分支的残差结构与通道特征激励使网络能够还原更加丰富的微小病灶特征。在两个公开数据集上的实验结果显示，与UNeXt相比，所提网络的准确度（ACC）分别提升了1.5%和1.4%，平均交并比（MIoU）分别提升了3.9%和1.9%，实验结果验证了MDF-Net具有更好的肺部病灶分割性能。     

GCAT-U-Net嵌入全局坐标注意力机制的遥感地块分割网络

遥感影像的地块背景特征复杂,当前地块分割方法不能较好地处理模糊的边缘信息,导致分割精度不理想;文章利用注意力机制处理地块特征,提出了一种基于全局坐标注意力机制的遥感地块分割网络:GCAT-U-Net;该方法在U-Net网络基础上嵌入了全局坐标注意力机制,加强了深度神经网络对于遥感影像数据中重要特征的关注度;在公开的GID数据集上的实验结果表明,文章提出的模型将准确率从0.9041提升到了0.9227,比传统U-Net网络提高了2百分点;结合特征自身重要性和特征位置信息的全局坐标注意力机制有助于更精确的目标定位,其输出相较于嵌入单一注意力机制,地块边界更为清晰,提升效果更为显著。     

增强语义信息与多通道特征融合的裂缝检测

路面裂缝检测是用以判断道路安全与否的关键技术,由于裂缝的背景复杂多样,传统的裂缝检测算法难以准确检测裂缝。提出了一种增强语义信息与多通道特征融合的裂缝自动检测算法。网络整体为编码器-解码器结构,在编码器部分引入扩张卷积模块,扩大特征图有效感受野,整合图像上下文信息,增强特征语义表达能力,提高像素分类精度。在解码器部分搭建了一个基于注意力机制的多通道特征融合模块,利用高层全局注意力信息指导高层语义特征与低层细节特征的逐级融合,有利于恢复图像细节信息,进一步提升对裂缝的像素级检测精度。实验结果表明,在CRACK500公开数据集上训练的模型在测试集上取得72.5%的平均交并比（Intersection over Union,IoU）和96.8%的F1score,该模型直接用于CrackForest数据集测试,平均IoU和F1score分别提升2.0个百分点和1.1个百分点,表明模型具有很好的泛化性能,可用于复杂道路场景下的裂缝检测与质量评估。     

基于特征融合和注意力机制的图像超分辨率模型

现有的基于深度学习的单张图像超分辨率(single image super-resolution, SISR)模型通常是通过加深网络层数来提升模型的拟合能力,没有充分提取和复用特征,导致重建图像的质量较低。针对该问题,提出了基于特征融合和注意力机制的图像超分辨率模型。该模型在特征提取模块使用残差中嵌入残差(residual in residual, RIR)的结构,该网络的特征提取模块由包含多个残差块的残差组构成,并且在每个残差组内进行局部特征融合,在每个组之间进行全局特征融合。此外,在每一个残差块中引入坐标注意力模块,在每一个残差组中引入空间注意力模块。经验证,该模型能充分提取特征并且复用特征。实验最终结果表明,该模型在客观评价指标和主观视觉效果上都优于现有的模型。     

集成注意力机制和扩张卷积的道路提取模型

目的 为解决当前遥感影像道路提取方法普遍存在的自动化程度低、提取精度不高和由于样本数量不平衡导致的模型训练不稳定等问题,本文提出一种集成注意力机制和扩张卷积的道路提取模型(attention and dilated convolutional U-Net,A&D-UNet)。方法 A&D-UNet聚合网络模型以经典U-Net网络结构为基础,在编码部分引入残差学习单元(residual learning unit,RLU),降低深度卷积神经网络在训练时的复杂度;应用卷积注意力模块(convolutional block attention module,CBAM)从通道和空间维度两个方面优化分配权重,突出道路特征信息;并使用扩张卷积单元(dilated convolutional unit,DCU)感受更大范围的特征区域,整合道路的上下文信息。采用二进制交叉熵(binary cross entropy,BCE)和Dice相结合的复合损失函数训练模型,减轻遥感影像中样本数量不平衡导致的模型不稳定。结果 在公开的美国马萨诸塞州和Deep Globe道路数据集上进行模型验证实验...     

基于注意力机制的深度学习路面裂缝检测

为实现自动准确地检测路面裂缝,提升路面裂缝检测效果,提出了一种基于注意力机制的裂缝检测网络(attention-basedcracknetworks,ACNet).该网络采用编码器-解码器网络构架,编码器采用ResNet34为骨干网,提取路面裂缝特征;在编码器和解码器间加入基于注意力机制的特征模块(attention-basedfeaturemodule,AFM),以利用全局信息和增加对检测不同尺度裂缝的鲁棒性,更好地提取裂缝特征和定位裂缝位置;在解码阶段也引入注意力机制,设计了基于注意力机制的解码模块(attention-baseddecodermodule,ADM),实现对裂缝的准确定位.在公共裂缝数据集CFD和CRACK500上,与U-Net等其他8种方法进行了比较,结果表明, ACNet裂缝检测效果更理想,在主观视觉上,裂缝定位更准确,细节更丰富;在实验指标F1和重合率上,检测结果都有明显提升,说明了该网络的有效性.     

基于密集残差连接的肺结节检测方法

针对目前基于深度学习的肺结节检测算法中不同深度与尺寸的特征信息间没有相互交流的问题,提出了一种基于密集残差连接的肺结节检测模型。本模型在3D U-Net网络的基础上引入密集连接,充分利用网络中肺结节特征图,实现不同层的特征信息的结合,提高结节特征的利用率;同时结合残差结构,避免了网络加深后出现的梯度消失问题;引入通道注意力机制,对不同通道的结节特征赋予权重,提高结节的识别率;在3D U-Net网络的编码解码部分间的跳跃连接中使用转置卷积,融合不同尺度与不同深度的特征。所提算法在肺结节公共数据集LUNA16上进行十折交叉验证,以无限制受试者操作特征为评价指标,实验结果表明,在假阳率为0.125、0.25、0.5、1、2、4、8这7个点上,平均敏感度为0.852,相较于基准模型提升5.5%。所提出的肺结节检测算法相比基准模型提高了检测敏感度,较好的实现对肺结节的检测。     

基于空时特征融合和注意力机制的网络入侵检测模型

针对网络入侵检测性能不高的问题,提出一种基于空时特征融合和注意力机制的深度学习入侵检测模型CTA-net。该模型通过集成卷积神经网络(CNN)和长短时记忆网络(LSTM)获取空时融合特征,然后使用注意力模块(Attention)对输入的空时融合特征进行重要性加权计算,最后通过softmax函数进行分类。使用NSL-KDD数据集的实验结果表明,相比具有相似结构的CNN模型和空时融合的CNN-LSTM模型,在训练集的收敛性具有显著的提升,在测试集上使用的分类评价指标准确率分别提升10.9120个百分点和11.8740个百分点,精确率分别提升9.1950个百分点和9.6130个百分点,召回率分别提升9.1780个百分点和9.9340个百分点,F1-SCORE分别提升10.7830个百分点和11.7500个百分点。仿真结果表明,所提出的CTA-net模型在网络入侵检测方面具有较好的应用潜力。     

基于注意力机制和深度学习的钢板表面缺陷图像分类

针对当前国内钢板表面缺陷图像分类精度不高的问题,提出一种基于注意力机制改进Inception-ResnetV2模型的钢板表面缺陷图像分类方法.实验将六种不同类型的热轧钢板表面缺陷图像进行分类,为了更好地提取任务相关特征,在Inception-ResnetV2模型基础上嵌入CBAM注意力机制模块,该模块可以自主学习每个通道和空间特征的重要性,实现通道和空间上的特征重标定,提升图像分类的表现.实验结果表明,该算法相比于传统Inception-ResnetV2模型识别率提升了2.17百分点,收敛速度更快,具有极大的工程应用价值.     

基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割

人体肾脏存在形状的多样性和解剖学的复杂性,囊肿病变也会导致肾脏形状发生大幅变化。为应对CT图像囊肿肾脏自动分割存在的诸多挑战,提出一种新型深度分割网络模型。该模型设计有带残差连接的双注意力模块,在残差结构的基础上,联合空间注意力和通道注意力机制自适应学习更加有效的特征表达。依据U-Net架构,以残差双注意力模块为基础模块构建编码器和解码器,设置层级间的跳跃连接,使网络能够更加关注肾脏区域特征,有效应对肾脏的形状变化。为了验证所提模型的有效性,从医院共采集79位肾囊肿患者的CT图像进行训练和测试,实验结果表明该模型能够准确分割CT图像切片中的肾脏区域,且各项分割指标优于多个经典分割网络模型。     

ERCUnet：一种基于U-Net改进的道路裂缝检测模型

针对传统的道路裂缝检测方法存在灵活度不高、普适性不强等问题,本文参考ResNet中的残差设计和U-Net模型的U形编码解码结构,设计一种基于U-Net改进的道路裂缝检测模型——ERCUnet。该模型以残差块为主体,针对裂缝检测优化不同深度卷积层的卷积核数量,模型中所有的残差块结构相同,模型整体结构更加整齐和简单,具有可塑性好、结构性强,残差结构不仅使特征融合更加充分,也避免了深层卷积神经网络梯度消失的问题。实验在CrackForest数据集上进行,将CrackForest的118张含标注图片按照5〖DK〗∶1的比例划分训练集和测试集,通过一系列数据增广方法,有效缓解了训练数据过少的问题。损失函数融合了交叉熵和F1分数,缓解了正负样本不均衡的问题,最终的实验结果显示ERCUnet模型参数量仅为U-Net(BN)模型的13.30%,在测试集上的查全率、查准率、F1值均达70%以上,噪声率、准确率分别为29.05%、99.01%。为证实ERCUnet的可塑性,通过修改模型参数得到ERCUnet-tiny模型,其参数量仅为U-Net(BN)模型的2.39%,在测试集上取得了与U-Net(BN)相近的效果。     

引入门控轴向自注意力的多通道病理图像分割

在苏木精-伊红（HE）染色病理图像中,细胞染色分布的不均匀和各类组织形态的多样性给自动化分割带来了极大挑战。针对传统卷积无法捕获大邻域范围内像素间的关联特征,导致分割效果难以进一步提升的问题,提出引入门控轴向自注意力的多通道分割网络（MCSegNet）模型,以实现病理图像细胞核的精准分割。所提模型采用双编码器和解码器结构,在其中使用轴向自注意力编码通道捕获全局特征,并使用基于残差结构的卷积编码通道获取局部精细特征;在编码通道末端,通过特征融合增强特征表示,从而为解码器提供良好的信息基础;而解码器通过级联多个上采样模块逐步生成分割结果。此外,使用改进的混合损失函数有效解决了病理图像中普遍存在的样本不均衡问题。在MoNuSeg2020公开数据集上的实验结果表明,改进的分割方法比U-Net在F1、交并比（IoU）指标上分别提升了2.66个百分点、2.77个百分点,有效改善了病理图像的分割效果,提高了临床诊断的可靠性。     

基于高低频特征分解的深度多模态医学图像融合网络

多模态医学图像融合旨在利用跨模态图像的相关性和信息互补性,以增强医学图像在临床应用中的可读性和适用性。然而,现有手工设计的模型无法有效地提取关键目标特征,从而导致融合图像模糊、纹理细节丢失等问题。为此,提出了一种新的基于高低频特征分解的深度多模态医学图像融合网络,将通道注意力和空间注意力机制引入融合过程,在保持全局结构的基础上保留了局部纹理细节信息,实现了更加细致的融合。首先,通过预训练模型VGG-19提取两种模态图像的高频特征,并通过下采样提取其低频特征,形成高低频中间特征图。其次,在特征融合模块嵌入残差注意力网络,依次从通道和空间维度推断注意力图,并将其用来指导输入特征图的自适应特征优化过程。最后,重构模块形成高质量特征表示并输出融合图像。实验结果表明,该算法在Harvard公开数据集和自建腹部数据集峰值信噪比提升8.29%,结构相似性提升85.07%,相关系数提升65.67%,特征互信息提升46.76%,视觉保真度提升80.89%。     

基于Deepcrack网络的混凝土裂缝检测方法

混凝土结构裂缝对建筑安全构成了极大的潜在威胁,裂缝检测对建筑结构的维护具有重要意义,当前基于深度学习的裂缝检测针对提取裂缝细节的能力仍有待提高。因此,该文对Deepcrack网络进行优化,提出了基于金字塔分割注意力和全局上下文的混凝土裂缝检测算法PG-Deepcrack。首先,在编码器中提出双卷积-注意力并行模块,增加金字塔分割注意力分支为卷积层提供更丰富的多尺度裂缝信息;其次,为了捕获长距离依赖关系,并行模块操作后引入全局上下文模块,进一步提升网络对裂缝细节的表达能力;最后,在特征融合阶段利用全维动态卷积和GELU激活函数,对编解码器特征层联级融合,使网络更全面地保留不同尺寸的裂缝信息并提高模型的泛化性能。为验证网络模型的有效性,在Deepcrack数据集上与7个网络模型进行对比试验,所提出的网络表现了最佳性能,IoU达到了72.78%。     

基于元上采样的单幅图像任意尺度超分辨率重建

针对传统单幅图像超分辨率深度学习方法将不同尺度低分辨率视作独立任务的问题,提出一种以残差通道注意力模块作为特征提取,元上采样模块作为放大模块的超分辨率网络。残差通道注意力机制可以滤除冗余低频信息减少网络深度,使元上采样模块更好地训练不同尺度低分辨率图像特征间的关系,实现任意尺度的超分辨率网络。为了验证该方法有效性,在Set5、Set14、Urban100等公共数据集上实验。实验结果表明,该方法在整数与非整数倍尺度都能很好地恢复高分辨率图像。     

基于改进深度残差网络的光伏板积灰程度识别

光伏板积灰会降低光伏发电的转换效率,同时易造成光伏板的损坏;因此,对光伏板的积灰进行智能识别具有重大意义。针对以上问题,提出一种基于改进深度残差网络的光伏板积灰程度识别模型。首先,通过分解卷积和微调下采样,对次代残差网络（ResNeXt）50进行改进;然后,融合坐标注意力（CA）机制,将位置信息嵌入到通道注意力中,通过精确的位置信息对通道关系和长期依赖性进行编码,并通过二维全局池操作将特征图像分解为两个一维编码,以增强关注对象的表示;最后,用监督对比（SupCon）学习损失函数替代交叉熵损失函数,从而有效提高识别准确率。实验结果表明,在真实光伏电站4个等级的光伏板积灰程度识别中,改进后的ResNeXt50的识别准确率为90.7%,与原始ResNeXt50相比提升了7.2个百分点。所提模型可满足光伏电站智能运维的基本要求。