多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网...     

通道注意力嵌入的Transformer图像超分辨率重构

目的 基于深度学习的图像超分辨率重构研究取得了重大进展,如何在更好提升重构性能的同时,有效降低重构模型的复杂度,以满足低成本及实时应用的需要,是该领域研究关注的重要问题。为此,提出了一种基于通道注意力（channel attention,CA）嵌入的Transformer图像超分辨率深度重构方法（image super-resolution with channelattention-embedded Transformer,CAET）。方法 提出将通道注意力自适应地嵌入Transformer变换特征及卷积运算特征,不仅可充分利用卷积运算与Transformer变换在图像特征提取的各自优势,而且将对应特征进行自适应增强与融合,有效改进网络的学习能力及超分辨率性能。结果 基于5个开源测试数据集,与6种代表性方法进行了实验比较,结果显示本文方法在不同放大倍数情形下均有最佳表现。具体在4倍放大因子时,比较先进的SwinIR （image restoration using swin Transformer）方法,峰值信噪比指标在Urban100数据集上得到了0.09 dB的提升,在Manga109数据集提升了0.30 dB,具有主观视觉质量的明显改善。结论 提出的通道注意力嵌入的Transformer图像超分辨率方法,通过融合卷积特征与Transformer特征,并自适应嵌入通道注意力特征增强,可以在较好地平衡网络模型轻量化同时,得到图像超分辨率性能的有效提升,在多个公共实验数据集的测试结果验证了本文方法的有效性。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

基于双注意力残差循环单幅图像去雨集成网络

降雨会严重降低拍摄图像质量和影响户外视觉任务.由于不同图像中,雨的形状、方向和密度不同,导致单幅图像去雨是一项困难的任务.提出一种新的基于双注意力的残差循环单幅图像去雨集成网络(简称RDARENet).在网络中,因为上下文的信息对于去除雨痕十分重要,所以首先采用多尺度的扩张卷积网络去获得更大的感受野.雨痕信息可以认为是...     

基于通道注意力和门控循环单元的图像去雨算法

在计算机视觉领域,雨线或者雨滴会使雨天拍摄的图像变得模糊,降低图像的质量.针对雨天图像质量低下的问题,提出了一种基于通道注意力和门控循环单元的图像去雨算法.该算法基本思路如下:首先将训练图像通过残差记忆模块提取特征;其次将提取的特征通过特征增强模块增加感受野,识别不同等级的雨线特征并将其增强,传递给后续的循环网络;最后网络循环过程中,通过门控循环单元块实现不同循环阶段之间的参数共享.实验结果利用客观评价指标和主观视觉效果进行评估,验证了该算法在较为复杂数据集上的有效性.     

红外与可见光图像分组融合的视觉Transformer

目的 针对传统红外与可见光图像融合方法中人工设计特征提取和特征融合的局限性,以及基于卷积神经网络(convolutional neural networks, CNN)的方法无法有效提取图像中的全局上下文信息和特征融合过程中融合不充分的问题,本文提出了基于视觉Transformer和分组渐进式融合策略的端到端无监督图像融合网络。方法 首先,将在通道维度上进行自注意力计算的多头转置注意力模块和通道注意力模块组合成视觉Transformer,多头转置注意力模块解决了自注意力计算量随像素大小呈次方增大的问题,通道注意力可以强化突出特征。其次,将CNN和设计的视觉Transformer并联组成局部—全局特征提取模块,用来提取源图像中的局部细节信息和全局上下文信息,使提取的特征既具有通用性又具有全局性。此外,为了避免融合过程中信息丢失,通过将特征分组和构造渐进残差结构的方式进行特征融合。最后,通过解码融合特征得到最终的融合图像。结果 实验在TNO数据集和RoadScene数据集上与6种方法进行比较。主观上看,本文方法能够有效融合红外图像和可见光图像中的互补信息,得到优质的融合图像。从客观定量分析...     

多层次融合注意力网络的双目图像超分辨率重建

目的 随着深度卷积神经网络广泛应用于双目立体图像超分辨率重建任务,双目图像之间的信息融合成为近年来的研究热点。针对目前的双目图像超分辨重建算法对单幅图像的内部信息学习较少的问题,提出多层次融合注意力网络的双目图像超分辨率重建算法,在立体匹配的基础上学习图像内部的丰富信息。方法 首先,利用特征提取模块从不同尺度和深度来获取左图和右图的低频特征。然后,将低频特征作为混合注意力模块的输入,此注意力模块先利用二阶通道非局部注意力模块学习每个图像内部的通道和空间特征,再采用视差注意力模块对左右特征图进行立体匹配。接着采用多层融合模块获取不同深度特征之间的相关信息,进一步指导产生高质量图像重建效果。再利用亚像素卷积对特征图进行上采样,并和低分辨率左图的放大特征相加得到重建特征。最后使用1层卷积得到重建后的高分辨率图像。结果 本文算法采用Flickr1024数据集的800幅图像和60幅经过2倍下采样的Middlebury图像作为训练集,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）作为指标。实验在3个...     

基于CNN与Transformer的医学图像分割

医学图像对疾病的诊断、治疗和评估均有所帮助,准确分割医学图像中的器官对于辅助医生的诊断具有重要的实际意义.由于医学图像中各器官部位与周围组织的图像对比度低,不同器官的边缘和形状也会存在很大差异,从而增加了分割的难度.针对这些问题,本文提出了一种基于卷积神经网络和Transformer的医学图像语义分割网络,有效提高了医学图像语义分割的精度.特征提取部分使用ResNet-50网络结构,在特征提取后使用Transformer模块来扩大感受野.在上采样过程中加入多个跳跃连接层,充分利用各阶段的特征提取信息,来恢复至与输入图像相近的分辨率.在胃肠道医学图像分割数据集上的实验结果证明本文的方法可以有效分割医学图像中的器官组织,提升分割准确率.     

基于通道注意力和Transformer的图像标题生成方法

图像标题生成是指通过计算机将图像翻译成描述该图像的标题语句。针对现有图像标题生成任务中,未充分利用图像的局部和全局特征以及时间复杂度较高的问题,本文提出一种基于卷积神经网络（Convolution Neural Networks,CNN）和Transformer的混合结构图像标题生成模型。考虑卷积网络所具有的空间和通道特性,首先将轻量化高精度的注意力ECA与卷积网络CNN进行融合构成注意力残差块,用于从输入图像中提取视觉特征;然后将特征输入到序列模型Transformer中,在编码器端借助自注意学习来获得所参与的视觉表示,在语言解码器中捕获标题中的细粒度信息以及学习标题序列间的相互作用,进而结合视觉特征逐步得到图像所对应的标题描述。将模型在MSCOCO数据集上进行实验,BLEU-1、BLEU-3、BLEU-4、Meteor和CIDEr指标分别提高了0.3、0.5、0.7、0.4、1.6个百分点。     

基于倍频卷积和注意力机制的图像去雨

针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.     

基于Transformer的多分支单图像去雨方法

雨纹会严重降低拍摄图像的质量,影响后续计算机视觉任务。为了提高雨天图像的质量,提出了一种基于Transformer的单图像去雨算法。首先,该算法通过具有窗口机制的Transformer获得大范围的感受野,进而获取雨纹特征的上下文信息,提高模型提取雨纹特征的能力;其次,该算法通过多分支模块提取和融合不同种类、不同层次的特征,提高模型对复杂雨纹信息的表征能力;最后通过残差连接融合浅层特征和深层特征,补全深层特征中缺失的细节信息,增强网络表达能力。在公开数据集Rain100L、Rain100H和私有数据集Rain3000上的实验结果表明,该方法相较于现有算法,能更有效地去除雨纹,同时更好地恢复图像中丢失的背景纹理信息。峰值信噪比和结构相似度（PSNR/SSIM）分别达到38.33/0.9855、28.42/0.9000、34.51/0.9643。     

伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测

目的 复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征,提出一种基于伪3D（Pseudo-3D,P3D）卷积神经网络（convolutional neural network,CNN）与注意力机制的驾驶疲劳检测方法。方法 采用伪3D卷积模块进行时空特征学习;提出P3D-Attention模块,利用P3D的结构融合双通道注意力模块和适应的空间注意力模块,提高对重要通道特征的相关度,增加特征图的全局相关性,将多层深度卷积特征进行融合。利用双通道注意力模块分别在视频帧之间和每一帧的通道上施加关注,去除背景和噪声对识别的干扰,使用自适应空间注意模块使模型训练更快、收敛更好;使用2D全局平均池化层替代3D全局平均池化层获得更具表达能力的特征,进而提高网络收敛速度;运用softmax分类层进行分类。结果 在公共数据集YawDD（a yawning detection dataset）上开展对比实验,本文方法在测试集上的F1-score检测准确率达到99.89%,在打哈欠类别上召回率达到100%;在数据集UTA-RLDD（University of Texas at Arlington real-life drowsiness dataset）上,本文方法在测试集上的F1-score检测准确率达到99.64%,在困倦类别上召回率达到100%;与Inception-V3融合LSTM（long short-term memory）的方法相比,本文方法模型大小为42.5 MB,是其模型大小的1/9,本文方法预测时间约660 ms,是其11%左右。结论 提出一种基于伪3D卷积神经网络与注意力机制的驾驶疲劳检测方法,利用注意力机制进一步分析哈欠、眨眼和头部特征运动,将哈欠行为与说话行为动作很好地区分开来。     

边缘引导的双注意力图像拼接检测网络

目的 伪造图像给众多行业埋下了隐患,这会造成大量潜在的经济损失。方法 提出一种边缘引导的双注意力图像拼接检测网络(boundary-guided dual attention network,BDA-Net),该网络通过将空间通道依赖和边缘预测集成到网络提取的特征中来得到预测结果。首先,提出一种称为预测分支的编解码模型,该分支作为模型的主干网络,可以提取和融合不同分辨率的特征图。其次,为了捕捉不同维度的依赖关系并增强网络对感兴趣区域的关注能力,设计了一个沿多维度进行特征编码的坐标—空间注意力模块(coordinate-spatial attention module,CSAM)。最后,设计了一条边缘引导分支来捕获篡改区域和非篡改区域之间的微小边缘痕迹,以辅助预测分支进行更好的分割。结果 实验使用4个图像拼接数据集与多种方法进行比较,评价指标为F1值。在Columbia数据集中,与排名第1的模型相比,F1值仅相差1.6%。在NIST16 Splicing(National Institute of Standards and Technology 16 Splicing)数据集中,F1值与最好的模型略有差距。而在检测难度更高的CASIA2.0 Splicing(Chinese Academy of Sciences Institute of Automation Dataset 2.0 Splicing)和IMD2020(Image Manipulated Datasets 2020)数据集中,BDA-Net的F1值相比排名第2的模型分别提高了15.3%和11.9%。为了验证模型的鲁棒性,还对图像施加JPEG压缩、高斯模糊、锐化、高斯噪声和椒盐噪声攻击。实验结果表明,BDA-Net的鲁棒性明显优于其他模型。结论 本文方法充分利用深度学习模型的优点和图像拼接检测领域的专业知识,能有效提升模型性能。与现有的检测方法相比,具有更强的检测能力和更好的稳定性。     

傅里叶变换通道注意力网络的胆管癌高光谱图像分割

目的 胆管癌高光谱图像的光谱波段丰富但存在冗余,造成基于深度神经网络高光谱图像分割方法的分割精度下降,虽然一些基于通道注意力机制的网络能够关注重要通道,但在处理通道特征时存在信息表示不足问题,因此本文研究构建一种新的通道注意力机制深度网络,以提高分割准确性。方法 提出了傅里叶变换多频率通道注意力机制（frequency selecting channel attention,FSCA）。FSCA对输入特征进行2维傅里叶变换,提取部分频率特征,再通过两层全连接层得到通道权重向量,将通道权重与对应通道特征相乘,获得了融合通道注意力信息的输出。针对患癌区域和无癌区域数据不平衡问题引入了Focal损失,结合Inception模块,构建基于Inception-FSCA的胆管癌高光谱图像分割网络。结果 在采集的胆管癌高光谱数据集上进行实验,Inception-FSCA网络的准确率（accuracy）、精度（precision）、敏感性（sensitivity）、特异性（specificity）、Kappa系数分别为0.978 0、0.965 4、0.958 6、0.985 2、0.945 6,优于另外5种对比方法。与合成的假彩色图像的分割结果相比,高光谱图像上的实验指标分别提高了0.058 4、0.105 8、0.087 5、0.039 0、0.149 3。结论 本文所提出的傅里叶变换多频率通道注意力机制能够更有效地利用通道信息,基于Inception-FSCA的胆管癌高光谱图像分割网络能够提升分割效果,在胆管癌医学辅助诊断方面具有研究和应用价值。     

区域级通道注意力融合高频损失的图像超分辨率重建

目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用。针对此问题,提出了区域级通道注意力下的图像超分辨率算法。方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块。非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用。同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分。结果 在4个标准测试集Set5、Set14、BSD100（Berkeley segmentation dataset）和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN（image super-resolution using deep convolutional networks）算法,本文方法的PSNR（peak signal to noise ratio）均值分别提升约3.15 dB和1.58 dB。结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果。     

融合CNN和Transformer的图像去噪网络

目前基于深度学习的图像去噪算法无法综合考虑局部和全局的特征信息, 进而影响细节处的图像去噪效果, 针对该问题, 提出了融合CNN和Transformer的图像去噪网络(hybrid CNN and Transformer image denoising network, HCT-Net). 首先, 提出CNN和Transformer耦合模块(CNN and Transformer coupling block, CTB), 构造融合卷积和通道自注意力的双分支结构, 缓解单纯依赖Transformer造成的高额计算开销, 同时动态分配注意力权重使网络关注重要图像特征. 其次, 设计自注意力增强卷积模块(self-attention enhanced convolution module, SAConv), 采用递进式组合模块和非线性变换, 减弱噪声信号干扰, 提升在复杂噪声水平下识别局部特征的能力. 在6个基准数据集上的实验结果表明, HCT-Net相比当前一些先进的去噪方法具有更好的特征感知能力, 能够抑制高频的噪声信号从而恢复图像的边缘和细节信息.     

结合混合域注意力与空洞卷积的3维目标检测

目的 通过深度学习卷积神经网络进行3维目标检测的方法已取得巨大进展,但卷积神经网络提取的特征既缺乏不同区域特征的依赖关系,也缺乏不同通道特征的依赖关系,同时难以保证在无损空间分辨率的情况下扩大感受野。针对以上不足,提出了一种结合混合域注意力与空洞卷积的3维目标检测方法。方法 在输入层融入空间域注意力机制,变换输入信息的空间位置,保留需重点关注的区域特征;在网络中融入通道域注意力机制,提取特征的通道权重,获取关键通道特征;通过融合空间域与通道域注意力机制,对特征进行混合空间与通道的混合注意。在特征提取器的输出层融入结合空洞卷积与通道注意力机制的网络层,在不损失空间分辨率的情况下扩大感受野,根据不同感受野提取特征的通道权重后进行融合,得到全局感受野的关键通道特征;引入特征金字塔结构构建特征提取器,提取高分辨率的特征图,大幅提升网络的检测性能。运用基于二阶段的区域生成网络,回归定位更准确的3维目标框。结果 KITTI（A project of Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）数据集中的实验结果表明,在物体被遮挡的程度由轻到高时,对测试集中的car类别,3维目标检测框的平均精度AP_3D值分别为83.45%、74.29%、67.92%,鸟瞰视角2维目标检测框的平均精度AP_BEV值分别为89.61%、87.05%、79.69%; 对pedestrian和cyclist 类别,AP_3D和AP_BEV值同样比其他方法的检测结果有一定优势。结论 本文提出的3维目标检测网络,一定程度上解决了3维检测任务中卷积神经网络提取的特征缺乏视觉注意力的问题,从而使3维目标检测更有效地运用于室外自动驾驶。     

基于卷积长短期记忆的残差注意力去雨网络

无人驾驶汽车在雨天环境中行驶,由于车载相机采集的图片包含雨纹噪声,导致无人驾驶系统的目标检测精度降低,关键目标识别困难。为解决这些问题,提出了一种基于卷积长短期记忆的残差注意力去雨网络。首先提出卷积长短期记忆（CLSTM）单元对不同尺度的雨纹分布进行学习,然后使用残差通道注意力机制对雨纹进行提取,最后将雨图与雨纹提取信息相减得到修复后的背景图。为确定最优的网络结构,对各网络模块进行消融实验,然后选择去雨效果最优的结构作为去雨网络。通过对网络参数的不断优化,所提算法在数据集Rain100H、Rain100L、Real200上进行测试,结果显示该算法的峰值信噪比（PSNR）分别达到29.1 dB、33.1 dB、32.4 dB,结构相似性（SSIM）分别达到0.89、0.94和0.93。实验结果表明,通过生成对抗网络（GAN）判别器对雨纹去除效果的额外监督,所提算法取得了明显的雨纹去除效果,增强了无人驾驶系统在复杂降雨条件下的环境感知能力。