基于不可分提升小波的双U-Former图像去雨网络

针对基于张量积小波的去雨方法无法捕获所有方向的高频雨纹的问题，提出基于不可分提升小波的双U-Former网络（DUFN）。首先，利用各向同性的不可分提升小波捕捉各个方向的高频雨纹，相较于哈尔小波等张量积小波只能捕捉3个方向的高频雨纹，DUFN能获得更全面的雨纹信息；其次，在各尺度上串联两个由Transformer Block(TB)构成的U-Net，将浅层解码器的语义特征传递到深层阶段，并更彻底地去除雨纹；同时，使用尺度引导编码器通过浅层各尺度信息引导编码阶段，并利用基于CBAM(Convolutional Block Attention Module)的门控融合模块（GFM）使融合过程更专注于有雨区域。实验结果表明，相较于先进方法 SPDNet(Structure-Preserving Deraining Network)，在Rain200H、Rain200L、Rain1200和Rain12这4个合成数据集上，DUFN的结构相似度（SSIM）平均提高了0.009 7，在Rain200H、Rain200L和Rain12这3个合成数据集上，DUFN的峰值信噪比（PSNR）平均提高了0.6...     

基于半监督学习的单幅图像去雨算法

在雨天采集的图像通常存在背景物体被雨纹遮挡、图像变形等影响图像质量的现象,对后续图像分析及应用造成严重影响。近年来,已经提出了许多基于深度学习的去雨算法并获得了较好的效果。由于真实雨图的无雨纹干净背景图采集非常困难,大多数算法都采用监督学习即在含有配对标签的合成雨图数据集上进行模型训练。由于合成雨图和真实雨图中雨纹的亮度、透明度、形状等存在巨大差异,基于监督学习的去雨算法对真实雨图的泛化能力普遍较差。为提高去雨模型对真实雨图的去雨效果,提出了一种基于半监督学习的单幅图像去雨算法。该算法在模型训练过程中加入合成雨图和真实雨图并最小化两个输入图像转换成的特征向量的一阶信息和二阶统计信息差异,使两者特征分布一致。同时,针对雨纹复杂多样的特点,引入多尺度网络以获取更丰富的图像特征,并提高模型性能。实验结果表明,所提算法在Rain100H合成雨图测试集上相较JDNet、Syn2Real等算法在峰值信噪比（PSNR）和结构相似度（SSIM）上分别至少提升了0.66 dB、0.01,在去除雨纹的同时能最大限度保留图像细节和颜色信息;并且由于减少了分布差异,该算法在真实雨图测试集上的去雨效果明显优于现有的JDNet、Syn2Real等去雨算法,具有较强的泛化能力。所提算法可以应用于现有的基于监督学习的去雨算法并显著提高其去雨效果,拥有较高的独立性。     

基于高效通道注意力机制的龙格库塔去雨网络

单图去雨问题是图像处理的一个重要研究方向。为了解决现有方法对雨痕特征提取不够充分的问题,提出一种基于注意力机制的龙格库塔（RK）模块的去雨网络。该模块采用RK模块提高提取图像特征的能力并采用高效通道注意力（ECA）机制加强对雨痕局部表征的关注。通过堆叠多个基于ECA机制的RK模块,可以构建深度去雨模型,较好地特提取雨痕特征;同时采用全局回传机制,利用雨痕的高阶特征以更新其低阶特征,提高雨痕表征的提取质量,逐步提升重建背景图的质量。基于公开数据集Rain100L、Rain100H和RainHeavy的测试结果表明,所提算法能够较好地重构雨天背景图。采用峰值信噪比（PNSR）和结构相似度（SSIM）两个常用指标评估重建背景图像结果,并与去雨算法Semi-Supervised transfer learning for Image rain Removal(SSIR)、Progressive Recurrent Network(PReNet)、Bilateral Recurrent Network(BRN)进行比较,结果显示所提算法的性能最优。     

基于卷积长短期记忆的残差注意力去雨网络

无人驾驶汽车在雨天环境中行驶,由于车载相机采集的图片包含雨纹噪声,导致无人驾驶系统的目标检测精度降低,关键目标识别困难。为解决这些问题,提出了一种基于卷积长短期记忆的残差注意力去雨网络。首先提出卷积长短期记忆（CLSTM）单元对不同尺度的雨纹分布进行学习,然后使用残差通道注意力机制对雨纹进行提取,最后将雨图与雨纹提取信息相减得到修复后的背景图。为确定最优的网络结构,对各网络模块进行消融实验,然后选择去雨效果最优的结构作为去雨网络。通过对网络参数的不断优化,所提算法在数据集Rain100H、Rain100L、Real200上进行测试,结果显示该算法的峰值信噪比（PSNR）分别达到29.1 dB、33.1 dB、32.4 dB,结构相似性（SSIM）分别达到0.89、0.94和0.93。实验结果表明,通过生成对抗网络（GAN）判别器对雨纹去除效果的额外监督,所提算法取得了明显的雨纹去除效果,增强了无人驾驶系统在复杂降雨条件下的环境感知能力。     

基于多尺度深层网络的监控图像去雨研究

雨天条件下视频监测图像中含有雨滴,使得输变配电设备监测目标的细节信息模糊。针对该问题,提出一种基于深层神经网络的多尺度模型架构,用于去除图像中的雨纹。利用先验信息,采用导向滤波提取表征图像高频分量的雨滴模糊特征图将模型聚焦于雨滴信息。借鉴Inception网络多分支提取多阶特征结构,构建多尺度深层神经网络融合底层和高层特征。在合成的输变配电设备以及真实世界的雨天图像集上,对本文方法进行实验验证,结果表明本文方法较其他方法具有更好的去雨效果。     

融合全局和局部特征的单幅图像去雨方法

针对基于卷积神经网络的去雨方法感受野受限的问题，结合Swin Transformer和卷积神经网络各自的优势，提出了一种融合全局和局部特征的单幅图像去雨方法。首先通过卷积神经网络对图像的局部特征进行初步提取；其次通过基于Swin Transformer的多支路网络对不同特征空间内的全局信息进行学习；最后将提取出的多支路全局特征与局部特征进行融合，实现无雨图像的恢复。在多个数据集上与多种主流单幅图像去雨方法进行了对比实验。结果表明，所提方法生成的结果在峰值信噪比和结构相似性指标上都具有一定优势，验证了所提方法在图像去雨任务上的有效性。     

Transformer与多尺度注意力的自监督单目图像深度估计

针对现有自监督学习的单目图像深度估计在分辨率较大情况下存在边缘模糊、物体轮廓不清晰等问题，本文提出一种结合视觉Transformer的多尺度通道注意力融合单目图像深度估计网络.首先，设计编码器-解码器模型，将视觉Transformer结构作为编码器在多个尺度上提取特征.其次，设计残差通道注意力融合的解码器，优化提取到的多尺度特征并实现上下级特征融合以提高上下文信息的利用率.最后，在多个尺度下对单目图像进行深度估计.本文提出的算法在KITTI数据集上进行实验.实验结果表明，所提出算法的深度图像质量和物体轮廓信息均高于现有算法，其绝对相对误差、平方相对误差和均方根误差分别达到了0.119、0.857和4.571,在不同阈值下的准确度达到了0.959、0.995和0.999,验证了所提算法的正确性和有效性.     

多级特征交互Transformer的多器官图像分割

多器官医学图像分割有助于医生做出临床诊断. 针对CNN提取全局特征能力弱, Transformer提取局部特征能力弱, 以及Transformer具有二次方计算复杂度的问题, 提出了用于多器官医学图像分割的多级特征交互Transformer模型. 所提模型采用CNN提取局部特征, 局部特征经Swin Transformer输出全局特征; 通过下采样分别产生多级局部和全局特征, 每级局部和全局特征经过交互并增强; 每级增强后的特征经多级特征融合模块进行交叉融合; 再次融合后的特征经过上采样和分割头输出分割掩码. 所提模型在Synapse和ACDC数据集上进行实验, 平均DSC和平均HD95系数值为80.16%和19.20 mm, 均优于LGNet和RFE-UNet等代表性模型. 该模型对多器官医学图像分割是有效的.     

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。     

基于Transformer的多方面特征编码图像描述生成算法

由目标检测算法提取的目标特征在图像描述生成任务中发挥重要作用,但仅使用对图像进行目标检测的特征作为图像描述任务的输入会导致除关键目标信息以外的其余信息获取缺失,且生成的文本描述对图像内目标之间的关系缺乏准确表达。针对上述不足,提出用于编码图像内目标特征的目标Transformer编码器,以及用于编码图像内关系特征的转换窗口Transformer编码器,从不同角度对图像内不同方面的信息进行联合编码。通过拼接方法将目标Transformer编码的目标特征与转换窗口Transformer编码的关系特征相融合,达到图像内部关系特征和局部目标特征融合的目的,最终使用Transformer解码器将融合后的编码特征解码生成对应的图像描述。在MS-COCO数据集上进行实验,结果表明,所构建模型性能明显优于基线模型,BLEU-4、METEOR、ROUGE-L、CIDEr指标分别达到38.6%、28.7%、58.2%和127.4%,优于传统图像描述网络模型,能够生成更详细准确的图像描述。     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网...     

高效多尺度卷积自注意力单幅图像除雨方法

雨天作为较常见的一种自然天气情况,会极大地影响户外视觉系统所拍摄到的图像和视频数据的成像质量并制约后续高级计算机视觉任务的性能;针对目前除雨算法存在伪影残留、细节丢失等问题,为了充分提取图像特征,有效去除雨条纹,提高除雨效率,提出一种新颖的单阶段深度学习除雨方法;采用高效卷积和跨尺度自注意力相结合的方式,弥补纯卷积网络无法满足的全局特征建模能力;嵌入多尺度空间特征融合模块,有效增加网络的感受野,增强网络对不同分布的雨条纹特征的学习能力;设计了一种混合损失函数,利用各损失函数的优势来弥补单一损失函数表现出来的缺陷;经过在不同类型数据集上的大量实验证明,该算法不仅能够有效去除雨条纹,充分保留背景细节,而且处理速度也有显著的提升。     

基于双注意力残差循环单幅图像去雨集成网络

降雨会严重降低拍摄图像质量和影响户外视觉任务.由于不同图像中,雨的形状、方向和密度不同,导致单幅图像去雨是一项困难的任务.提出一种新的基于双注意力的残差循环单幅图像去雨集成网络（简称RDARENet）.在网络中,因为上下文的信息对于去除雨痕十分重要,所以首先采用多尺度的扩张卷积网络去获得更大的感受野.雨痕信息可以认为是多个雨层特征的叠加,为了更好地提取雨痕的特征和恢复背景图层信息,运用了通道和空间注意力机制的残差网络.通道注意力能够反映不同雨层的权重,而空间注意力则通过相邻空间特征之间的关系增强区域的表征.随着网络的加深,防止低层信息的丢失,采用级联的残差网络和长短时间记忆网络,将低层特征信息传递到高层中去,逐阶段地去除雨痕.在网络的输出部分,采用集成学习的方式,将每个阶段的输出结果通过门控网络加权相加,得到最终的无雨图像.实验结果表明,去雨和恢复纹理细节的效果都得到较大提升.     

自适应卷积的残差修正单幅图像去雨

目的 雨天户外采集的图像常常因为雨线覆盖图像信息产生色变和模糊现象。为了提高雨天图像的质量,本文提出一种基于自适应选择卷积网络深度学习的单幅图像去雨算法。方法 针对雨图中背景误判和雨痕残留问题,加入网络训练的雨线修正系数（refine factor,RF）,改进现有雨图模型,更精确地描述雨图中各像素受到雨线的影响。构建选择卷积网络（selective kernel network,SK Net）,自适应地选择不同卷积核对应维度的信息,进一步学习、融合不同卷积核的信息,提高网络的表达力,最后构建包含SK Net、refine factor net和residual net子网络的自适应卷积残差修正网络（selective kernel convolution using a residual refine factor,SKRF）,直接学习雨线图和残差修正系数（RF）,减少映射区间,减少背景误判。结果 实验通过设计的SKRF网络,在公开的Rain12测试集上进行去雨实验,取得了比现有方法更高的精确度,峰值信噪比（peak signal to noise ratio,PSNR）达到34.62 dB,结构相似性（structural similarity,SSIM）达到0.970 6。表明SKRF网络对单幅图像去雨效果有明显优势。结论 单幅图像去雨SKRF算法为雨图模型中的雨线图提供一个额外的修正残差系数,以降低学习映射区间,自适应选择卷积网络模型提升雨图模型的表达力和兼容性。     

基于深度邻近连接网络的单幅图像去雨方法

雨天环境下的雨线导致图像内容被遮挡,严重影响人眼的视觉效果和后续系统的处理性能。目前主流的深度学习方法为了提升处理性能,均以复杂的网络结构和较大的参数量为代价,导致相关方法难以服务于实际应用。为此,文中提出一种新的深度邻近连接网络结构。它通过关注深度网络中所学特征图之间的关系,采用融合操作将邻近特征图进行连接,以获得更加丰富和有效的特征表示。实验数据表明,所提方法在3个公开合成数据集及真实有雨图像上的主客观处理效果、模型参数量和运行时间等相关性能都有所提升。在合成数据集Rain100H上的平均结构相似性(SSIM)值达到0.84,在合成数据集Rain100L和Rain1200上的平均SSIM值分别达到0.96和0.91。在真实有雨图像上,所提方法在有效去除前景雨线的同时,能够保护更完整的背景图像信息,从而获得更好的主观视觉效果。相比于同时期的深度学习方法JORDER,文中方法在保证相近的处理效果的前提下,模型参数量和CPU运行时间分别降低了一个和两个数量级。实验数据充分说明,通过将网络中邻近特征图进行融合,能够获取更加有效的特征表示。因此,所提方法虽然仅使用较少的模型参数和简洁的神经网络结构,却依旧能够较好地实现图像去雨效果,解决了现有方法模型参数量较大和网络结构较为复杂的问题。同时,该网络结构设计方案也能够为基于深度学习的相关图像复原任务提供参考和借鉴。     

双LSTM的光场图像去雨算法研究

单张图像去雨由于有限的输入信息,会严重影响去雨效果。光场图像不同于普通2D图像,能够记录三维场景的丰富结构信息。针对此类问题并且利用光场图像特点,提出一种基于双LSTM神经网络的光场图像去雨算法。提出的神经网络包括雨条纹检测网络（Rain Streaks Detecting Network,RSDNet）和背景修复网络（Background Restoring Network,BRNet）。所提算法主要包含三个步骤。使用匹配成本量最优化方法计算光场图像子视点的深度图;利用RSDNet提取雨条纹,并利用LSTM结构将雨条纹高频信息传递给BRNet;借助BRNet网络修复背景图像得到无雨子视点图像。为了训练和测试所提算法,构建了一个由真实背景场景光场图像和雨图像合成的有雨图像光场数据集。充分的实验结果表明,提出的算法能够有效地修复光场图像。     

基于倍频卷积和注意力机制的图像去雨

针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.