多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。     

基于通道注意力和门控循环单元的图像去雨算法

在计算机视觉领域,雨线或者雨滴会使雨天拍摄的图像变得模糊,降低图像的质量.针对雨天图像质量低下的问题,提出了一种基于通道注意力和门控循环单元的图像去雨算法.该算法基本思路如下:首先将训练图像通过残差记忆模块提取特征;其次将提取的特征通过特征增强模块增加感受野,识别不同等级的雨线特征并将其增强,传递给后续的循环网络;最后网络循环过程中,通过门控循环单元块实现不同循环阶段之间的参数共享.实验结果利用客观评价指标和主观视觉效果进行评估,验证了该算法在较为复杂数据集上的有效性.     

多分辨率上下文聚合网络的单幅图像去雨方法

雨天等恶劣天气将造成图像质量的严重退化,进而影响计算机视觉算法的准确性.为了更好地提取多尺度雨痕特征,恢复图像含有的重要细节信息,提出一种基于多分辨率上下文聚合网络的单幅图像去雨方法.首先利用混洗操作将单一分辨率输入图像转化为多空间分辨率的输入图像,在低空间分辨率中使网络迅速扩大接受场,而在高空间分辨率下提取更加精细的...     

基于联合注意力机制的单幅图像去雨算法

现有的单幅图像去雨算法难以充分发掘不同维度注意力机制的相互作用,因此提出一种基于联合注意力机制的单幅图像去雨算法。该算法包含通道注意力机制和空间注意力机制：通道注意力机制检测各通道雨线特征的分布,并差异化各个特征通道的重要程度;空间注意力机制则针对通道内雨线分布的空间关系,以局部到全局的方式积累上下文信息,从而高效准确地去雨。此外,引入深度残差收缩网络,以利用残差模块中嵌入的软阈值非线性变换子网络来通过软阈值函数将冗余信息置零,从而提升CNN在噪声中保留图像细节的能力。在公开降雨数据集与自构建的降雨数据集上进行实验,相较于单一空间注意力算法,联合注意力去雨算法的峰值信噪比（PSNR）提升4.5%,结构相似性（SSIM）提升0.3%。实验结果表明,所提算法可以有效地进行单幅图像去雨和图像细节的信息保留,在目视效果和定量指标上均优于对比算法。     

单张图像去雨的多流细节加强网络

对于低等级的计算机视觉任务来说,图像去雨一直是一个热点问题.由于图像中雨线的密度不均一,导致单张图片中去雨成为极富有挑战性的问题.针对目标图像重点关注的两个部分：图像的整体结构和图像的细节,本文提出一种新颖的多流特征融合的卷积神经网络算法,通过多样的网络框架呈现优越的性能.该网络算法采用三条分支网络提取复杂多向的雨线特征,并运用级联的方式特征融合,通过与原图像结合去除有雨图的雨线,再经过细节加强网络获得高质量的无雨图.在合成的数据集以及真实雨图集下的去雨性能表明,所提出的算法与现有的基于深度学习的去雨算法相比,能够在去除雨线的同时保留更多的细节,保证了图片的质量.     

基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。     

基于双注意力残差循环单幅图像去雨集成网络

降雨会严重降低拍摄图像质量和影响户外视觉任务.由于不同图像中,雨的形状、方向和密度不同,导致单幅图像去雨是一项困难的任务.提出一种新的基于双注意力的残差循环单幅图像去雨集成网络（简称RDARENet）.在网络中,因为上下文的信息对于去除雨痕十分重要,所以首先采用多尺度的扩张卷积网络去获得更大的感受野.雨痕信息可以认为是多个雨层特征的叠加,为了更好地提取雨痕的特征和恢复背景图层信息,运用了通道和空间注意力机制的残差网络.通道注意力能够反映不同雨层的权重,而空间注意力则通过相邻空间特征之间的关系增强区域的表征.随着网络的加深,防止低层信息的丢失,采用级联的残差网络和长短时间记忆网络,将低层特征信息传递到高层中去,逐阶段地去除雨痕.在网络的输出部分,采用集成学习的方式,将每个阶段的输出结果通过门控网络加权相加,得到最终的无雨图像.实验结果表明,去雨和恢复纹理细节的效果都得到较大提升.     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网...     

基于Transformer的多分支单图像去雨方法

雨纹会严重降低拍摄图像的质量,影响后续计算机视觉任务。为了提高雨天图像的质量,提出了一种基于Transformer的单图像去雨算法。首先,该算法通过具有窗口机制的Transformer获得大范围的感受野,进而获取雨纹特征的上下文信息,提高模型提取雨纹特征的能力;其次,该算法通过多分支模块提取和融合不同种类、不同层次的特征,提高模型对复杂雨纹信息的表征能力;最后通过残差连接融合浅层特征和深层特征,补全深层特征中缺失的细节信息,增强网络表达能力。在公开数据集Rain100L、Rain100H和私有数据集Rain3000上的实验结果表明,该方法相较于现有算法,能更有效地去除雨纹,同时更好地恢复图像中丢失的背景纹理信息。峰值信噪比和结构相似度（PSNR/SSIM）分别达到38.33/0.9855、28.42/0.9000、34.51/0.9643。     

多成本融合的立体匹配网络

立体匹配网络中的特征提取是提高双目视觉立体匹配精确度的关键步骤。为充分提取图像特征信息,结合密集空洞卷积、空间金字塔池化和堆叠沙漏的特点,构建一种多成本融合的立体匹配网络DCNet。引入密集空洞卷积和空间金字塔池化方法提取多尺度特征信息,同时使用轻量化注意力模块优化多尺度特征信息,构建多特征融合的匹配代价卷。在此基础上,利用3D卷积神经网络和堆叠沙漏网络聚合匹配代价信息,并通过回归的方式生成视差图。实验结果表明,该网络在KITTI2015数据集上的误匹配率为2.12%,相比PSMNet、DisNetC、PDSNet等网络,在特征提取部分能够获得更丰富的特征信息,且提升特征匹配的效果。     

结合密集注意力的自适应特征融合图像去雾网络

目前, 大多数图像去雾算法忽视图像的局部细节信息, 无法充分利用不同层次的特征, 导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象, 针对这一问题, 提出结合密集注意力的自适应特征融合图像去雾网络. 该网络以编码器-解码器结构为基本框架, 中间嵌入特征增强部分与特征融合部分, 通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块, 使网络可以关注图像的局部细节信息, 同时增强特征的重复利用, 有效防止梯度消失; 在特征融合部分构建自适应特征融合模块融合低级与高级特征, 防止因网络加深而造成浅层特征退化. 实验结果表明, 所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异, 在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889, 在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788, 有效解决了颜色失真、对比度下降和雾霾残留等问题.     

多维注意力特征聚合立体匹配算法

现有基于深度学习的立体匹配算法在学习推理过程中缺乏有效信息交互, 而特征提取和代价聚合两个子模块的特征维度存在差异, 导致注意力方法在立体匹配网络中应用较少、方式单一. 针对上述问题, 本文提出了一种多维注意力特征聚合立体匹配算法. 设计2D注意力残差模块, 通过在原始残差网络中引入无降维自适应2D注意力残差单元, 局部跨通道交互并提取显著信息, 为匹配代价计算提供丰富有效的特征. 构建3D注意力沙漏聚合模块, 以堆叠沙漏结构为骨干设计3D注意力沙漏单元, 捕获多尺度几何上下文信息, 进一步扩展多维注意力机制, 自适应聚合和重新校准来自不同网络深度的代价体. 在三大标准数据集上进行评估, 并与相关算法对比, 实验结果表明所提算法具有更高的预测视差精度, 且在无遮挡的显著对象上效果更佳.     

基于多尺度特征融合反投影网络的图像超分辨率重建

针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题, 提出了一种多尺度特征融合反投影网络用于图像超分辨率重建. 该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息, 增强跨通道信息融合能力; 然后,构建多尺度反投影模块通过递归学习执行特征映射, 提升网络的早期重建能力; 最后,将局部残差反馈结合全局残差学习促进特征的传播和利用, 从而融合不同深度的特征信息进行图像重建. 对图像进行×2 ~ ×8超分辨率的实验结果表明, 本方法的重建图像质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法, 超分辨率倍数大时重建性能相比更优秀.     

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

一种基于MDARNet的低照度图像增强方法

由于低照度环境下所采集的图像存在亮度低、对比度差、出现噪声和色彩失衡等低质问题,严重影响其在图像处理应用中的性能.为了提升低照度图像质量,以获得具有完整结构和细节且自然清晰的图像,结合Retinex理论与卷积神经网络,提出了一种基于MDARNet的低照度图像增强方法,并引入Attention机制模块和密集卷积模块以提升性能.首先,MDARNet利用同时包含二维和一维的3个不同尺度卷积核对图像进行初步特征提取,并用像素注意模块对多尺度特征图进行针对性学习;其次,设计跳跃连接结构对图像进行特征提取,使图像特征被最大限度地利用;最后,用通道注意模块和像素注意模块同时对提取到的特征图进行权重学习和照度估计.实验结果表明：MDARNet能够有效提升低照度图像的亮度、对比度、色彩等;且相较于一些经典算法,该方法在视觉效果及客观评价指标（PSNR,SSIM,MS-SSIM,MSE）能够得到更好的效果.     

密集连接扩张卷积神经网络的单幅图像去雾

针对大多数图像去雾算法模型参数估计准确性差及色彩失真等问题,提出了一种端到端的密集连接扩张卷积神经网络。首先,通过使用多层密集连接结构来增加网络的特征利用率,避免网络加深时的梯度消失现象。其次,通过在密集块中使用不同扩张率的扩张卷积,使网络在充分聚合上下文特征信息时不损失空间分辨率,并避免了网格伪影的产生。最后,为了提高算法的去雾能力,将该网络划分为多个阶段,并在每个阶段引入侧输出模块,从而获得更精确的特征信息。实验结果表明,所提出的去雾算法无论是在合成数据集上还是在真实数据集上都取得了较好的去雾效果,恢复的色彩更接近无雾图像,并且定量评价指标峰值信噪比(PSNR)和结构相似性(SSIM)均优于其他对比方法。     

注意力残差多尺度特征增强的显著性实例分割

显著性实例分割是指分割出图像中最引人注目的实例对象。现有的显著性实例分割方法中存在 较小显著性实例不易检测分割,以及较大显著性实例分割精度不足等问题。针对这 2 个问题,提出了一种新的 显著性实例分割模型,即注意力残差多尺度特征增强网络(ARMFE)。模型 ARMFE 主要包括 2 个模块：注意力 残差网络模块和多尺度特征增强模块,注意力残差网络模块是在残差网络基础上引入注意力机制,分别从通道 和空间对特征进行选择增强;多尺度特征增强模块则是在特征金字塔基础上进一步增强尺度跨度较大的特征信 息融合。因此,ARMFE 模型通过注意力残差多尺度特征增强,充分利用多个尺度特征的互补信息,同时提升 较大显著性实例对象和较小显著性实例对象的分割效果。ARMFE 模型在显著性实例分割数据集 Salient Instance Saliency-1K (SIS-1K)上进行了实验,分割精度和速度都得到了提升,优于现有的显著性实例分割算法 MSRNet 和 S4Net。