融合CNN和Transformer的图像去噪网络

目前基于深度学习的图像去噪算法无法综合考虑局部和全局的特征信息, 进而影响细节处的图像去噪效果, 针对该问题, 提出了融合CNN和Transformer的图像去噪网络(hybrid CNN and Transformer image denoising network, HCT-Net). 首先, 提出CNN和Transformer耦合模块(CNN and Transformer coupling block, CTB), 构造融合卷积和通道自注意力的双分支结构, 缓解单纯依赖Transformer造成的高额计算开销, 同时动态分配注意力权重使网络关注重要图像特征. 其次, 设计自注意力增强卷积模块(self-attention enhanced convolution module, SAConv), 采用递进式组合模块和非线性变换, 减弱噪声信号干扰, 提升在复杂噪声水平下识别局部特征的能力. 在6个基准数据集上的实验结果表明, HCT-Net相比当前一些先进的去噪方法具有更好的特征感知能力, 能够抑制高频的噪声信号从而恢复图像的边缘和细节信息.     

双通道四元数卷积网络去噪方法

基于深度学习的彩色图像去噪方法通常是在各个通道进行卷积操作后再进行合并得到最后的卷积结果。这种方式没有充分考虑色彩通道之间的光谱相关性,可能导致去噪结果的失真。四元数卷积将彩色像素当作一个整体来进行处理,可以很好地解决这一问题。但是单一的四元数卷积网络不能较好地还原图像细节信息。针对这一问题,提出一种用于去除彩色随机脉冲噪声的双通道四元数卷积网络（DQNet）。该网络首先基于结构通道和色彩通道融合的策略,采用基于扩张卷积的结构细节还原模块提取结构和边缘特征,采用四元数卷积网络提取色彩特征;然后针对卷积运算会导致部分全局信息丢失的问题,通过长线连接将含有丰富全局特征的输入噪声图像与卷积结果进行融合,设计基于注意力机制的特征增强模块来指导网络提取复杂背景中的潜在噪声特征;最后利用残差学习实现彩色随机脉冲噪声的复原。实验结果表明,所提算法具有较好的去噪性能,在中度噪声污染或高度噪声污染的情况下去噪效果更为突出。     

级联离散小波多频带分解注意力图像去噪方法

针对图像去噪网络中下采样导致高频信息损失和细节保留能力差的问题,设计了一种级联离散小波多频带分解注意力图像去噪网络。其中多尺度级联离散小波变换结构将原始图像分解为多个尺度下的高低频子带来代替传统下采样,能减少高频信息损失。多频带特征增强模块使用不同尺度的卷积核并行处理高低频特征,在子网络每一级下重复使用两次,可增强全局和局部的关键特征信息。多频带分解注意力模块通过注意力评估纹理细节成分的重要性并加权不同频带的细节特征,有助于多频带特征增强模块更好地区分噪声和边缘细节。多频带选择特征融合模块融合多尺度多频带特征增强选择性特征,提高模型对于不同尺度噪声的去除能力。在SIDD和DND数据集上,所提方法的PSNR/SSIM指标分别达到了39.35 dB/0.918、39.72 dB/0.955。实验结果表明,所提方法的性能优于主流去噪方法,同时具有更清晰的纹理细节和边缘等视觉效果。     

基于U形多尺度注意力方法的真实图像去噪

针对真实世界图像去噪算法存在对上下文信息和全局信息利用不足导致的去噪效果不佳问题,提出一种U形金字塔注意力网络(UPCA)。U形结构由多尺度特征模块与长距离通道注意力模块融合形成的金字塔注意力模块组成,U形结构通过拼接操作可以将每一层的输出特征图融合,减少卷积过程以及下采样过程中图像细节特征的丢失。多尺度特征金字塔模块可以更好地利用上下文信息从而更好地恢复出干净的图像,而建立长距离依赖的通道注意力模块可以更好地利用全局信息,提高网络的去噪效果。同时在损失函数部分加入噪声项来加快训练时收敛的速度以及提高去噪效果。UPCA网络在数据集SIDD和DND进行对比实验,验证了UPCA网络的可行性和先进性,同时与同样使用通道注意力的RIDNet相比UPCA网络的PSNR/SSIM指标提升了0.81 dB/0.044,去噪后的效果图直观表现也更好,而且同等参数下训练所需的算力更小。     

基于Transformer的低照度图像去噪方法

目前，图像去噪任务的主流方法多关注常规图像的噪声去除，而在低照度条件下拍摄的图像含有更严重的噪声，这种富有挑战性的去噪问题亟待解决。实验发现，将现有图像去噪方法直接应用于低照度图像任务中，会存在难以抑制真实图像噪声、丢失图像暗部和亮部细节信息问题。针对这些问题，提出一种基于Transformer的编解码U型网络。首先，提出对每张真实的噪声图像采用暗阴影校正方法进行预处理，改变其空间上的不均匀性，从而降低真实噪声学习的复杂性；然后，每张预处理后的图像通过提出的U型网络进行图像去噪，提出的U型网络是在UNet架构基础上引入Transformer Block模块构建分层编解码器，使网络可以从全局特征变化角度出发，多尺度分析图像亮暗细节信息；此外，采用窗口增强自注意力模块代替全局自注意力，更好地捕捉上下文特征依赖关系；最后，在解码器阶段引入可变形卷积残差模块，进一步增强局部特征的提取能力，提高网络去噪性能。在低照度真实噪声图像数据集SID和ELD上，方法的PSNR和SSIM较其他主流方法的最优值提升了0.53 d B和0.004。主观结果表明，该方法能在有效抑制低照度图像噪声的同时，更好地恢复...     

基于自监督约束的双尺度真实图像盲去噪算法

现存的图像去噪算法在处理加性高斯白噪声上已经取得令人满意的效果,然而其在未知噪声强度的真实噪声图像上泛化性能较差.鉴于深度卷积神经网络极大地促进了图像盲去噪技术的发展,针对真实噪声图像提出一种基于自监督约束的双尺度真实图像盲去噪算法.首先,所提算法借助小尺度网络分支得到的初步去噪结果为大尺度分支的图像去噪提供额外的有用信息,以帮助后者实现良好的去噪效果.其次,用于去噪的网络模型由噪声估计子网络和图像非盲去噪子网络构成,其中噪声估计子网络用于预测输入图像的噪声强度,非盲去噪子网络则在所预测的噪声强度指导下进行图像去噪.鉴于真实噪声图像通常缺少对应的清晰图像作为标签,提出了一种基于全变分先验的边缘保持自监督约束和一个基于图像背景一致性的背景自监督约束,前者可通过调节平滑参数将网络泛化到不同的真实噪声数据集上并取得良好的无监督去噪效果,后者则可借助多尺度高斯模糊图像之间的差异信息辅助双尺度网络完成去噪.此外,还提出一种新颖的结构相似性注意力机制,用于引导网络关注图像中微小的结构细节,以便复原出纹理细节更加清晰的真实去噪图像.相关实验结果表明在SIDD,DND和Nam这3个真实基准数据集上,所提的基于自监督的双尺度盲去噪算法无论在视觉效果上还是在量化指标上均优于多种有监督图像去噪方法,且泛化性能也得到了较为明显的提升.     

带边缘补偿的分数阶积分图像去噪算法

针对分数阶积分的图像去噪算法容易丢失图像细节特征的问题,提出了一种带边缘补偿的分数阶积分图像去噪算法。介绍了分数阶积分算子具有尖锐的低通性能,将分数阶Cauchy公式引入到数字图像去噪中,并利用斜坡法来近似计算分数阶积分的数值解。在迭代去噪的过程中,该算法在图像信噪比（SNR）上升阶段,设定较高微小积分阶次来构建去噪掩模;在图像信噪比开始下降阶段,设定较低微小积分阶次来构建去噪掩模,并采用边缘补偿机制来部分恢复图像的细节信息。由仿真实验可知,提出的图像去噪算法由于在迭代去噪的过程中采用了不同的分数阶积分阶次和边缘补偿机制,与已有的降噪算法相比,可以在去除噪声的同时适当恢复原始图像的细节信息,由此获得更高的信噪比和更佳的视觉效果。     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

频域小波矩的非局部均值图像去噪

非局部均值滤波是一种典型的图像去噪技术.然而该算法只定义了平移不变性,没有考虑方向和图像块的尺度问题,进而影响了去噪的效果.为了有效地去除噪声,获得细节清晰的图像,对非局部均值(NL-Means)滤波算法进行了改进,提出一种在非下采样小波域中基于小波矩的非局部均值图像去噪方法.小波矩具有较强旋转不变性,具有更好的抗噪声能力.因此利用小波矩与非局部均值相结合的方法,能够得到更多具有较高相似性的像素或图像块.实验结果表明,该算法不仅能有效地去除噪声,而且能保持图像的边缘信息,获得比传统的非局部均值更好的去噪效果.     

用噪声检测算法改进理想低通滤波器

针对图像去噪算法存在滤除噪声与保留图像边缘细节之间的矛盾,提出了一种使用基于分数阶微分梯度的随机噪声检测算法来提高理想低通滤波器的去噪性能的方法。首先,使用不同方向的分数阶微分梯度模板与含噪声图像进行卷积,计算出图像在不同方向上的分数阶微分梯度;然后,依据预先设定的阈值获得不同方向的分数阶微分梯度检测图,将在所有选定方向上梯度都发生跳变的像素点判定为噪声点;最后,只对图像中被检测出的噪声点用理想低通滤波器进行滤波,可使图像在去除噪声和保留图像细节两方面同时获得较优的效果。实验结果表明,所提算法不仅可以获得更好的视觉效果,而且去噪后图像的峰值性噪比(PSNR)表明去噪后的图像更接近原始图像,使用理想低通滤波器获得的最大PSNR为29.0893dB,所提算法获得的最PSNR为34.7027dB。将分数阶微积分用于图像去噪,为提高图像去噪性能提供了一个新的研究方向。     

基于倍频卷积和注意力机制的图像去雨

针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.     

基于U-Net融合的保留纹理的图像去噪方法

图像的噪声阻碍了高级视觉任务对图像的理解,且去除图像的噪声是一个具有挑战性的任务.现有的基于卷积神经网络的图像去噪方法在去除噪声的同时,对图像纹理会引入一定程度的破坏,导致去噪后图像无法保留图像的纹理.为了解决这个问题,本文提出一种用二分支U-Net网络来融合特征和保留纹理的图像去噪方法.首先选取一种去噪方法的两个不同...     

结合全局上下文与融合注意力的干涉相位去噪

目的 干涉相位去噪是合成孔径雷达干涉测量（interferometric synthetic aperture radar,InSAR）技术中的关键环节,其效果对测量精度具有重要影响。针对现有的干涉相位去噪方法大多关注局部特征以及在特征提取方面的局限性,同时为了平衡去噪和结构保持两者之间的关系,提出了一种结合全局上下文与融合注意力的相位去噪网络GCFA-PDNet(global context and fused attention phase denoising network)。方法 将干涉相位分离为实部和虚部依次输入到网络,先从噪声相位中提取浅层特征,再将其映射到由全局上下文提取模块和融合注意力模块组成的特征增强模块,最后通过全局残差学习生成去噪图像。全局上下文提取模块能提取全局上下文信息,具有非局部方法的优势;融合注意力模块既强调关键特征,又能高效提取隐藏在复杂背景中的噪声信息。结果 所提出的方法与对比方法中性能最优者相比,在模拟数据结果的平均峰值信噪比（peak signal to noise ratio, PSNR）和结构相似性（structural similarity,...     

一种基于MDARNet的低照度图像增强方法

由于低照度环境下所采集的图像存在亮度低、对比度差、出现噪声和色彩失衡等低质问题,严重影响其在图像处理应用中的性能.为了提升低照度图像质量,以获得具有完整结构和细节且自然清晰的图像,结合Retinex理论与卷积神经网络,提出了一种基于MDARNet的低照度图像增强方法,并引入Attention机制模块和密集卷积模块以提升性能.首先,MDARNet利用同时包含二维和一维的3个不同尺度卷积核对图像进行初步特征提取,并用像素注意模块对多尺度特征图进行针对性学习;其次,设计跳跃连接结构对图像进行特征提取,使图像特征被最大限度地利用;最后,用通道注意模块和像素注意模块同时对提取到的特征图进行权重学习和照度估计.实验结果表明：MDARNet能够有效提升低照度图像的亮度、对比度、色彩等;且相较于一些经典算法,该方法在视觉效果及客观评价指标（PSNR,SSIM,MS-SSIM,MSE）能够得到更好的效果.     

A new wavelet-based fuzzy single and multi-channel image denoising

In this paper, we propose a new wavelet shrinkage algorithm based on fuzzy logic. In particular, intra-scale dependency within wavelet coefficients is modeled using a fuzzy feature. This feature space distinguishes between important coefficients, which belong to image discontinuity and noisy coefficients. We use this fuzzy feature for enhancing wavelet coefficients' information in the shrinkage step. Then a fuzzy membership function shrinks wavelet coefficients based on the fuzzy feature. In addition, we extend our noise reduction algorithm for multi-channel images. We use inter-relation between different channels as a fuzzy feature for improving the denoising performance compared to denoising each channel, separately. We examine our image denoising algorithm in the dual-tree discrete wavelet transform, which is the new shiftable and modified version of discrete wavelet transform. Extensive comparisons with the state-of-the-art image denoising algorithm indicate that our image denoising algorithm has a better performance in noise suppression and edge preservation.     

基于RCF的精细边缘检测模型

针对目前基于深度学习的边缘检测技术生成的边缘粗糙及模糊等问题，提出一种基于更丰富特征的边缘检测（RCF）模型的端到端的精细边缘检测模型。该模型以RCF模型为基础，在主干网络中引入"注意力"机制，采用SE模块提取图像边缘特征，并且去掉主干网络部分下采样，避免细节信息过度丢失，使用扩张卷积技术增大模型感受野，并利用残差结构将不同尺度的边缘图进行融合。对伯克利分割数据集（BSDS500）进行增强，使用一种多步骤的训练方式在BSDS500和PASCAL VOC Context数据集上进行训练，并用BSDS500进行测试实验。实验结果表明，该模型将全局最佳（ODS）和单图最佳（OIS）指标分别提高到了0.817和0.838，在不影响实时性的前提下可以输出更精细的边缘，同时还具有较好的鲁棒性。     

多尺度多阶段特征融合的带噪图像语义分割

在图像的采集过程中,图像往往会带有一定的噪声信息,这些噪声信息会破坏图像的纹理结构,进而干扰语义分割任务.现有基于带噪图像的语义分割方法,大都是采取先去噪再分割的模型.然而,这种方式会导致在去噪任务中丢失语义信息,从而影响分割任务.为了解决该问题,提出了一种多尺度多阶段特征融合的带噪图像语义分割的方法,利用主干网络中各阶段的高级语义信息以及低级图像信息来强化目标轮廓语义信息.通过构建阶段性协同的分割去噪块,迭代协同分割和去噪任务,进而捕获更准确的语义特征.在PASCAL VOC 2012和Cityscapes数据集上进行了定量评估,实验结果表明,在不同方差的噪声干扰下,模型依旧取得了较好的分割结果.