结合降噪卷积神经网络和条件生成对抗网络的图像双重盲降噪算法

针对图像降噪中降噪效果差、计算效率低的问题,提出了一种结合降噪卷积神经网络（DnCNN）和条件生成对抗网络（CGAN）的图像双重盲降噪算法。首先,使用改进的DnCNN模型作为CGAN的生成器来对加噪图片的噪声分布进行捕获;其次,将剔除噪声分布后的加噪图片和标签一同送入判别器进行降噪图像的判别;然后,利用判别结果对整个模型的隐层参数进行优化;最后,生成器和判别器在博弈中达到平衡,且生成器的残差捕获能力达到最优。实验结果表明,在Set12数据集上,当噪声水平分别为15、25、50时：所提算法与DnCNN算法相比,基于像素点间误差评价指标,其峰值信噪比（PSNR）值分别提升了1.388 dB、1.725 dB、1.639 dB;所提算法与三维块匹配（BM3D）、加权核范数最小化（WNNM）、DnCNN、收缩场级联（CSF）和一致性神经网络（CSNET）等现有算法相比,结构相似性（SSIM）评价指标值平均提升了0.000 2~0.104 1。实验结果验证了所提算法的优越性。     

浅层CNN网络构建的噪声比例估计模型

目的 利用深度卷积神经网络（deep convolutional neural network,DCNN）构建的非开关型随机脉冲噪声（random-valued impulse noise,RVIN）降噪模型在降噪效果和执行效率上均比主流的开关型RVIN降噪算法更有优势,但在实际应用中,这类基于训练（数据驱动）的降噪模型,其性能却受制于能否对待降噪图像受噪声干扰的严重程度进行准确的测定（即存在数据依赖问题）。为此,提出了一种基于浅层卷积神经网络的快速RVIN噪声比例预测（noise ratio estimation,NRE）模型。方法 该预测模型的主要任务是检测待降噪图像中的噪声比例值并将其作为反映图像受噪声干扰严重程度的指标,依据NRE预测模型的检测结果可以自适应调用相应预先训练好的特定区间DCNN降噪模型,从而快速且高质量地完成图像降噪任务。结果 分别在10幅常用图像和50幅纹理图像两个测试集上进行测试,并与现有的主流RVIN降噪算法中的检测模块进行对比。在常用图像测试集上,本文所提出的NRE预测模型的预测准确性最高。相比于噪声比例预测精度排名第2的算法, NRE预测模型在噪声比例预测值均方根误差上低0.6% 2.4%。在50幅纹理图像测试集上,NRE模型的均方根误差波动范围最小,表明其稳定性最好。通过在1幅大小为512×512像素图像上的总体平均执行时间来比较各个算法执行效率的优劣,NRE模型执行时间仅为0.02 s。实验数据表明：所提出的NRE预测模型在受各种不同噪声比例干扰的自然图像上均可以快速而稳定地测定图像中受RVIN噪声干扰的严重程度,非盲的DCNN降噪模型与其联用后即可无缝地转化为盲降噪算法。结论 本文RVIN噪声比例预测模型在各个噪声比例下具有鲁棒的预测准确性,与基于DCNN的非开关型RVIN深度降噪模型配合使用后能妥善解决DCNN网络模型固有的数据依赖问题。     

采用训练策略实现的快速噪声水平估计

目的 大多数图像降噪算法都属于非盲降噪算法,其获得良好降噪性能的前提是能够准确地获知图像的噪声水平值。然而,现有的噪声水平估计（NLE）算法在噪声水平感知特征（NLAF）提取和噪声水平值映射两个核心模块中分别存在特征描述能力不足和预测准确性有待提高的问题。为此,提出了一种基于卷积神经网络（CNN）自动提取NLAF特征,并利用增强BP （back propagation）神经网络将其映射为相应噪声水平值的改进算法。方法 在训练阶段,首先通过训练卷积神经网络模型并以全连接层中若干与噪声水平值相关系数较高的输出值构成NLAF特征矢量;然后,在AdaBoost技术的支撑下,利用多个映射能力相对较弱的BP神经网络构建一个非线性映射能力更强的增强BP神经网络预测模型,将NLAF特征矢量直接映射为噪声水平值。在预测阶段,首先从给定噪声图像中随机选取若干个图块输入到卷积神经网络模型中,提取每个图块的若干维NLAF特征值后,利用预先训练的BP网络模型将其映射为对应的噪声水平值,然后以估计值的中值作为图像噪声水平值的最终估计结果。结果 对于具有不同噪声水平和内容结构的噪声图像,利用所提算法估计出的噪声水平值与真实值之间的估计误差小于0.5,均方根误差小于0.9,表现出良好的预测准确性和稳定性。此外,所提算法具有较高的执行效率,估计一幅512×512像素的图像的噪声水平值仅需约13.9 ms。结论 实验数据表明,所提算法在高、中、低各个噪声水平下都具有稳定的预测准确性和较高的执行效率,与现有的主流噪声水平估计算法相比综合性能更佳,可以很好地应用于要求噪声水平作为关键参数的实际应用中。     

两阶段多层感知的随机脉冲噪声比例预测

目的 基于卷积神经网络（CNN）在图块级上实现的随机脉冲噪声（RVIN）降噪算法在执行效率方面较经典的逐像素点开关型降噪算法有显著优势,但降噪效果如何取决于能否对降噪图像受噪声干扰程度（噪声比例值）进行准确估计。为此,提出一种基于多层感知网络的两阶段噪声比例预测算法,达到自适应调用CNN预训练降噪模型获得最佳去噪效果的目的。方法 首先,对大量无噪声图像添加不同噪声比例的RVIN噪声构成噪声图像集合;其次,基于视觉码本（visual codebook）采用软分配（soft-assignment）编码法提取并筛选若干能反映噪声图像受随机脉冲噪声干扰程度的特征值构成特征矢量;再次,将从噪声图像上提取的特征矢量及对应的噪声比例分别作为多层感知网络的输入和输出训练噪声比例预测模型,实现从特征矢量到噪声比例值的映射（预测）;最后,采用粗精相结合的两阶段实现策略进一步提高RVIN噪声比例的预测准确性。结果 针对不同RVIN噪声比例的失真图像,从预测准确性、实际降噪效果和执行效率3个方面验证提出算法的性能和实用性。实验数据表明,本文算法在大多数噪声比例下的预测误差小于2%,降噪效果（PSNR指标）较其他主流降噪算法高24 dB,处理一幅大小为512×512像素的图像仅需3 s左右。结论 本文提出的RVIN噪声比例预测算法在各个噪声比例下具有鲁棒的预测准确性,在降噪效果和执行效率两个方面较经典的开关型RVIN降噪算法有显著提升,更具实用价值。     

基于变指数的片相似性扩散图像降噪算法

针对图像去噪过程中存在边缘保持与噪声抑制之间的矛盾,提出了一种基于变指数的片相似性扩散图像降噪算法。算法基于变指数的自适应降噪模型,引入片相似性的思想,构造出新的边缘检测算子和扩散系数函数。传统的各项异性扩散图像降噪算法利用单个像素点的灰度相似性（或梯度信息）检测边缘,不能很好地保持图像的弱边缘和纹理信息。而所提算法利用邻域像素的灰度相似性,可以在滤除图像噪声的同时,保持更多的细节信息。仿真结果表明,与其他传统的基于偏微分方程（PDE）的图像降噪算法相比,该算法将信噪比（SNR）和峰值信噪比（PSNR）提高至16.602480dB和31.284672dB,具有良好的抗噪性;同时视觉效果较好,保持了更多的弱边缘和纹理等细节特征,在噪声抑制与边缘保持之间取得了较好的权衡。     

深度卷积神经网络降噪模型的技术瓶颈与研究展望

现有的深度卷积神经网络（DCNN）图像降噪模型受其技术路线内在固有特性的制约,降噪性能仍然有待进一步改进。为了推动现有DCNN图像降噪模型技术的发展,需要正视并及时解决制约其进一步完善的瓶颈问题。本文简要概述了传统的基于自然图像非局部自相似性、稀疏性和低秩性这3种先验知识设计的图像降噪算法的技术路线特点和优缺点,从传统图像降噪算法存在的问题中引出基于DCNN构建图像降噪模型的技术优势,并梳理并总结了DCNN降噪模型未来的发展瓶颈,就相应的解决方案（研究方向）进行详细讨论。通过深入分析发现,可以从扩大卷积核的感受野、降低网络参数与训练集之间的依赖关系以及充分利用DCNN网络的建模能力这3个角度入手,突破现有基于数据驱动的DCNN降噪模型的瓶颈制约,把图像降噪算法的研究水平推向新的高度。     

局部均值噪声估计的盲3维滤波降噪算法

目的 图像在获取和传输的过程中很容易受到噪声的干扰,图像降噪作为众多图像处理系统的预处理模块在过去数十年中得到了广泛的研究。在已提出的降噪算法中,往往采用加性高斯白噪声模型AWGN（additive white Gaussian noise）为噪声建模,噪声水平（严重程度）由方差参数控制。经典的BM3D 3维滤波算法属于非盲降噪（non-blind denoising algorithm）算法,在实际使用中需要由人工评估图像噪声水平并设置参数,存在着噪声评估值随机性大而导致无法获得最佳降噪效果的问题。为此,提出了一种新的局部均值噪声估计（LME）算法并作为BM3D算法的前置预处理模块。方法 本文专注于利用基于自然统计规律（NSS）的图像质量感知特征和局部均值估计技术构建图像噪声水平预测器,并通过它高效地获得噪声图像中准确的噪声水平值。关于自然场景统计方面的研究表明,无失真的自然场景图像在空域或者频率域上具有显著的统计规律,一旦受到噪声干扰会产生规律性的偏移,可以提取这些特征值作为反映图像质量好坏的图像质量感知特征。另外,局部均值估计因其简单而高效率的预测特性被采用。具体实现上,在具有广泛代表性且未受噪声干扰图像集合上添加不同噪声水平的高斯噪声构建失真图像集合,然后利用小波变换对这些失真图像进行不同尺度和不同方向的分解,再用广义高斯分布模型（GGD）提取子带滤波系数的统计信息构成描述图像失真程度的特征矢量,最后用每幅失真图像上所提取的特征矢量及对其所施加的高斯噪声水平值构成了失真特征矢量库。在降噪阶段,用相同的特征提取方法提取待降噪的图像的特征矢量并在失真特征矢量库中检索出与之类似的若干特征矢量及它们所对应的噪声水平值,然后用局部均值法估计出待降噪图像中高斯噪声大小作为经典BM3D算法的输入参数。结果 改进后的BM3D算法转换为盲降噪算法,称为BM3D-LME（block-matching and 3D filtering based on local means estimation）算法。准确的噪声估计对于诸如图像降噪,图像超分辨率和图像分割等图像处理任务非常重要。已经验证了所提出噪声水平估计算法的准确性、鲁棒性和有效性。结论 相对人工进行噪声估计,LME算法能够准确、快速地估算出任意待降噪图像中的噪声大小。配合BM3D算法使用后,有效提高了它的实际降噪效果并扩大它的应用范围。     

应用小波系数GSM统计模型的混合傅里叶-小波图像降噪

提出一种混合傅里叶-小波图像降噪算法,该算法的主要步骤是：先在傅里叶域中降噪,然后在小波域中滤除剩余的噪声。小波域中要滤除的是有色噪声,为了考虑有色噪声小波系数间的相关性,采用GSM（Gaussian scale mixture）统计模型描述图像小波系数的统计特性。实验证明该算法能有效提高降噪效果。     

面向图文匹配任务的多层次图像特征融合算法

现有主流的利用预训练卷积神经网络提取图像特征的方法存在仅使用单层预训练特征表征图像和预训练任务与实际研究任务不一致的问题,使得现有图文匹配方法无法充分利用图像特征,极易受到噪声特征干扰。针对上述问题,使用了预训练网络中的多层特征,并提出了多层次图像特征融合算法。在图文匹配的学习目标指导下,利用多层感知机（multi-layer perceptron）有监督地融合和降维多层次的预训练图像特征,生成融合图像特征,从而充分利用预训练特征,减少噪声干扰。实验结果表明,提出的融合算法可实现对预训练的图像特征更有效的利用,相比于使用单层次特征的方法能获得更好的图文匹配效果。     

基于NS-StyleGAN2的鱼类图像扩充方法

图像多分类领域中经常出现类别不平衡问题,这会对分类模型的学习训练产生负面影响。通过对样本数量较少的类别进行扩充可以有效解决类别不平衡问题。生成对抗网络作为近年来新兴的一种神经网络,输入真实图像样本训练可以输出与真实样本非常相似的生成样本。根据此特性,本文结合第二代样式生成对抗网络（StyleGAN2）的设计思想与鱼类图像的特点,设计一种噪声抑制样式生成对抗网络NS-StyleGAN2 （Noise-Suppressed Style Generative Adversarial Networks 2）。NS-StyleGN2去除了StyleGAN2合成网络中低分辨率层的噪声输入,从而抑制低分辨率层的噪声权重,使StyleGAN2生成样本细节特征更逼近真实样本特征。采用202张鲢鱼图像进行训练,本文提出的方法在起始分数、弗雷歇起始距离、内核起始距离得分等方面均优于DCGAN、WGAN、StyleGAN2,表明该方法可以有效进行图像扩充。     

Removal of impulse noise in color images based on convolutional neural network

A new denoising framework based on deep convolutional neural network for suppressing impulse noise in color images is proposed in this paper. The proposed framework consists of two modules: noise detection and image reconstruction, both of which are implemented by a deep convolutional neural network. First, a noise classifier network is trained to detect random-valued impulse noise in a color image, which not only can detect the noisy color vector pixels but also can further identify the corrupted channels of each noisy color pixel. Then, a sparse clean color image is computed by replacing the values of noisy channels with 0 and keeping other noise-free channels unchanged. Finally, the sparse clean color image is fed to another denoiser network to reconstruct the denoised image. Experimental results show that the proposed denoiser outperforms other state-of-the-art methods clearly in both performance measure and visual evaluation.     

基于自监督约束的双尺度真实图像盲去噪算法

现存的图像去噪算法在处理加性高斯白噪声上已经取得令人满意的效果,然而其在未知噪声强度的真实噪声图像上泛化性能较差.鉴于深度卷积神经网络极大地促进了图像盲去噪技术的发展,针对真实噪声图像提出一种基于自监督约束的双尺度真实图像盲去噪算法.首先,所提算法借助小尺度网络分支得到的初步去噪结果为大尺度分支的图像去噪提供额外的有用信息,以帮助后者实现良好的去噪效果.其次,用于去噪的网络模型由噪声估计子网络和图像非盲去噪子网络构成,其中噪声估计子网络用于预测输入图像的噪声强度,非盲去噪子网络则在所预测的噪声强度指导下进行图像去噪.鉴于真实噪声图像通常缺少对应的清晰图像作为标签,提出了一种基于全变分先验的边缘保持自监督约束和一个基于图像背景一致性的背景自监督约束,前者可通过调节平滑参数将网络泛化到不同的真实噪声数据集上并取得良好的无监督去噪效果,后者则可借助多尺度高斯模糊图像之间的差异信息辅助双尺度网络完成去噪.此外,还提出一种新颖的结构相似性注意力机制,用于引导网络关注图像中微小的结构细节,以便复原出纹理细节更加清晰的真实去噪图像.相关实验结果表明在SIDD,DND和Nam这3个真实基准数据集上,所提的基于自监督的双尺度盲去噪算法无论在视觉效果上还是在量化指标上均优于多种有监督图像去噪方法,且泛化性能也得到了较为明显的提升.     

双通道扩张卷积注意力图像去噪网络*

针对深度学习图像去噪算法存在网络过深导致细节丢失的问题,提出一种双通道扩张卷积注意力网络CEANet。拼接信息保留模块将每一层的输出特征图融合,弥补卷积过程中丢失的图像细节特征进行密集学习;扩张卷积可以在去噪性能和效率之间进行权衡,用更少的参数获取更多的信息,增强模型对噪声图像的表示能力,基于扩张卷积的稀疏模块通过扩大感受野获得重要的结构信息和边缘特征,恢复复杂噪声图像的细节;基于注意力机制的特征增强模块通过全局特征和局部特征进行融合,进一步指导网络去噪。实验结果表明,在高斯白噪声等级为25和50时,CEANet都获得了较高的峰值信噪比均值和结构相似性均值,能够更高效地捕获图像细节信息,在边缘保持和噪声抑制方面,具有较好的性能。相关实验证明了该算法进行图像去噪的有效性。     

真实场景中基于卷积神经网络的去噪算法

For dealing with the noise image processing in the real scene, this paper proposes a denoising algorithm based on convolu- tional neural network according to the noise model which closer to the real scene. The algorithm uses multiple convolution layers in the convolutional neural network to learn the data characteristics of the noise image in the real scene, so as to continuously optimize its own parameters. The simulation results show that the denoising algorithm based on convolutional neural network has a good de- noising effect on the noise image in real scene, the denoised image is clearer, the visual effect is better, and the edge details in the im- age are well preserved.     

采用多通道浅层CNN构建的多降噪器最优组合模型

现有的一致性神经网络(Consensus neural network, CsNet)利用凸优化和神经网络技术将多个降噪算法(降噪器)输出的图像进行加权组合(融合), 以获得更好的降噪效果, 但该优化模型在降噪效果和执行效率方面仍有较大改进空间. 为此, 提出一种基于轻量型多通道浅层卷积神经网络(Multi-channel shallow convolutional neural network, MSCNN)构建的多降噪器最优组合(Optimal combination of image denoisers, OCID)模型. 该模型采用多通道输入结构直接接收由多个降噪器输出的降噪图像, 并利用残差学习技术合并完成图像融合和图像质量提升两项任务. 具体使用时, 对于给定的一张噪声图像, 先用多个降噪器对其降噪, 并将降噪后图像输入OCID模型获得残差图像, 然后将多个降噪图像的均值图像与残差图像相减, 所得到图像作为优化组合后的降噪图像. 实验结果表明, 与CsNet组合模型相比, 网络结构更为简单的OCID模型以更小的计算代价获得了图像质量更高的降噪图像.     

A model-driven network for guided image denoising

Guided image denoising recovers clean target images by fusing guidance images and noisy target images. Several deep neural networks have been designed for this task, but they are black-box methods lacking interpretability. To overcome the issue, this paper builds a more interpretable network. To start with, an observation model is proposed to account for modality gap between target and guidance images. Then, this paper formulates a deep prior regularized optimization problem, and solves it by alternating direction method of multipliers (ADMM) algorithm. The update rules are generalized to design the network architecture. Extensive experiments conducted on FAIP and RNS datasets manifest that the novel network outperforms several state-of-the-art and benchmark methods regarding both evaluation metrics and visual inspection.     

基于非局部自相似的Shearlet自适应收缩图像去噪

针对Shearlet收缩去噪引入的Gibbs伪影和"裂痕"现象,提出一种结合非局部自相似的Shearlet自适应收缩图像去噪方法.首先,对噪声图像进行多方向多尺度的Shearlet分解;然后,基于高斯比例混合(GSM)模型的Shearlet系数分布建模,利用贝叶斯最小二乘估计对Shearlet系数进行自适应收缩去噪,重构得到初始去噪图像;最后,利用非局域自相似模型对初始去噪图像进行滤波处理,得到最终的去噪图像.实验结果表明,所提方法在更好地保留边缘特征的同时,有效地去除噪声和收缩去噪引入的Gibbs伪影,该方法获得的峰值信噪比(PSNR)和结构自相似指标(SSIM)比基于非抽样剪切波变换(NSST)的硬阈值去噪方法提高1.41 dB和0.08;比非抽样Shearlet域GSM模型去噪方法提高1.04 dB和0.045;比基于三变量模型的剪切波去噪方法提高0.64 dB和0.025.     

用噪声检测算法改进理想低通滤波器

针对图像去噪算法存在滤除噪声与保留图像边缘细节之间的矛盾,提出了一种使用基于分数阶微分梯度的随机噪声检测算法来提高理想低通滤波器的去噪性能的方法。首先,使用不同方向的分数阶微分梯度模板与含噪声图像进行卷积,计算出图像在不同方向上的分数阶微分梯度;然后,依据预先设定的阈值获得不同方向的分数阶微分梯度检测图,将在所有选定方向上梯度都发生跳变的像素点判定为噪声点;最后,只对图像中被检测出的噪声点用理想低通滤波器进行滤波,可使图像在去除噪声和保留图像细节两方面同时获得较优的效果。实验结果表明,所提算法不仅可以获得更好的视觉效果,而且去噪后图像的峰值性噪比(PSNR)表明去噪后的图像更接近原始图像,使用理想低通滤波器获得的最大PSNR为29.0893dB,所提算法获得的最PSNR为34.7027dB。将分数阶微积分用于图像去噪,为提高图像去噪性能提供了一个新的研究方向。