深度卷积神经网络降噪模型的技术瓶颈与研究展望

现有的深度卷积神经网络（DCNN）图像降噪模型受其技术路线内在固有特性的制约,降噪性能仍然有待进一步改进。为了推动现有DCNN图像降噪模型技术的发展,需要正视并及时解决制约其进一步完善的瓶颈问题。本文简要概述了传统的基于自然图像非局部自相似性、稀疏性和低秩性这3种先验知识设计的图像降噪算法的技术路线特点和优缺点,从传统图像降噪算法存在的问题中引出基于DCNN构建图像降噪模型的技术优势,并梳理并总结了DCNN降噪模型未来的发展瓶颈,就相应的解决方案（研究方向）进行详细讨论。通过深入分析发现,可以从扩大卷积核的感受野、降低网络参数与训练集之间的依赖关系以及充分利用DCNN网络的建模能力这3个角度入手,突破现有基于数据驱动的DCNN降噪模型的瓶颈制约,把图像降噪算法的研究水平推向新的高度。     

图像质量感知的混合噪声快速盲降噪算法

现有的高斯-脉冲混合噪声降噪算法多基于正则化技术采用迭代求解最优目标函数值的方式实现,执行效率普遍比较低,严重限制了其实际应用范围.为此,以卷积神经网络(convolutional neural network, CNN)为核心技术提出了一种基于图像质量感知的快速盲降噪算法(image quality-aware fast blind denoising algorithm, IQA-FBDA).在训练阶段,首先基于浅层CNN卷积神经网络设计图像质量评估模型来预测待降噪图像的图像质量值;然后,依据在大量噪声图像训练集合上获得的图像质量值统计分布规律构建混合噪声模式分类字典;最后,基于该分类字典将噪声图像集合划分为16个子集并训练与各个子集相匹配的深层CNN卷积神经网络专用降噪模型.在降噪阶段,首先利用图像质量评估模型估计给定待降噪图像的质量值,然后依据所预测的图像质量值查找噪声模式分类字典并调用与之相匹配预先训练好的深层CNN降噪模型即可快速地完成盲降噪任务.实验数据表明：IQA-FBDA算法在降噪效果方面的性能达到了与主流高斯-脉冲混合噪声降噪算法相当的水平,而在执行效率方面则有极大提高,更具实用价值.     

两阶段多层感知的随机脉冲噪声比例预测

目的 基于卷积神经网络（CNN）在图块级上实现的随机脉冲噪声（RVIN）降噪算法在执行效率方面较经典的逐像素点开关型降噪算法有显著优势,但降噪效果如何取决于能否对降噪图像受噪声干扰程度（噪声比例值）进行准确估计。为此,提出一种基于多层感知网络的两阶段噪声比例预测算法,达到自适应调用CNN预训练降噪模型获得最佳去噪效果的目的。方法 首先,对大量无噪声图像添加不同噪声比例的RVIN噪声构成噪声图像集合;其次,基于视觉码本（visual codebook）采用软分配（soft-assignment）编码法提取并筛选若干能反映噪声图像受随机脉冲噪声干扰程度的特征值构成特征矢量;再次,将从噪声图像上提取的特征矢量及对应的噪声比例分别作为多层感知网络的输入和输出训练噪声比例预测模型,实现从特征矢量到噪声比例值的映射（预测）;最后,采用粗精相结合的两阶段实现策略进一步提高RVIN噪声比例的预测准确性。结果 针对不同RVIN噪声比例的失真图像,从预测准确性、实际降噪效果和执行效率3个方面验证提出算法的性能和实用性。实验数据表明,本文算法在大多数噪声比例下的预测误差小于2%,降噪效果（PSNR指标）较其他主流降噪算法高24 dB,处理一幅大小为512×512像素的图像仅需3 s左右。结论 本文提出的RVIN噪声比例预测算法在各个噪声比例下具有鲁棒的预测准确性,在降噪效果和执行效率两个方面较经典的开关型RVIN降噪算法有显著提升,更具实用价值。     

基于无监督深度图像生成的盲降噪模型

鉴于有监督神经网络降噪模型的数据依赖缺陷,提出了一种基于无监督深度生成（UDIG）的盲降噪模型。首先,利用噪声水平评估（NLE）算法测定给定噪声图像中的噪声水平值并输入到主流FFDNet降噪模型中,所得到降噪后的图像（称为初步降噪图像）作为UDIG降噪模型的输入。其次,选用编码器—解码器架构作为UDIG模型的骨干网络并用UDIG模型的输出图像（即生成图像）分别与初步降噪图像、噪声图像之间的均方误差之和构建混合loss函数;再次,以loss最小化为优化目标,通过随机梯度下降（SGD）网络训练算法调整网络模型的参数值从而获得一系列生成图像;最后,当残差图像（噪声图像与生成图像之间）的标准差逼近之前NLE算法所测定的噪声水平估计值时及时终止网络迭代训练过程,从而确保生成图像（作为降噪后图像）的图像质量最佳。实验结果表明：与现有的主流降噪模型（算法）相比,UDIG降噪模型在降噪效果上具有显著优势。     

种子像素滤波法去除随机脉冲噪声

为了在去除图像高密度随机脉冲噪声的同时最大程度地保护图像边缘和细节,提出一种新方法。该方法首先利用图像局部灰度相似性,提取种子像素;然后只对种子像素进行开关中值滤波,去除误判的种子像素,采用自适应变窗口尺寸;最后利用种子像素先探测漏选的种子像素,接着重构非种子像素。实验结果表明,与其他方法相比,该方法是综合性能最优之一。     

基于卷积盲降噪的混合式核磁共振成像

为了解决图像压缩感知重建研究领域中通过有效的图像先验信息重构与原图相似性高且保留细节消除伪影的高质量图像的问题, 针对不足采样的K空间数据, 在经典的CNN算法CBDNet算法的基础上, 通过融合深度学习先验信息及传统图像恢复各自优势的方法, 研究了基于深度神经网络去噪先验和BM3D块压缩感知算法的混合式重构算法. 该算法采用交互式方法训练多尺度残差网络抑制噪声水平, 借优化选择的方式将深度学习与传统块匹配多尺度结合以提取图像不同尺度的特征数据从而实现抑制伪影、快速重建高质量MRI. 实结果表明深度学习结合BM3D在MR图像重构领域能够有效降低伪影保留细节信息, 加强重构效果. 与此同时, 通过采用GPU的加速运算, 算法的计算复杂度较使用单一算法并未增加很多. 可见基于卷积盲降噪的混合式核磁共振成像效果更佳.     

基于加权空间离群点度量的随机脉冲噪声降噪算法

针对排序统计类降噪算法在随机脉冲噪声（RVIN）图像降噪过程中,对图像边缘和细节部分噪声识别不够准确以及恢复比较模糊的问题,提出了基于加权空间离群点度量（SLOM）的脉冲噪声降噪算法WSLOM-EPR。该算法以优化的空间距离差为基础,引入图像邻域均值和标准差,建立反映局部边缘细节特征的噪声检测方法,提高边缘细节处噪声的识别精度;然后以精确检测结果为基础,优化保边正则（EPR）函数,提高算法的执行效率,并增强算法保留边缘细节的能力。仿真结果显示,WSLOM-EPR算法在40%到60%噪声密度下对噪声点的误检和漏检综合表现优于对比算法,且能在两者之间保持一个较好的平衡;降噪后的峰值信噪比（PSNR）好于对比算法中的大多数情况,且边缘细节在视觉上更加清晰连续。结果表明WSLOM-EPR算法提高了噪声检测精度,有效地保持了恢复图像的边缘细节信息。     

结合降噪卷积神经网络和条件生成对抗网络的图像双重盲降噪算法

针对图像降噪中降噪效果差、计算效率低的问题,提出了一种结合降噪卷积神经网络(DnCNN)和条件生成对抗网络(CGAN)的图像双重盲降噪算法.首先,使用改进的DnCNN模型作为CGAN的生成器来对加噪图片的噪声分布进行捕获;其次,将剔除噪声分布后的加噪图片和标签一同送入判别器进行降噪图像的判别;然后,利用判别结果对整个模...     

面向舌体分割的两阶段卷积神经网络设计

目的 由于舌体与周围组织颜色相似,轮廓模糊,传统的分割方法难以精准分割舌体,为此提出一种基于两阶段卷积神经网络的舌体分割方法。方法 首先,在粗分割阶段,将卷积层和全连接层相结合构建网络Rsnet,采用区域建议策略得到舌体候选框,从候选框中进一步确定舌体,从而实现对舌体的定位,去除大量的干扰信息;然后,在精分割阶段,将卷积层与反卷积层相结合构建网络Fsnet,对粗分割舌象中的每一个像素点进行分类进而实现精分割;最后,采用形态学相关算法对精分割后的舌体图像进行后续处理,进一步消除噪点和边缘粗糙点。结果 本文构建了包含2 764张舌象的数据集,在该数据集上进行五折交叉实验。实验结果表明,本文算法能够取得较为理想的分割结果且具有较快的处理速度。选取了精确度、召回率及F值作为评价标准,与3种常用的传统分割方法相比,在综合指标F值上分别提高了0.58、0.34、0.12,效率上至少提高6倍,与同样基于深度学习思想的MNC（multi-task network cascades）算法相比,在F值上提高0.17,效率上提高1.9倍。结论 将基于深度学习的方法应用到舌体分割中,有利于实现舌象的准确、鲁棒、快速分割。在分割之前,先对舌体进行定位,有助于进一步减少分割中的错分与漏分。实验结果表明,本文算法有效提升了舌体分割的准确性,能够为后续的舌象自动识别和分析奠定坚实的基础。     

利用几何结构检测去除图像中的随机值脉冲噪声

尽管中值滤波以及各种改进方法是去除图像中随机值脉冲噪声的有效方法,然而,大多数去噪方法存在门限值选取困难和对图像边缘纹理结构过平滑的缺点。针对这一问题,提出了一种基于几何结构的用于检测和去除随机值脉冲噪声的新方法。该方法首先利用图像的直方图分布来估计脉冲噪声的噪声率;然后进一步基于噪声率和细节图像的直方图分布,自适应地确定两个分类门限;最后利用两个门限,将细节图像中的像素分成‘未被污染点’、‘待定点’和‘噪声点’。其中‘待定点’主要由边缘和纹理区像素和噪声像素构成,为区分其属性,还引入了几何结构检测方法。基于各像素点的类型,细节图像被用于修正中值滤波的结果。实验结果表明,该新方法在去除脉冲噪声的同时,还很好地保留了图像的边缘结构。与已有的方法相比,具有明显的优势。     

浅层CNN网络构建的噪声比例估计模型

目的 利用深度卷积神经网络（deep convolutional neural network,DCNN）构建的非开关型随机脉冲噪声（random-valued impulse noise,RVIN）降噪模型在降噪效果和执行效率上均比主流的开关型RVIN降噪算法更有优势,但在实际应用中,这类基于训练（数据驱动）的降噪模型,其性能却受制于能否对待降噪图像受噪声干扰的严重程度进行准确的测定（即存在数据依赖问题）。为此,提出了一种基于浅层卷积神经网络的快速RVIN噪声比例预测（noise ratio estimation,NRE）模型。方法 该预测模型的主要任务是检测待降噪图像中的噪声比例值并将其作为反映图像受噪声干扰严重程度的指标,依据NRE预测模型的检测结果可以自适应调用相应预先训练好的特定区间DCNN降噪模型,从而快速且高质量地完成图像降噪任务。结果 分别在10幅常用图像和50幅纹理图像两个测试集上进行测试,并与现有的主流RVIN降噪算法中的检测模块进行对比。在常用图像测试集上,本文所提出的NRE预测模型的预测准确性最高。相比于噪声比例预测精度排名第2的算法, NRE预测模型在噪声比例预测值均方根误差上低0.6% 2.4%。在50幅纹理图像测试集上,NRE模型的均方根误差波动范围最小,表明其稳定性最好。通过在1幅大小为512×512像素图像上的总体平均执行时间来比较各个算法执行效率的优劣,NRE模型执行时间仅为0.02 s。实验数据表明：所提出的NRE预测模型在受各种不同噪声比例干扰的自然图像上均可以快速而稳定地测定图像中受RVIN噪声干扰的严重程度,非盲的DCNN降噪模型与其联用后即可无缝地转化为盲降噪算法。结论 本文RVIN噪声比例预测模型在各个噪声比例下具有鲁棒的预测准确性,与基于DCNN的非开关型RVIN深度降噪模型配合使用后能妥善解决DCNN网络模型固有的数据依赖问题。     

基于两阶段模型的无人机图像厚云区域内容生成

无人机飞行时常因云层遮挡而造成拍摄图像下垫面的信息损失,而现有多光谱和多时相的云区内容估计方法主要针对卫星遥感图像,无法直接应用于无人机图像.如何利用已有信息合理地推断厚云遮挡区域内容,以提高影像的可用性是亟待解决的问题.针对无人机成像光谱单一、航时短且航迹随机的特点,利用图像修复理论,提出了一种基于深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks,DCGAN)的两阶段厚云区域内容生成方法.采用词袋(Bag of Words,BoW)检索算法搜索一阶段修复图像的相似样本,设计了仿射网络对它们进行注意力对齐,使生成的图像能利用同分布已知图像的信息,解决了无人机图像含有多种分布而难以有效提取特征,以及现有修复方法强依赖于单幅图像的局限.改进了经典DCGAN的结构,综合局部和全局对抗损失,以及感知损失和总变差损失,设计了新的联合损失函数.在仿真实验的中心1/4掩膜上,峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity,SSIM)、平均像素L1损失、自然图像质量评价NIQE(Natural Image Quality Evaluator)和BLIINDS(Blind Image Integrity Notator using DCT Statistics)指标比对比方法分别改善0.3214～3.6793、0.0005～0.0543、0.0171～4.1120、0.0565～4.7440和0.8841～4.2586.在真实含云图像实验中,NIQE和BLIINDS指标比对比方法分别改善0.1062～1.8992和1.0903～5.6495.实验结果的主观和客观分析表明,相比经典方法,本文方法在语义合理性、信息准确性和视觉自然性上都具有一定的优势,为厚云遮挡下的单光谱图像像素值预测提供了一种较好的解决方案.     

利用深度卷积神经网络提高未知噪声下的语音增强性能

为了进一步提高基于深度学习的语音增强方法在未知噪声下的性能,本文从神经网络的结构出发展开研究.基于在时间与频率两个维度上,语音和噪声信号的局部特征都具有强相关性的特点,采用深度卷积神经网络（Deep convolutional neural network,DCNN）建模来表示含噪语音和纯净语音之间的复杂非线性关系.通过设计有效的训练特征和训练目标,并建立合理的网络结构,提出了基于深度卷积神经网络的语音增强方法.实验结果表明,在未知噪声条件下,本文方法相比基于深度神经网络（Deep neural network,DNN）的方法在语音质量和可懂度两种指标上都有明显提高.     

基于脉冲卷积神经网络稀疏表征的高分辨率遥感图像场景分类方法

遥感图像场景分类对土地资源管理具有重要意义,然而高分辨率遥感图像中地物分布复杂,图像中存在着与当前场景无关的冗余信息,会对场景的精确分类造成影响.对此,提出一种基于脉冲卷积神经网络(SCNN)稀疏表征的场景分类方法.从稀疏表征出发,利用脉冲神经元的稀疏脉冲输出特性,设计脉冲卷积神经网络,去除遥感图像中与场景无关的冗余信息,实现对图像的稀疏表征;提出基于脉冲输出交叉熵损失函数的反向传播算法,在该算法的基础上利用梯度下降训练脉冲卷积神经网络,优化网络参数,实现遥感图像场景分类;通过实验验证方法的有效性,将所提出方法应用于Google和UCM两个遥感图像数据集,并与传统的卷积神经网络(CNN)进行对比.实验结果表明,所提出方法可以对遥感图像进行稀疏表征,实现场景分类;相对于卷积神经网络,所提出方法在遥感图像场景分类任务上更具有优势.     

基于灰度密度和四方向的随机脉冲噪声检测

提高检测正确率的同时降低漏检率和错检率是脉冲噪声检测过程中的难点。提出了两阶段的检测方法,第一阶段,根据窗口中心点的灰度密度小于某阈值检测噪声,分5次迭代,对每次检测到的噪声进行中值滤波,滤波图像作为下一次检测的输入图像;第二阶段,用窗口4个方向检测噪声,并根据MAD值自适应设定阈值。以512×512的Lena和Boat为测试对象,添加10%至50%的随机脉冲噪声进行仿真实验,结果表明,随着噪声密度的增加,错检数都稳定在较低值,漏检数保持在理论上的低值。     

基于全卷积编解码网络的单目图像深度估计

针对传统方法在单目图像深度估计时精度低、速度慢等问题,提出一种全卷积编码-解码网络模型,该模型将稀疏的深度样本集和RGB图像作为输入,编码层由Resnet和一个卷积层组成,解码层由两个上采样层和一个双线性上采样层组成,上采样层采用上卷积模块和上投影模块交叉使用,有效降低了棋盘效应并保留了预测深度图像的边缘信息.同时,模...     

基于深度反卷积神经网络的图像超分辨率算法

图像超分辨率一直是底层视觉领域的研究热点,现有基于卷积神经网络的方法直接利用传统网络模型,未对图像超分辨率属于回归问题这一本质进行优化,其网络学习能力较弱,训练时间较长,重建图像的质量仍有提升空间。针对这些问题,本文提出了基于深度反卷积神经网络的图像超分辨率算法,该算法利用反卷积层对低分辨率图像进行上采样处理,再经深度映射消除由反卷积层造成的噪声和伪影现象,使用残差学习降低网络复杂度,同时避免了因网络过深导致的网络退化问题。在Set5、Set14等测试集中,本文算法的PSNR、SSIM、IFC三项评价指标皆优于FSRCNN,重建图像的视觉效果同样验证了本文算法出色的性能。     

一个用于卷积混合模型的时频分析盲分离算法

提出一种基于时频分析的卷积混合盲分离算法.由于信号源与各传感器的距离不同,在传播的过程中会产生不同的幅度衰减和时间延迟.该算法用短时傅里叶变换对语音信号进行时频分析,将其中一个传感器信号作为参考信号,构造了源信号的幅度衰减向量和时间延迟向量.根据语音信号的时频域稀疏性,以这两个向量为特征,在时频域上对传感器信号进行聚类,再通过估计参考信号混合系数来获得源信号时频域表示,进一步得到源信号.该方法可以用于源信号数目大于传感器信号数目的情况.仿真实验证明,算法可以完成欠定情况下卷积混合信号的盲分离,分离结果令人满意.