群稀疏残差约束的引导字典学习算法及其单幅图像去雨

为了更有效地进行单幅图像去雨,提出一种群稀疏残差约束的引导字典学习算法.该算法特点在于利用混合高斯模型从自然图像中学习外部字典,面向有雨图像构建了基于外部字典引导的内部字典学习模型,并将内部字典的低秩性增加到字典学习目标函数中.该模型可以有效地利用自然图像与有雨图像先验知识之间的互补性,有助于同时恢复潜在稀疏的与稠密的图像细节.其次,基于图像的非局部自相似准则,利用群结构稀疏表示确保了相似图像块的编码系数尽可能接近,并对该模型引入残差约束,可有效地提高学习字典的重构能力与泛化能力.实验结果表明,在合成图像与真实图像上与其他算法相比,使用所提算法去雨后的图像具有更丰富的细节信息,图像更清晰,大大改善了整体视觉效果.     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网...     

基于半监督学习的单幅图像去雨算法

在雨天采集的图像通常存在背景物体被雨纹遮挡、图像变形等影响图像质量的现象,对后续图像分析及应用造成严重影响。近年来,已经提出了许多基于深度学习的去雨算法并获得了较好的效果。由于真实雨图的无雨纹干净背景图采集非常困难,大多数算法都采用监督学习即在含有配对标签的合成雨图数据集上进行模型训练。由于合成雨图和真实雨图中雨纹的亮度、透明度、形状等存在巨大差异,基于监督学习的去雨算法对真实雨图的泛化能力普遍较差。为提高去雨模型对真实雨图的去雨效果,提出了一种基于半监督学习的单幅图像去雨算法。该算法在模型训练过程中加入合成雨图和真实雨图并最小化两个输入图像转换成的特征向量的一阶信息和二阶统计信息差异,使两者特征分布一致。同时,针对雨纹复杂多样的特点,引入多尺度网络以获取更丰富的图像特征,并提高模型性能。实验结果表明,所提算法在Rain100H合成雨图测试集上相较JDNet、Syn2Real等算法在峰值信噪比（PSNR）和结构相似度（SSIM）上分别至少提升了0.66 dB、0.01,在去除雨纹的同时能最大限度保留图像细节和颜色信息;并且由于减少了分布差异,该算法在真实雨图测试集上的去雨效果明显优于现有的JDNet、Syn2Real等去雨算法,具有较强的泛化能力。所提算法可以应用于现有的基于监督学习的去雨算法并显著提高其去雨效果,拥有较高的独立性。     

基于双注意力残差循环单幅图像去雨集成网络

降雨会严重降低拍摄图像质量和影响户外视觉任务.由于不同图像中,雨的形状、方向和密度不同,导致单幅图像去雨是一项困难的任务.提出一种新的基于双注意力的残差循环单幅图像去雨集成网络(简称RDARENet).在网络中,因为上下文的信息对于去除雨痕十分重要,所以首先采用多尺度的扩张卷积网络去获得更大的感受野.雨痕信息可以认为是...     

多分辨率上下文聚合网络的单幅图像去雨方法

雨天等恶劣天气将造成图像质量的严重退化,进而影响计算机视觉算法的准确性.为了更好地提取多尺度雨痕特征,恢复图像含有的重要细节信息,提出一种基于多分辨率上下文聚合网络的单幅图像去雨方法.首先利用混洗操作将单一分辨率输入图像转化为多空间分辨率的输入图像,在低空间分辨率中使网络迅速扩大接受场,而在高空间分辨率下提取更加精细的...     

自适应卷积的残差修正单幅图像去雨

目的 雨天户外采集的图像常常因为雨线覆盖图像信息产生色变和模糊现象。为了提高雨天图像的质量,本文提出一种基于自适应选择卷积网络深度学习的单幅图像去雨算法。方法 针对雨图中背景误判和雨痕残留问题,加入网络训练的雨线修正系数（refine factor,RF）,改进现有雨图模型,更精确地描述雨图中各像素受到雨线的影响。构建选择卷积网络（selective kernel network,SK Net）,自适应地选择不同卷积核对应维度的信息,进一步学习、融合不同卷积核的信息,提高网络的表达力,最后构建包含SK Net、refine factor net和residual net子网络的自适应卷积残差修正网络（selective kernel convolution using a residual refine factor,SKRF）,直接学习雨线图和残差修正系数（RF）,减少映射区间,减少背景误判。结果 实验通过设计的SKRF网络,在公开的Rain12测试集上进行去雨实验,取得了比现有方法更高的精确度,峰值信噪比（peak signal to noise ratio,PSNR）达到34.62 dB,结构相似性（structural similarity,SSIM）达到0.970 6。表明SKRF网络对单幅图像去雨效果有明显优势。结论 单幅图像去雨SKRF算法为雨图模型中的雨线图提供一个额外的修正残差系数,以降低学习映射区间,自适应选择卷积网络模型提升雨图模型的表达力和兼容性。     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

单张图像去雨的多流细节加强网络

对于低等级的计算机视觉任务来说,图像去雨一直是一个热点问题.由于图像中雨线的密度不均一,导致单张图片中去雨成为极富有挑战性的问题.针对目标图像重点关注的两个部分：图像的整体结构和图像的细节,本文提出一种新颖的多流特征融合的卷积神经网络算法,通过多样的网络框架呈现优越的性能.该网络算法采用三条分支网络提取复杂多向的雨线特征,并运用级联的方式特征融合,通过与原图像结合去除有雨图的雨线,再经过细节加强网络获得高质量的无雨图.在合成的数据集以及真实雨图集下的去雨性能表明,所提出的算法与现有的基于深度学习的去雨算法相比,能够在去除雨线的同时保留更多的细节,保证了图片的质量.     

一种基于MAP的超分辨率图像重建的快速算法

超分辨率图像重建技术就是通过融合多幅变形、模糊、有噪、频谱混叠的低分辨率降质图像(或视频序列)来重建一幅高质量高分辨率图像.MAP估计算法是一种广泛使用的统计重建方法.针对标准MAP估计算法运算量大的问题提出了两点改进.第1点是当计算梯度时直接计算目标函数的增量,避免了函数值的冗余计算;第2点是采用非精确一维搜索确定步长,避免了运算量庞大的海塞矩阵的计算.实验结果表明,提出的改进在保持重建效果基本不变的前提下,在很大程度上提高了MAP超分辨率图像重建方法的速率,与此同时保证了算法的收敛性.     

预估计混叠度的MAP超分辨率处理算法

提出一种预估计混叠度的PEMAP(pre-estimated MAP(maximum a posteriori)算法,用于卫星图像的地面超分辨率处理.它通过频域分析确定卫星图像的混叠度,将其作为先验信息在空域控制MAP估计的循环迭代,联合估计帧间位移和高分辨率图像.该算法克服了最大后验概率MAP算法的盲目性和不稳定性,使其适应性更好.实际的卫星图像处理显示了较好的处理效果.     

基于最大后验概率和鲁棒估计的图像恢复推广变分模型

基于最大后验概率和MRF理论的图像恢复描述框架,提出一个面向图像恢复的推广变分模型.模型中将噪声建模为广义正态分布,利用最大似然法估计形状参数自动选择合适的范数作为数据保真项;将图像梯度场的分布建模为混合密度类,利用鲁棒估计理论构造一个耦合全变差积分和Dirichlet积分的图像先验模型作为正则化项.利用推广泛函的凸性,讨论了该推广模型的最优解存在性.最后提出结合梯度加权最速下降和半点格式的数值迭代算法.实验结果表明,推广模型能自动区分污染图像中的噪声分布特性,对于高斯噪声和脉冲噪声的污染图像都能取得很好的恢复效果.通过计算峰值信噪比和边缘保护指数,分析和评价了推广模型与目前其他变分方法的性能.     

基于非线性最小二乘的图像自适应SR重建以及运动估计

图像超分辨率（SR）重建是利用数字信号处理技术由一系列低分辨率观测图像得到高分辨率图像。为了扩展SR技术的应用范围,提出了一种同时进行图像超分辨率重建和全局运动估计的方法。该方法首先基于最大后验概率(MAP)给出了图像SR重建和运动估计框架,该框架不仅考虑了前后两次迭代所得的HR图像差值对最终重建图像的影响,而且引入了不同LR图像对重建图像的重要性权值,使得算法具有自适应性;然后将总体框架转换为图像SR重建模型和运动估计模型;最后基于非线性最小二乘法对模型进行优化求解,得出了SR重建图像及其全局运动域。实验表明,该方法不仅图像重建效果良好,并有着良好的收敛性。     

基于雨雾分离处理和多尺度网络的图像去雨方法

雨带来的雨条纹和雨雾会降低户外拍摄图像的质量,为了去除雨雾对图像的影响,提出了一种基于雨雾分离处理和多尺度卷积神经网络的图像去雨方法。首先利用导向滤波将雨线和图像细节信息提取到高频层,雨雾和背景信息则分离到低频层;然后构建多尺度卷积神经网络来去除高频层中的雨线,网络中融入多个稠密连接模块以提升特征提取的准确性;其次构建多层特征融合的轻量级去雾网络来去除低频层中的雨雾,采用参数一体化结构避免了估计多个大气散射模型参数导致的次优解;最后再结合处理后的高低频结果还原出清晰图像。在多个合成的雨雾数据集以及真实自然场景图像上进行测试,定性和定量结果表明,提出的方法在去除雨雾影响的同时较好地保留了色彩信息,和近年的算法相比,图像结构相似性约提升了0.02~0.08,图像峰值信噪比约提升了0.2~3.5 dB。     

用于因果分析的混合贝叶斯网络结构学习

目前主要结合扩展的熵离散化方法和打分一搜索方法进行混合贝叶斯网络结构学习，算法效率和可靠性低，而且易于陷入局部最优结构。针对问题建立了一种新的混合贝叶斯网络结构迭代学习方法．在迭代中，基于父结点结构和Gibbs sampling进行混合数据聚类，实现对连续变量的离散化，再结合贝叶斯网络结构优化调整，使贝叶斯网络结构序列逐渐趋于稳定，可避免使用扩展的熵离散化和打分——搜索所带来的主要问题．     

汉语连续语音识别系统中三音子模型的优化

为了更准确地估计状态聚类前有调三音子的模型参数,从而提高聚类后捆绑状态的精度及系统的识别性能,针对汉语连续语音识别中,有些有调三音子的训练样本数非常少,而其对应的无调三音子的训练样本数相对较多的情况,提出用其对应的无调三音子的模型参数进行初始化,并用最大后验概率准则训练模型。汉语大词汇量连续语音识别实验表明,该方法可以提高训练语料中稀疏三音子聚类前的模型精度,从而提高系统的识别性能。     

多核重复背投影图像超分辨率方法

图像超分辨率算法目前最为通用的框架是基于Bayes估计的方法,其求解方法多归于重复背投影(插值)的迭代方法．在特定的成像条件下,基于训练的多核插值滤波器估计方法具有良好的效果．考虑采样过程对图像质量的影响,我们把多核插值滤波器估计方法引入到重复背投影的计算框架下,取得了优于单独使用一种方法的超分辨率结果．     

特征驱动先验的归一化卷积超分辨率重建

目的 针对融合—复原法超分辨率重建中融合与复原两大环节,提出新的改进算法框架：用改进的归一化卷积实现融合,再用改进的最大后验估计实现复原,得到更优的超分辨率重建。方法 改进的归一化卷积引入了双适应度函数和一种新的混合确定度函数;改进的最大后验估计,引入一种特征驱动先验模型,该模型通过混合两种不变先验模型而得到,形式完全取决于图像自身的统计特征。结果 用本文算法对不同降质水平的图像进行重建,并与其他若干算法重建结果比较。无论从视觉效果还是从评价指标,本文算法均优于其他算法。结论 本文超分辨率重建算法,融合环节兼顾了邻域像素的空间距离和光度差,充分利用两种确定度函数的各自优势,可以抑制更多噪声和异常值;复原环节的先验模型依据图像特征而不是经验,对图像刻画更准确。实验结果也验证了本文算法的有效性。     

二元树复小波域的局部高斯混合模型图像降噪

在复小波域上对观测图像进行一种基于高斯混合模型的后验概率分类,并在每类小波系数的局部邻域估计出局部高斯混合模型的参数,这种参数估计是局部自适应的;然后用该局部高斯混合模型对各个子带系数进行贝叶斯框架下的最大后验概率(MAP)估计,以达到降低噪声的目的．由于这种小波变换具有近似的平移不变性和良好的方向选择性,因此在降噪的同时可以很好地消除主要边缘处的“震铃”效应．实验结果表明;文中算法无论从峰值信噪比还是从主观视觉效果上都要优于一些传统的降噪算法．