基于暗原色先验的APEX图像复原算法

为满足有效性和处理速度的要求,结合暗原色先验的参数估计,将用于模糊处理的近似点扩展函数估计(APEX)用于天气退化图像复原。考虑到不同天气条件下、不同大小的图像其APEX参数不一致,算法能够针对不同浓度的沙尘、雾动态调整估计参数;而且与大多数多幅图像输入的复原方法不同,算法针对单幅图像进行处理。仿真结果表明算法具有很好的实用性。为进一步改善视觉效果,基于颜色恒常性能够均衡图像中光源颜色分量不均匀造成的影响,对复原图像进行了颜色恒常性处理。     

利用双通道卷积神经网络的图像超分辨率算法

目的 图像超分辨率算法在实际应用中有着较为广泛的需求和研究。然而传统基于样本的超分辨率算法均使用简单的图像梯度特征表征低分辨率图像块,这些特征难以有效地区分不同的低分辨率图像块。针对此问题,在传统基于样本超分辨率算法的基础上,提出双通道卷积神经网络学习低分辨率与高分辨率图像块相似度进行图像超分辨率的算法。方法 首先利用深度卷积神经网络学习得到有效的低分辨率与高分辨率图像块之间相似性度量,然后根据输入低分辨率图像块与高分辨率图像块字典基元的相似度重构出对应的高分辨率图像块。结果 本文算法在Set5和Set14数据集上放大3倍情况下分别取得了平均峰值信噪比(PSNR)为32.53 dB与29.17 dB的效果。结论 本文算法从低分辨率与高分辨率图像块相似度学习角度解决图像超分辨率问题,可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象。本文算法可以很好地适用于自然场景图像的超分辨率增强任务。     

采用自适应梯度稀疏模型的图像去模糊算法

目的 图像的梯度分布被广泛应用在自然图像去模糊中,但研究结果显示先前的梯度参数估计方法不能很好地适应图像局部纹理变化。为此根据图像分块平稳的特点提出一种采用局部自适应梯度稀疏模型的图像去模糊模型。方法 该模型采用广义高斯分布（GGD）来描述图像不同区域的梯度分布,在最大后验概率框架下建立自适应梯度稀疏模型,然后采用变量分裂交替优化算法来求解模型中的最小化问题。在GGD参数估计中,先对模糊图像进行预处理,并将预处理后的图像分成纹理区和平滑区,仅对纹理区采用全局收敛算法进行GGD参数估计,而对平滑区设置固定参数值。结果 本文算法与近年来常用的去模糊去噪算法在不同类型的自然图像上进行了对比。实验结果表明,本文的参数估计法能精确地表达图像局部纹理变化,当在低噪声（加1%噪声）,分别加入模糊核1和2的条件下,经本文算法去除模糊和噪声后的图像相较对比算法能分别提高信噪比值0.042.96 dB和0.143.19 dB;在高噪声（加4%噪声）不同模糊核下,能分别提高0.194.50 dB和0.203.63 dB,同时本文算法相比2017年Pan等人提出的算法（加2%噪声）能提升0.150.36 dB。此外,本文算法在主观视觉上能获得更清晰的纹理和边缘结构信息。结论 本文算法在主客观评价上都表现出了良好的去模糊性能,可应用在自然图像和低照明图像等的去模糊领域。     

基于融合亮度模型和梯度域滤波的图像去雾#br#

为解决暗通道先验算法在处理图像的天空区域时容易出现颜色过饱和、亮度整体偏暗和光晕等问题,提出了一种融合亮度模型和梯度域滤波的图像去雾算法.首先,选择整幅图像中亮度最大的前0.1％ 像素的平均值作为大气光值;然后,利用自适应最小值滤波的改进暗通道模型和亮度模型分别对前景区域和天空区域求解透射率,在将其加权融合得到粗透射率的基础上,使用梯度域导向滤波对透射率进行细化;最后,通过大气散射模型和伽马校正复原出无雾图像.实验结果表明,在包含天空区域的雾图上本文算法能够快速有效地解决天空区域的光晕效应和图像失真问题,复原出来的图像清晰自然,保留了较多的细节信息,在主观和客观2个评价方面均优于其他对比算法.     

基于卷积神经网络的轻量级图像超分辨率

最近几年,深层卷积神经网络在解决单图像超分辨率问题上有着不错的表现。为了改善卷积神经网络的层数越深带来的计算量越大和实时重建速度越慢的缺点,结合现有的卷积网络模型,本文提出一种轻量级的网络结构。在神经网络层中减少网络层数,利用通道分离构建出局部特征的多尺度增强结构,进一步地结合残差网络进行模型构建。实验结果表明,与LapSRN方法、VDSR方法、传统的插值法等相比,该方法实时重建速度较快,且在峰值信噪比和结构相似性上不弱于其他方法。     

基于生成对抗网络的图像去雾算法

为了提高雾霾条件下拍摄到的模糊图像的质量,提出了一种基于生成对抗学习思想的卷积神经网络去雾算法.该卷积网络在生成模型部分将介质透射率和大气光值嵌入一个变量,进行了联合优化,避免了分离优化影响整体去雾性能的缺陷;在对抗模型部分,将生成模型部分的输出清晰图和真实的清晰图进行对比,从而判别生成的输出清晰图是否足够真实.为了生成更加逼真的清晰图像,引入了一种新的损失函数来优化网络参数,该损失函数同时纳入了图像的L₂损失和双向梯度损失、特征损失和判别器损失,从4个方面来保证去雾性能的良好表现.除此之外,在训练网络的过程中,使用了真实图像和合成有雾图像同时作为数据集,其中的合成图像在合成过程中采用引导滤波算法,这样可以使得合成的有雾图像更加接近于自然情况.最后,引入了更多的评价指标验证了所提方法.基于不同方法的实验数据和实验结果证明了本文方法在已有方法上的提升.     

基于语义先验和双通道特征提取的图像修复

针对现有的图像修复算法重建结果存在的局部结构不连通、细节还原不准确等问题,提出了一种基于语义先验和双通道特征提取的图像修复算法（semantic prior and dual channel extraction,SPDCE）。该算法利用语义先验网络学习缺失区域的语义信息和上下文知识,对缺失区域进行预测,增强了生成图像的局部一致性;然后通过双通道特征提取网络充分挖掘图像信息,提升了对纹理细节的感知和利用能力;再使用上下文特征调整模块在多个尺度上捕获并编码丰富的语义特征,从而生成更真实的图像视图和更精细的纹理细节。在CelebA-HQ和Places2数据集上进行实验验证,结果表明,SPDCE算法与常用算法相比,峰值信号比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）分别提升1.6~1.73 dB和3.1%~9.9%,L1 loss下降15.2%~27.8%。实验证明所提算法修复后的图像具有更合理的结构和更丰富的细节,图像修复效果更优。     

强度和梯度稀疏约束下的图像平滑

目的 为了在图像平滑过程中达到更好地保留边缘去除细节效果,提出一种以像素强度和梯度的稀疏特性为双重约束的图像平滑算法。方法 该算法首先构造一个像素强度和梯度的0-范数函数,作为平滑模型的约束项;然后采用半二次变量分裂法引入辅助变量,构造最终的较易求解的平滑模型;最后利用交替最小化算法求解该模型,并在傅里叶频域内求解平滑图像的解析解,以加快算法的运行速度。结果 在自然图像上进行的平滑实验并与其他算法对比表明,本文的算法时间仅需3.42 s,比双边滤波算法快7.85 s,能够较好地满足图像平滑保留边缘去除细节的要求以及计算效率的要求。结论 本文以强度和梯度的稀疏特性为约束的图像平滑算法能够较好地去除图像中不重要的细节,保留图像的边缘特征,较好地实现了图像的平滑效果,适用于含有复杂背景噪声的图像平滑去噪及边界增强。     

带有微分项改进的自适应梯度下降优化算法

梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为■.最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.     

结合天空识别和暗通道原理的图像去雾

目的 目前较为流行的去雾算法对天空区域的处理效果不佳,容易造成方块效应以及色彩严重失真.针对该问题,提出一种基于天空识别和暗通道原理的单幅图像去雾方法.方法 天空识别算法,将雾图分为天空与非天空部分,对其分别估计透射率图,通过大气散射模型得到复原图像;针对利用暗通道原理得到的去雾图像普遍偏暗的问题,对其进行色彩重映射,以增加图像亮度,提升图像视觉效果.结果 大量实验结果表明,本文算法复原的图像清晰自然,尤其是天空区域平滑明亮,取得了很好的去雾效果.结论 基于天空识别,提出了一种新颖的单幅图像去雾算法.与He Kaiming以及Tarel的算法相比,去雾后图像整体效果更佳.     

融合GF-MSRCR和暗通道先验的图像去雾

目的 针对雾天图像高亮和雾浓区域中容易出现场景透射率值求取不准确,导致复原后的图像细节丢失、出现光晕现象、对比度和色彩难以满足人眼的视觉特性等问题,提出了一种融合引导滤波优化的色彩恢复多尺度视网膜算法（GF-MSRCR）和暗通道先验的图像去雾算法。方法 首先利用加权四叉树方法从最小通道图中快速搜索全局大气光值,再从图像增强角度应用GF-MSRCR算法初步估计场景透射率值,依据暗通道先验原理对最小通道图进行二次估测,根据两次求取结果按一定比例进行像素级图像融合,得到场景透射率估计值;利用变差函数修正估计值,经中值滤波进一步优化得到场景透射率的精确值,最后通过大气散射模型恢复雾天图像,调整对比度和恢复颜色后,得到了轮廓完整且细节清晰的无雾图像。结果 理论分析和实验结果表明,经本文算法去雾处理后的图像信息熵、对比度、平均梯度、结构相似性分别平均提升了7.87%、21.95%、47.73%和15.58%,同时运行时间缩短了53.22%,对近景、含小部分天空区域、含大片天空区域和含白色物体场景的多种类型雾天图像显示出较好的复原效果。结论 融合GF-MSRCR和暗通道先验的图像去雾算法能快速有效保留图像的细节信息、消除光晕,满足了人眼的视觉特性,具有一定的实用性以及普适性。     

结合稀疏先验与多模式分解的低秩张量恢复方法

目的 各类终端设备获取的大量数据往往由于信息丢失而导致数据不完整,或经常受到降质问题的困扰。为有效恢复缺损或降质数据,低秩张量补全备受关注。张量分解可有效挖掘张量数据的内在特征,但传统分解方法诱导的张量秩函数无法探索张量不同模式之间的相关性;另外,传统张量补全方法通常将全变分约束施加于整体张量数据,无法充分利用张量低维子空间的平滑先验。为解决以上两个问题,提出了基于稀疏先验与多模式张量分解的低秩张量恢复方法。方法 在张量秩最小化模型基础上,融入多模式张量分解技术以及分解因子局部稀疏性。首先对原始张量施加核范数约束,以此捕获张量的全局低秩性,然后,利用多模式张量分解将整体张量沿着每个模式分解为一组低维张量和一组因子矩阵,以探索不同模式之间的相关性,对因子矩阵施加因子梯度稀疏正则化约束,探索张量子空间的局部稀疏性,进一步提高张量恢复性能。结果 在高光谱图像、多光谱图像、YUV（也称为YCbCr）视频和医学影像数据上,将本文方法与其他8种修复方法在3种丢失率下进行定量及定性比较。在恢复4种类型张量数据方面,本文方法与深度学习GP-WLRR方法（global prior refined weighted low-rank representation）的修复效果基本持平,本文方法的MPSNR（mean peak signal-to-noise ratio）在所有丢失率及张量数据上的总体平均高0.68dB,MSSIM（mean structural similarity）总体平均高0.01;与其他6种张量建模方法相比,本文方法的MPSNR及MSSIM均取得最优结果。结论 提出的基于稀疏先验与多模式张量分解的低秩张量恢复方法,可同时利用张量的全局低秩性与局部稀疏性,能够对受损的多维视觉数据进行有效修复。     

结合纹理梯度抑制与L0梯度最小化的纹理滤波

目的 纹理滤波是计算机视觉领域的一个基础应用工具,其目标是抑制图像中不必要的纹理细节和保持图像的主要结构。目前已有的纹理滤波方法多存在强梯度纹理无法被抑制或结构丢失的问题,为此提出一种结合纹理梯度抑制与L₀梯度最小化的纹理滤波算法。方法 首先,提出一种能够区分结构/纹理像素的方向性区间梯度算子,其中采取了局部对比度拉伸和尺度自适应策略,提升了弱梯度结构像素的识别能力。随后,利用区间梯度幅值对原始图像梯度进行抑制,并用抑制后的图像梯度进行图像重建,获得纹理像素梯度小于结构像素梯度的纹理抑制图像。最后,考虑到纹理梯度抑制时会对结构像素的梯度产生一定的衰减作用,本文采用具有梯度提升作用的L₀梯度最小化方法对纹理抑制图像进行滤波,得到纹理抑制结构保持的纹理滤波图像。结果 通过测试马赛克和自然风景等不同类型的图片,并与L₀梯度最小化、滚动引导图像滤波、相对总变分、共现滤波等方法相比较,本文算法能够在抑制强梯度纹理的情况下对图像的主要结构得以保持,并且具有良好的普适性和鲁棒性。同时本文将纹理滤波应用于图像的边缘检测和细节增强,取得了不错的效果提升。结论 本文算法在兼顾强梯度纹理的抑制和结构的保持方面已超越已有的方法,对于图像的目标识别、图像融合、边缘检测等易受强梯度纹理干扰的技术领域,具有较大的应用潜力。     

暗原色先验与NL-CTV模型相结合的图像去雾方法

鉴于暗原色先验算法能复原不同雾浓度和场景深度的图像,而基于非局部算子概念的NL-CTV（Non-Local Color Total Variation）模型能较好地保持图像边缘和纹理等特征,融合暗原色先验与NL-CTV模型,提出了一种新型单幅彩色图像去雾模型。通过暗原色先验得到精确的大气光强度和大气传输函数,然后推导包含大气光强度和大气传输函数的非局部能量泛函,再通过引入辅助变量和Bregman迭代参数,为其设计相应的快速split Bregman算法来求解该模型。将该算法与He算法、暗原色先验和Retinex算法的实验结果进行分析比较,从而验证了该模型不论从视觉上,还是客观数据上都要优于其他两种算法。     

Recurrent neural networks and prior knowledge for sequence processing: a constrained nondeterministic approach

The paper focuses on methods for injecting prior knowledge into adaptive recurrent networks for sequence processing. In order to increase the flexibility needed for specifying partially known rules, a nondeterministic approach for modelling domain knowledge is proposed. The algorithms presented in the paper allow time-warping nondeterministic automata to be mapped into recurrent architectures with first-order connections. These kinds of automata are suitable for modeling temporal scale distortions in data such as acoustic sequences occurring in problems of speech recognition. The algorithms output a recurrent architecture and a feasible region in the connection weight space. It is demonstrated that, as long as the weights are constrained into the feasible region, the nondeterministic rules introduced using prior knowledge are not destroyed by learning. The paper focuses primarily on architectural issues, but the proposed method allows the connection weights to be subsequently tuned to adapt the behavior of the network to data.     

结合暗通道先验与Hessian 正则项的图像去雾

在雾天拍摄户外图像,其对比度和可见度均受到严重的影响。目前图像去雾方法 通常依赖于准确的透射率图,而二阶的Hessian 正则项具有保留精细结构同时抑制阶梯伪影的 能力,可提高图像的对比度和可见度。为此采用暗通道先验方法获得有雾图像大气光值初始透 射率图,提出一种结合Hessian 正则项的二阶变分模型来细化初始透射率图及去雾图像。利用 交替方向乘子法(ADMM),通过引入辅助变量,使拉格朗日乘子不断更新迭代,直到能量方程 收敛,输出去雾图像。采用LIVE Image Defogging 有雾图像数据库进行了仿真实验。通过对去 除薄雾和浓雾效果图的视觉质量和定量的评估,表明该方法得到的去雾图像清晰自然,纹理细 节保持效果较好。     

通道与空间注意力图像超分辨率网络

单幅图像超分辨率（Single Image Super Resolution,SISR）在计算机视觉领域占有重要地位,该技术旨在从低分辨率图像中重建出高分辨率图像。近年来,深度神经网络在SISR领域起到了至关重要的作用,然而,目前利用卷积神经网络平等地对待高频与低频特征,使得高频细节的重建表现不佳,输出过于平滑,缺少纹理信息。另一方面,过于深的网络不容易收敛,并且随着神经网络的深度增长,来自前一层的长期信息很容易在后期层中减弱或丢失,使得重建收益不能正比于网络的深度与计算复杂度。针对以上问题,对用于SISR的卷积神经网络的基本块提出了空间注意力模块与通道注意力模块,在同一通道中,不同位置的信息被空间注意力模块赋予不同的权重,不同通道间的权重由通道注意力模块决定,这使得高频信息在重建任务中获得更高的地位,提高了重建指标。进一步地提出了长期特征调制模块将网络的层深度转化为块深度,大大缩小了网络深度,以解决前层长期信息的丢失问题。在Set5等多个基准数据集上的峰值信噪比（PSNR）均比目前其他基于深度卷积神经网络的方法有所提升,这证明了提出的方法的有效性与先进性。     

融合图像场景及物体先验知识的图像描述生成模型

目的 目前基于深度卷积神经网络（CNN）和长短时记忆（LSTM）网络模型进行图像描述的方法一般是用物体类别信息作为先验知识来提取图像CNN特征,忽略了图像中的场景先验知识,造成生成的句子缺乏对场景的准确描述,容易对图像中物体的位置关系等造成误判。针对此问题,设计了融合场景及物体类别先验信息的图像描述生成模型（F-SOCPK）,将图像中的场景先验信息和物体类别先验信息融入模型中,协同生成图像的描述句子,提高句子生成质量。方法 首先在大规模场景类别数据集Place205上训练CNN-S模型中的参数,使得CNN-S模型能够包含更多的场景先验信息,然后将其中的参数通过迁移学习的方法迁移到CNN_d-S中,用于捕捉待描述图像中的场景信息;同时,在大规模物体类别数据集Imagenet上训练CNN-O模型中的参数,然后将其迁移到CNN_d-O模型中,用于捕捉图像中的物体信息。提取图像的场景信息和物体信息之后,分别将其送入语言模型LM-S和LM-O中;然后将LM-S和LM-O的输出信息通过Softmax函数的变换,得到单词表中每个单词的概率分值;最后使用加权融合方式,计算每个单词的最终分值,取概率最大者所对应的单词作为当前时间步上的输出,最终生成图像的描述句子。结果 在MSCOCO、Flickr30k和Flickr8k 3个公开数据集上进行实验。本文设计的模型在反映句子连贯性和准确率的BLEU指标、反映句子中单词的准确率和召回率的METEOR指标及反映语义丰富程度的CIDEr指标等多个性能指标上均超过了单独使用物体类别信息的模型,尤其在Flickr8k数据集上,在CIDEr指标上,比单独基于物体类别的Object-based模型提升了9%,比单独基于场景类别的Scene-based模型提升了近11%。结论 本文所提方法效果显著,在基准模型的基础上,性能有了很大提升;与其他主流方法相比,其性能也极为优越。尤其是在较大的数据集上（如MSCOCO）,其优势较为明显;但在较小的数据集上（如Flickr8k）,其性能还有待于进一步改进。在下一步工作中,将在模型中融入更多的视觉先验信息,如动作类别、物体与物体之间的关系等,进一步提升描述句子的质量。同时,也将结合更多视觉技术,如更深的CNN模型、目标检测、场景理解等,进一步提升句子的准确率。     

基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建

现有的单幅图像超分辨率重建算法大都在追求高峰值信噪比（Peak signal-to-noise ratio, PSNR）,在特征提取过程中缺少对图像纹理细节信息的关注,导致重建图像的人眼主观感知效果不太理想。为了解决这一问题,本文提出了一种基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建算法。具体设计了3条支路分别用于结构特征提取、纹理细节特征提取及梯度补偿,然后利用所提出的融合模块对结构特征和纹理细节特征进行融合。为防止重建过程中丢失图像的纹理信息,提出纹理细节特征提取模块补偿图像的纹理细节信息,增强网络的纹理保持能力;同时,利用梯度补偿模块提取的梯度信息对结构信息进行增强;此外还构建了深层特征提取结构,结合通道注意力与空间注意力对深层特征中的信息进行筛选及特征增强;最后利用二阶残差块对结构和纹理特征进行融合,使重建图像的特征信息更加完善。通过对比实验验证了本文方法的有效性和优越性。