基于双支残差特征融合的图像去雾算法

针对现有的基于卷积神经网络去雾算法无法有效地去除真实雾图非均匀分布的雾霾问题,提出一种基于双支残差特征融合网络的端到端图像去雾算法.上下文空间域注意分支针对有雾图像的高频雾气区域进行像素注意,将空间域注意模块插入多尺度扩张卷积组,对雾霾特征的像素空间进行权重赋值;通道域注意编解码分支针对高频雾霾特征的通道方向进行注意,设置ResNet自编码结构并引入通道注意解码结构对不同通道特征图的权重进行赋值;特征融合模块采用自适应权重融合像素注意和通道注意的雾层特征信息,输出不均匀雾气残差层;将原始雾图和雾气残差层作差实现图像去雾,设计判别网络提高去雾图的视觉观感.采用真实雾气图像数据集NH-Haze进行评估,实验结果表明,所提算法对非均匀分布雾图的去雾视觉效果良好,在峰值信噪比和结构相似度评价上均优于对比算法.     

一种基于改进AOD-Net的航拍图像去雾算法

针对航拍图像易受雾气影响, AOD-Net (All in one dehazing network)算法对图像去雾后容易出现细节模糊、对比度过高和图像偏暗等问题, 本文提出了一种基于改进AOD-Net的航拍图像去雾算法. 本文主要从网络结构、损失函数、训练方式三个方面对AOD-Net进行改良. 首先在AOD-Net的第二个特征融合层上添加了第一层的特征图, 用全逐点卷积替换了传统卷积方式, 并用多尺度结构提升了网络对细节的处理能力. 然后用包含有图像重构损失函数、SSIM (Structural similarity)损失函数以及TV (Total variation)损失函数的复合损失函数优化去雾图的对比度、亮度以及色彩饱和度. 最后采用分段式的训练方式进一步提升了去雾图的质量. 实验结果表明, 经该算法去雾后的图像拥有令人满意的去雾结果, 图像的饱和度和对比度相较于AOD-Net更自然. 与其他对比算法相比, 该算法在合成图像实验、真实航拍图像实验以及算法耗时测试的综合表现上更好, 更适用于航拍图像实时去雾.     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

多尺度密集感受域的GAN图像去雾算法

基于先验的图像去雾算法依赖于大气散射模型，易受环境影响出现去雾不彻底、颜色失真等现象，针对上述问题本文基于深度学习，提出一种多尺度密集感受域的GAN图像去雾算法。首先构建一个多尺度学习的生成器网络，通过3种不同尺度提取图像的局部细节和全局信息后进行特征融合；然后通过感受密集块来增大感受野并获得丰富的上下文信息，将提取到的特征图在多个感受密集块中对特征进一步细化；接着使用一个多尺度的GAN判别器，由2个相同的子判别器D1和D2组成，2个子判别器联合指导生成器的训练；最后本文结合L1损失、感知损失和对抗损失，设计一个多元损失函数来收敛网络。在SOTS测试集上进行主观评价和客观评价，实验结果表明，本文算法取得了较优的效果，有效改善去雾不彻底的现象。     

基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。     

多尺度上下文信息增强的显著目标检测全卷积网络

针对目前基于深度学习的显著目标检测算法存在的目标完整性和区域平滑度的不足,基于非局部深度特征提出一种多尺度上下文信息增强的全卷积网络算法,包含多级别特征提取、多尺度上下文特征增强、对比度特征提取和局部-全局信息融合预测4个模块.首先从VGG16模型提取多级别局部特征,利用多尺度上下文实现特征信息增强;然后设计组合的损失函数进行网络训练以学习对比度特征;最后用局部-全局融合的方式实现显著图的预测.与已有算法在ECSSD,HKU-IS和DUT-OMRON数据集上进行实验的结果表明,该算法在复杂场景图像上的鲁棒性更好,对背景噪声具有更有效的抑制作用,得到的显著目标区域更加连续和完整.     

基于多尺度和多层级特征融合的立体匹配方法

基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成对图像在不适定区域的特征提取能力较差。提出一种融合多尺度与多层级特征的立体匹配方法。通过在双塔结构卷积神经网络模型的前端设计一个池化金字塔层,提取图像的多尺度低层结构特征。在该网络模型的后端融合最后三层网络的高级语义特征来提取图像特征,并对图像特征进行相似性度量后输出视差图。在KITTI 2015数据集上的实验结果表明,与LUO和Anita方法相比,该方法的像素误差精度分别由14.65%、8.30%降至8.02%,且可得到细节信息更好的视差图。     

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题, 提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法. 首先提出了一个全局层注意力机制(global layer attention, GLA), 利用层注意力机制加权融合不同层级的全局特征, 建模低分辨率与高分辨率图像特征间的长期依赖关系. 同时, 设计了跨尺度局部注意力机制(cross-scale local attention, CSLA), 在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁, 并融合不同尺度的补丁特征, 以优化模型对图像细节信息的恢复能力. 最后, 提出一种局部信息感知损失函数来指导图像的重建过程, 进一步提高了重建图像的视觉质量和细节保留能力. 在UC-Merced数据集上的实验结果表明, 本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法, 并在视觉效果方面展现出更高的质量和更好的细节保留能力.     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

多尺度非监督特征学习的人脸识别

为了充分利用人脸图像的潜在信息,提出一种通过设置不同尺寸的卷积核来得到图像多尺度特征的方法,多尺度卷积自动编码器（Multi-Scale Convolutional Auto-Encoder,MSCAE）。该结构所提取的不同尺度特征反映人脸的本质信息,可以更好地还原人脸图像。这种特征提取框架是一个卷积和采样交替的层级结构,使得特征对旋转、平移、比例缩放等具有高度不变性。MSCAE以encoder-decoder模式训练得到特征提取器,用它提取特征,并融合形成用于分类的特征向量。BP神经网络在ORL和Yale人脸库上的分类结果表明,多尺度特征在识别率和性能上均优于单尺度特征。此外,MSCAE特征与HOG（Histograms of Oriented Gradients）的融合特征取得了比单一特征更高的识别率。