基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

结合密集注意力的自适应特征融合图像去雾网络

目前, 大多数图像去雾算法忽视图像的局部细节信息, 无法充分利用不同层次的特征, 导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象, 针对这一问题, 提出结合密集注意力的自适应特征融合图像去雾网络. 该网络以编码器-解码器结构为基本框架, 中间嵌入特征增强部分与特征融合部分, 通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块, 使网络可以关注图像的局部细节信息, 同时增强特征的重复利用, 有效防止梯度消失; 在特征融合部分构建自适应特征融合模块融合低级与高级特征, 防止因网络加深而造成浅层特征退化. 实验结果表明, 所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异, 在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889, 在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788, 有效解决了颜色失真、对比度下降和雾霾残留等问题.     

基于条件生成对抗网络的图像去雾方法

雾霾天气下拍摄收集的图像和视频能见度低,图像质量大幅下降,影响目标检测等高级计算机视觉任务检测精度.目前暗通道、DehazeNet、AOD-Net等去雾方法存在有雾残留、色差较大等问题.为解决以上问题,提出基于条件生成对抗网络(CGAN)的图像去雾方法——CGAN-dense.其生成器设计密集块结构以提高特征利用率,改善去雾细节保持效果;判别器使用34×34的PatchGAN进行分块判定,提高图像分辨率;损失函数增加内容损失,减少像素级别损失.在合成有雾数据集Hazy Dataset中,所提方法的峰值信噪比(PSNR)达到35.45 dB以上,结构相似度(SSIM)达到0.9702以上;在Reside数据集中,PSNR达到22.25 dB以上,SSIM达到0.9088以上,去雾后目标检测率相比去雾前提高6.96个百分点.实验结果表明,所提方法能够减少色差较大和有雾残留问题,提高了图像去雾的色彩保真性和细节信息保持度.     

基于U形多尺度注意力方法的真实图像去噪

针对真实世界图像去噪算法存在对上下文信息和全局信息利用不足导致的去噪效果不佳问题,提出一种U形金字塔注意力网络(UPCA)。U形结构由多尺度特征模块与长距离通道注意力模块融合形成的金字塔注意力模块组成,U形结构通过拼接操作可以将每一层的输出特征图融合,减少卷积过程以及下采样过程中图像细节特征的丢失。多尺度特征金字塔模块可以更好地利用上下文信息从而更好地恢复出干净的图像,而建立长距离依赖的通道注意力模块可以更好地利用全局信息,提高网络的去噪效果。同时在损失函数部分加入噪声项来加快训练时收敛的速度以及提高去噪效果。UPCA网络在数据集SIDD和DND进行对比实验,验证了UPCA网络的可行性和先进性,同时与同样使用通道注意力的RIDNet相比UPCA网络的PSNR/SSIM指标提升了0.81 dB/0.044,去噪后的效果图直观表现也更好,而且同等参数下训练所需的算力更小。     

多尺度残差网络的单幅图像超分辨率重建

针对目前提高图像分辨率的卷积神经网络存在的特征提取尺度单一以及梯度消失等问题,提出了多尺度残差网络的单幅图像超分辨率重建方法。采用多尺度特征提取和特征信息融合,解决了对图像细节特征提取不够充分的问题;将局部残差学习和全局残差学习相结合,提高了卷积神经网络信息流传播的效率,减轻了梯度消失现象。在Set5、Set14和BSD100等常用测试集上进行了实验,该方法的实验结果均优于其他5种方法,相比于SRCNN方法,平均PSNR提升了0.74 dB,平均SSIM提升了0.014 3 dB;相比于VDSR方法,平均PSNR提升了0.12 dB,平均SSIM提升了0.002 5 dB。     

基于注意力机制的图像超分辨率重建

目前,单幅图像超分辨率重建取得了很好的效果,然而大多数模型都是通过增加网络层数来达到好的效果,并没有去发掘各通道之间的相关性。针对上述问题,提出了一种基于通道注意力机制（CA）和深度可分离卷积（DSC）的图像超分辨率重建方法。整个模型采用多路径模式的全局和局部残差学习,首先利用浅层特征提取块来提取输入图像的特征;然后,在深层特征提取块中引入通道注意力机制,通过调整各通道的特征图权重来增加通道相关性,从而提取高频特征信息;最后,重建出高分辨率图像。为了减少注意力机制带来的巨大参数影响,在局部残差块中使用了深度可分离卷积技术以大大减少训练参数,同时采用自适应矩估计（Adam）优化器来加速模型的收敛,从而提高了算法性能。该方法在Set5、Set14数据集上进行图像重建,实验结果表明不仅该方法重建的图像具有更高的峰值信噪比（PSNR）和结构相似度（SSIM）,而且所提模型的参数量减少为深度残差通道注意力网络（RCAN）模型的参数量的1/26。     

基于双支残差特征融合的图像去雾算法

针对现有的基于卷积神经网络去雾算法无法有效地去除真实雾图非均匀分布的雾霾问题,提出一种基于双支残差特征融合网络的端到端图像去雾算法.上下文空间域注意分支针对有雾图像的高频雾气区域进行像素注意,将空间域注意模块插入多尺度扩张卷积组,对雾霾特征的像素空间进行权重赋值;通道域注意编解码分支针对高频雾霾特征的通道方向进行注意,设置ResNet自编码结构并引入通道注意解码结构对不同通道特征图的权重进行赋值;特征融合模块采用自适应权重融合像素注意和通道注意的雾层特征信息,输出不均匀雾气残差层;将原始雾图和雾气残差层作差实现图像去雾,设计判别网络提高去雾图的视觉观感.采用真实雾气图像数据集NH-Haze进行评估,实验结果表明,所提算法对非均匀分布雾图的去雾视觉效果良好,在峰值信噪比和结构相似度评价上均优于对比算法.     

多层次融合注意力网络的双目图像超分辨率重建

目的 随着深度卷积神经网络广泛应用于双目立体图像超分辨率重建任务,双目图像之间的信息融合成为近年来的研究热点。针对目前的双目图像超分辨重建算法对单幅图像的内部信息学习较少的问题,提出多层次融合注意力网络的双目图像超分辨率重建算法,在立体匹配的基础上学习图像内部的丰富信息。方法 首先,利用特征提取模块从不同尺度和深度来获取左图和右图的低频特征。然后,将低频特征作为混合注意力模块的输入,此注意力模块先利用二阶通道非局部注意力模块学习每个图像内部的通道和空间特征,再采用视差注意力模块对左右特征图进行立体匹配。接着采用多层融合模块获取不同深度特征之间的相关信息,进一步指导产生高质量图像重建效果。再利用亚像素卷积对特征图进行上采样,并和低分辨率左图的放大特征相加得到重建特征。最后使用1层卷积得到重建后的高分辨率图像。结果 本文算法采用Flickr1024数据集的800幅图像和60幅经过2倍下采样的Middlebury图像作为训练集,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）作为指标。实验在3个...     

混合双注意力机制生成对抗网络的图像修复模型

目的 图像修复是指用合理的内容来填补图像缺失或损坏的部分。尽管生成对抗网络（generative adversarial network,GAN）取得了巨大的进步,但当缺失区域很大时,现有的大多数方法仍然会产生扭曲的结构和模糊的纹理。其中一个主要原因是卷积操作的局域性,它不考虑全局或远距离结构信息,只是扩大了局部感受野。方法 为了克服上述问题,提出了一种新的图像修复网络,即混合注意力生成对抗网络（hybrid dual attention generativeadversarial network,HDA-GAN）,它可以同时捕获全局结构信息和局部细节纹理。具体地,HDA-GAN将两种级联的通道注意力传播模块和级联的自注意力传播模块集成到网络的不同层中。对于级联的通道注意力传播模块,将多个多尺度通道注意力块级联在网络的高层,用于学习从低级细节到高级语义的特征。对于级联的自注意力传播模块,将多个基于分块的自注意力块级联在网络的中低层,以便在保留更多的细节的同时捕获远程依赖关系。级联模块将多个相同的注意力块堆叠成不同的层,能够增强局部纹理传播到全局结构。结果 本文采用客观评价指标：均方差（mean squared error,MSE）、峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性指数（structural similarityindex,SSIM）在Paris Street View数据集和CelebA-HQ（CelebA-high quality）数据集上进行了大量实验。定量比较中,HDA-GAN在Paris Street View数据集上相比于Edge-LBAM（edge-guided learnable bidirectional attention maps）方法,在掩码不同的比例上,PSNR提升了1.28 dB、1.13 dB、0.93 dB和0.80 dB,SSIM分别提升了5.2%、8.2%、10.6%和13.1%。同样地,在CelebA-HQ数据集上相比于AOT-GAN（aggregated contextual transformations generative adversarialnetwork）方法,在掩码不同的比例上,MAE分别降低了2.2%、5.4%、11.1%、18.5%和28.1%,PSNR分别提升了0.93 dB、0.68 dB、0.73 dB、0.84 dB和0.74 dB。通过可视化实验可以明显观察到修复效果优于以上方法。结论 本文提出的图像修复方法,充分发挥了深度学习模型进行特征学习和图像生成的优点,使得修复图像缺失或损坏的部分更加准确。     

基于双分支条件生成对抗网络的非均匀图像去雾

雾天拍摄的图片存在颜色失真、细节模糊等问题，会对图片的质量造成一定影响。许多基于深度学习的方法虽然在去除合成的均匀雾霾图片上具有很好的效果，但在最新的NTIRE挑战赛中引入的真实非均匀去雾数据集上效果较差。主要原因是非均匀雾霾的分布较复杂，纹理细节在去雾过程中很容易丢失，并且该数据集的样本数量有限，容易产生过拟合。因此提出了一种双分支生成器的条件生成对抗网络（DB-CGAN）。其中，一条分支以U-net为基础架构，通过“加强-整合-减去”的策略在解码器中加入增强模块，从而增强解码器中特征的恢复，并使用密集特征融合为非相邻层级建立足够的连接。另一分支使用多层残差的结构来加快网络的训练，并串联大量的通道注意力模块，以最大限度地提取更多的高频细节特征。最后，使用一个简单有效的融合子网来融合两个分支。在实验中，所提模型在评价指标峰值信噪比（PSNR）和结构相似性（SSIM）上明显优于先前的暗通道先验（DCP）、一体化去雾网络（AODNet）、门控上下文聚合网络（GCANet）、多尺度增强去雾网络（MSBDN）去雾模型。实验结果表明，所提出的网络能够在非均匀去雾数据集上具有更好的性能。     

多残差联合学习的水下图像增强

目的 由于海水中悬浮的颗粒会吸收和散射光,并且不同波长的光在海水中的衰减程度也不同,使得水下机器人拍摄的图像呈现出对比度低、颜色失真等问题。为解决上述问题以呈现出自然清晰的水下图像,本文提出了基于神经网络的多残差联合学习的方法来对水下图像进行增强。方法 该方法包括3个模块:预处理、特征提取和特征融合。首先,采用Sigmoid校正方法对原始图像的对比度进行预处理,增强失真图像的对比度,得到校正后的图像;然后,采用双分支网络对特征进行提取,将原始图像送入分支1——残差通道注意分支网络,将校正后的图像与原始图像级联送入分支2——残差卷积增强分支网络。其中,通道注意分支在残差密集块中嵌入了通道注意力模型,通过对不同通道的特征重新进行加权分配,以加强有用特征;卷积增强分支通过密集级联和残差学习,提取校正图像中边缘等高频信息以保持原始结构与边缘。最后,在特征融合部分,将以上双分支网络的特征级联后,通过残差学习进一步增强;增强后的特征与分支1的输出、分支1与分支2的输出分别经过自适应掩膜进行再次融合。选取通用UIEB(underwater image benchmark dataset)数据集中的8...     

用于单幅模糊图像超分辨的Transformer融合网络

目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应。然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象。因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络。方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征。然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合。最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像。结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 d B、0.18 d B、0.07 d B;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别...     

分层特征融合注意力网络图像超分辨率重建

目的 深层卷积神经网络在单幅图像超分辨率任务中取得了巨大成功。从3个卷积层的超分辨率重建卷积神经网络（super-resolution convolutional neural network,SRCNN）到超过300层的残差注意力网络（residual channel attention network,RCAN）,网络的深度和整体性能有了显著提高。然而,尽管深层网络方法提高了重建图像的质量,但因计算量大、实时性差等问题并不适合真实场景。针对该问题,本文提出轻量级的层次特征融合空间注意力网络来快速重建图像的高频细节。方法 网络由浅层特征提取层、分层特征融合层、上采样层和重建层组成。浅层特征提取层使用1个卷积层提取浅层特征,并对特征通道进行扩充;分层特征融合层由局部特征融合和全局特征融合组成,整个网络包含9个残差注意力块（residual attention block,RAB）,每3个构成一个残差注意力组,分别在组内和组间进行局部特征融合和全局特征融合。在每个残差注意力块内部,首先使用卷积层提取特征,再使用空间注意力模块对特征图的不同空间位置分配不同的权重,提高高频区域特征的注意力,以快速恢复高频细节信息;上采样层使用亚像素卷积对特征图进行上采样,将特征图放大到目标图像的尺寸;重建层使用1个卷积层进行重建,得到重建后的高分辨率图像。结果 在Set5、Set14、BSD（Berkeley segmentation dataset）100、Urban100和Manga109测试数据集上进行测试。当放大因子为4时,峰值信噪比分别为31.98 dB、28.40 dB、27.45 dB、25.77 dB和29.37 dB。本文算法比其他同等规模的网络在测试结果上有明显提升。结论 本文提出的多层特征融合注意力网络,通过结合空间注意力模块和分层特征融合结构的优势,可以快速恢复图像的高频细节并且具有较小的计算复杂度。     

基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建

本文针对现有光学遥感图像超分辨率重建模型对感受野尺度关注不足和对特征通道信息提取不充分带来的问题, 提出了一种基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建模型. 该重建模型基于深度残差网络结构, 在网络的高频分支中设计了多个级联的多尺度特征和坐标注意力模块 (multi-scale feature & coordinate attention block, MFCAB), 对输入的低分辨率光学遥感图像的高频特征进行充分发掘: 首先, 在MFCAB模块中引入Inception子模块, 使用不同尺度的卷积核捕捉不同感受野下的空间特征; 其次, 在Inception子模块后增加坐标注意力子模块, 同时关注通道与坐标两个维度, 以获得更好的通道注意力效果; 最后, 对各MFCAB模块提取的特征进行多路径融合, 实现多重多尺度空间信息与通道注意信息的有效融合. 本文模型在NWPU4500数据集上2倍、3倍放大中PSNR值达到34.73 dB和30.12 dB, 较EDSR分别提升0.66 dB和0.01 dB, 在AID1600数据集上2倍、3倍、4倍放大中PSNR值达到34.71 dB、30.58 dB、28.44 dB, 较EDSR分别提升0.09 dB、0.03 dB、0.04 dB. 实验结果表明, 该模型在光学遥感图像数据集上的重建效果优于主流的图像超分辨率重建模型.     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网...     

基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

通道注意力嵌入的Transformer图像超分辨率重构

目的 基于深度学习的图像超分辨率重构研究取得了重大进展，如何在更好提升重构性能的同时，有效降低重构模型的复杂度，以满足低成本及实时应用的需要，是该领域研究关注的重要问题。为此，提出了一种基于通道注意力（channel attention，CA）嵌入的Transformer图像超分辨率深度重构方法（image super-resolution with channelattention-embedded Transformer，CAET）。方法 提出将通道注意力自适应地嵌入Transformer变换特征及卷积运算特征，不仅可充分利用卷积运算与Transformer变换在图像特征提取的各自优势，而且将对应特征进行自适应增强与融合，有效改进网络的学习能力及超分辨率性能。结果 基于5个开源测试数据集，与6种代表性方法进行了实验比较，结果显示本文方法在不同放大倍数情形下均有最佳表现。具体在4倍放大因子时，比较先进的SwinIR （image restoration using swin Transformer）方法，峰值信噪比指标在Urban100数据集上得到了0.09 dB的提升，在Manga109数据集提升了0.30 dB，具有主观视觉质量的明显改善。结论 提出的通道注意力嵌入的Transformer图像超分辨率方法，通过融合卷积特征与Transformer特征，并自适应嵌入通道注意力特征增强，可以在较好地平衡网络模型轻量化同时，得到图像超分辨率性能的有效提升，在多个公共实验数据集的测试结果验证了本文方法的有效性。