基于注意力机制的密集残差融合与空间局部滤波低光照去雾算法EI北大核心CSCD

低光照场景的雾霾图像在去雾过程中易产生颜色失真、斑块和伪影等现象,针对此问题,提出一种适用于低光照场景的基于注意力机制的密集残差融合与空间局部滤波去雾算法.首先利用密集残差块增加神经网络深度,使网络学习更高级的特征信息;然后引入空间与通道注意力机制对特征进行过滤和筛选,使网络可以区分光照不均匀区域,解决颜色失真等问题;采用空间局部滤波增强的方法,提高去雾结果的对比度、清晰度和能见度;最后设计了联合损失函数约束网络的学习,避免串联结构的误差放大以及学习混合退化.在PyTorch环境下,用夜间城市合成雾霾数据集NHR进行测试,并与现有的FFANet,GridDehaze等去雾算法进行对比.实验结果表明,与其他去雾算法相比,所提算法的峰值信噪比提升8.01~14.16 dB,结构相似度提高0.10~0.36.所提算法还解决了颜色失真、斑块和伪影等问题.     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于改进循环生成式对抗网络的图像去雾方法

针对现有图像去雾方法存在的颜色失真、细节丢失以及去雾效果不自然等问题,提出一种改进的循环生成式对抗网络用于图像去雾。通过添加多尺度鉴别器作为判别器来改进原始网络结构,增强判别能力,引导网络产生更精细自然的无雾图像。同时重新设计损失函数,使用最小二乘代替交叉熵作为对抗损失,引入循环感知损失,结合原始循环一致性损失组成新的复合损失函数,提高图像颜色与细节恢复的质量。在D-HAZY和SOTS数据集上的实验结果表明：该方法能够生成较为自然的无雾图像,其主观效果和客观指标均优于对比方法,具有更好的去雾能力;与原始循环生成式对抗网络相比,峰值信噪比从19.052 dB提高至23.128 dB,结构相似性指数从0.787提高至0.867。与DehazeNet、AOD-Net与GCANet等主流去雾方法相比,峰值信噪比和结构相似性指数比排名第二的方法分别提升7.1%和4.3%。     

基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比（PSNR）和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×10⁹ frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。     

基于双分支条件生成对抗网络的非均匀图像去雾

雾天拍摄的图片存在颜色失真、细节模糊等问题，会对图片的质量造成一定影响。许多基于深度学习的方法虽然在去除合成的均匀雾霾图片上具有很好的效果，但在最新的NTIRE挑战赛中引入的真实非均匀去雾数据集上效果较差。主要原因是非均匀雾霾的分布较复杂，纹理细节在去雾过程中很容易丢失，并且该数据集的样本数量有限，容易产生过拟合。因此提出了一种双分支生成器的条件生成对抗网络（DB-CGAN）。其中，一条分支以U-net为基础架构，通过“加强-整合-减去”的策略在解码器中加入增强模块，从而增强解码器中特征的恢复，并使用密集特征融合为非相邻层级建立足够的连接。另一分支使用多层残差的结构来加快网络的训练，并串联大量的通道注意力模块，以最大限度地提取更多的高频细节特征。最后，使用一个简单有效的融合子网来融合两个分支。在实验中，所提模型在评价指标峰值信噪比（PSNR）和结构相似性（SSIM）上明显优于先前的暗通道先验（DCP）、一体化去雾网络（AODNet）、门控上下文聚合网络（GCANet）、多尺度增强去雾网络（MSBDN）去雾模型。实验结果表明，所提出的网络能够在非均匀去雾数据集上具有更好的性能。     

基于U-net++网络的弱光图像增强方法

弱光图像增强是计算机视觉中最具挑战性的任务之一,现有算法存在亮度不均、对比度低、颜色失真和噪声严重等问题.文中提出了一种基于改进U-net++网络实现更为自然的暗光增强网络框架.首先,输入弱光图像至改进U-net++网络,利用各层密集连接以增强不同层次图像特征的关联性;其次,把各层次图像特征融合后输入卷积网络层进行细节重建.实验结果证明,该方法在提高图像亮度的同时,更好地恢复了弱光图像的细节特征,并且生成正常光图像的颜色特征更接近自然.在PASCAL VOC测试集上的测试结果显示结构相似度(SSIM)和峰值信噪比(PSNR)两个重要指标分别为0.87和26.36,比同类最优算法分别高出18.6％和11.4％.     

基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

基于条件生成对抗网络的图像去雾方法

雾霾天气下拍摄收集的图像和视频能见度低,图像质量大幅下降,影响目标检测等高级计算机视觉任务检测精度.目前暗通道、DehazeNet、AOD-Net等去雾方法存在有雾残留、色差较大等问题.为解决以上问题,提出基于条件生成对抗网络(CGAN)的图像去雾方法——CGAN-dense.其生成器设计密集块结构以提高特征利用率,改善去雾细节保持效果;判别器使用34×34的PatchGAN进行分块判定,提高图像分辨率;损失函数增加内容损失,减少像素级别损失.在合成有雾数据集Hazy Dataset中,所提方法的峰值信噪比(PSNR)达到35.45 dB以上,结构相似度(SSIM)达到0.9702以上;在Reside数据集中,PSNR达到22.25 dB以上,SSIM达到0.9088以上,去雾后目标检测率相比去雾前提高6.96个百分点.实验结果表明,所提方法能够减少色差较大和有雾残留问题,提高了图像去雾的色彩保真性和细节信息保持度.     

融合估计与评估网络的去雾算法研究

针对由于雾霾天气影响造成拍摄的图像出现模糊不清、低对比度和色彩暗淡等问题,提出一种融合估计与评估网络的去雾算法。根据大气退化模型将雾霾图像输入到两个联合且独立的估计网络模型中,分别得到透射图与大气光图的估计值;将估计得到的透射图与大气光值输入到雾图成像公式中,得到去雾图像;通过生成式对抗GAN网络中的鉴别器来联合鉴别,生成更好的透射图与大气光值;最后,通过雾图成像公式反演恢复出清晰的无雾图像。实验结果表明,该算法去雾后的图像变得清晰,对比度得到提高,且图像质量评价指标峰值信噪比和结构相似性指数分别达到了22.14dB,75.3%。     

多残差联合学习的水下图像增强

目的 由于海水中悬浮的颗粒会吸收和散射光,并且不同波长的光在海水中的衰减程度也不同,使得水下机器人拍摄的图像呈现出对比度低、颜色失真等问题。为解决上述问题以呈现出自然清晰的水下图像,本文提出了基于神经网络的多残差联合学习的方法来对水下图像进行增强。方法 该方法包括3个模块：预处理、特征提取和特征融合。首先,采用Sigmoid校正方法对原始图像的对比度进行预处理,增强失真图像的对比度,得到校正后的图像;然后,采用双分支网络对特征进行提取,将原始图像送入分支1——残差通道注意分支网络,将校正后的图像与原始图像级联送入分支2——残差卷积增强分支网络。其中,通道注意分支在残差密集块中嵌入了通道注意力模型,通过对不同通道的特征重新进行加权分配,以加强有用特征;卷积增强分支通过密集级联和残差学习,提取校正图像中边缘等高频信息以保持原始结构与边缘。最后,在特征融合部分,将以上双分支网络的特征级联后,通过残差学习进一步增强;增强后的特征与分支1的输出、分支1与分支2的输出分别经过自适应掩膜进行再次融合。选取通用UIEB(underwater image benchmark dataset)数据集中的800幅水下图像作为训练集进行训练,设计了结合图像内容感知、均方误差、梯度和结构相似性的联合损失函数对网络进行端到端训练。结果 在通用UIEB数据集上选取非训练集中有参考图像的90幅图像与当前10种方法进行测试。结果显示,本文方法增强后的水下图像的PSNR(peak signal-to-noise ratio)指标平均达到了20.739 4 dB,SSIM(structural similarity)为0.876 8,UIQM(underwater image quality measure)为3.183 3,均高于对比方法。结论 本文方法不仅在客观质量上超越了对比方法,且在主观质量上也显著提高了对比度,能够产生颜色丰富并且清晰度较高的增强图像。尤其是对于深水场景中偏蓝的水下图像,本文方法获得显著的质量提升。     

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

动态异构特征融合的水下图像增强算法

针对水下图像细节模糊和色彩失真严重的问题,提出一种基于编码解码结构的动态异构特征融合水下图像增强网络.首先,设计异构特征融合模块,将不同级别与不同层次的特征进行融合,提升网络对细节信息和语义信息的整体感知能力;然后,设计新型特征注意力机制,改进传统通道注意力机制,并将改进后的通道注意力与像素注意力机制加入异构特征融合过程,加强网络提取不同浑浊度像素特征的能力;接着,设计动态特征增强模块,自适应扩展感受野以提升网络对图像畸变景物的适应力和模型转换能力,加强网络对感兴趣区域的学习;最后,设计色彩损失函数,并联合最小化绝对误差损失与结构相似性损失,在保持图像纹理的基础上纠正色偏.实验结果表明,所提出算法可有效提升网络的特征提取能力,降低水下图像的雾度效应,提升图像的清晰度和色彩饱和度.     

基于雨雾分离处理和多尺度网络的图像去雨方法

雨带来的雨条纹和雨雾会降低户外拍摄图像的质量,为了去除雨雾对图像的影响,提出了一种基于雨雾分离处理和多尺度卷积神经网络的图像去雨方法。首先利用导向滤波将雨线和图像细节信息提取到高频层,雨雾和背景信息则分离到低频层;然后构建多尺度卷积神经网络来去除高频层中的雨线,网络中融入多个稠密连接模块以提升特征提取的准确性;其次构建多层特征融合的轻量级去雾网络来去除低频层中的雨雾,采用参数一体化结构避免了估计多个大气散射模型参数导致的次优解;最后再结合处理后的高低频结果还原出清晰图像。在多个合成的雨雾数据集以及真实自然场景图像上进行测试,定性和定量结果表明,提出的方法在去除雨雾影响的同时较好地保留了色彩信息,和近年的算法相比,图像结构相似性约提升了0.02~0.08,图像峰值信噪比约提升了0.2~3.5 dB。     

级联离散小波多频带分解注意力图像去噪方法

针对图像去噪网络中下采样导致高频信息损失和细节保留能力差的问题,设计了一种级联离散小波多频带分解注意力图像去噪网络。其中多尺度级联离散小波变换结构将原始图像分解为多个尺度下的高低频子带来代替传统下采样,能减少高频信息损失。多频带特征增强模块使用不同尺度的卷积核并行处理高低频特征,在子网络每一级下重复使用两次,可增强全局和局部的关键特征信息。多频带分解注意力模块通过注意力评估纹理细节成分的重要性并加权不同频带的细节特征,有助于多频带特征增强模块更好地区分噪声和边缘细节。多频带选择特征融合模块融合多尺度多频带特征增强选择性特征,提高模型对于不同尺度噪声的去除能力。在SIDD和DND数据集上,所提方法的PSNR/SSIM指标分别达到了39.35 dB/0.918、39.72 dB/0.955。实验结果表明,所提方法的性能优于主流去噪方法,同时具有更清晰的纹理细节和边缘等视觉效果。     

多尺度沙漏结构的单幅图像去雨算法研究

雨天环境会造成图像模糊、变形,大幅降低图像质量,对于后续的图像分析和应用造成严重影响.单幅图像的去雨算法研究成为热点,然而现有算法存在过度平滑、颜色失真和复杂雨水图像复原能力差等诸多问题,去雨问题难以有效解决.本文提出一种新颖的多尺度沙漏结构的单幅图像去雨算法.首先,针对雨的特征复杂多样的特点,采用多尺度沙漏网络结构,提取并融合多尺度的雨线特征;其次,在沙漏网络内部,引入残差密集模块,使特征在不同级别网络中实现传递和复用,最大限度的提取细节特征和增强网络表达能力;最后,针对雨水不均匀分布的特点,在残差密集网络基础上加入注意模块,提高算法在空间和通道方面特征提取能力,能够处理复杂的雨天图像.实验结果表明,本方法相较于现有算法,能够更好的去除雨线,并且能够最大程度的保留图像细节和颜色信息.     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

融合注意力机制和上下文信息的微光图像增强

目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低。针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法。方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成。由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力。此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果。结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰。在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知相似度(perceptual image patch similarity,LPIPS)等客观指标上,本文方法较其他方法的最优值分别提高了0.74 dB、0.153和0.172。结论 本文方法能有效解决微光图像存在的曝光不足、噪声干扰和颜色不一致等问题,具有一定应用价值。