基于双尺度特征融合的单幅图像去雾网络

基于深度学习的图像去雾方法在合成数据集上表现良好,但在真实场景中应用时存在去雾不彻底、颜色失真等问题。提出一种新的单幅图像去雾网络,该网络包含特征提取、特征融合2个模块。在特征提取模块中,通过残差密集块和具有空间注意机制的特征提取块分别提取图像的局部特征和全局特征。在特征融合模块中,利用通道注意力机制对局部特征图和全局特征图进行通道加权,并通过卷积操作融合加权后的局部特征图与全局特征图。最后,采用门控网络自适应结合3个不同深度的融合特征图,以恢复高质量的去雾图像。实验结果表明,所提网络在室内数据集下的峰值信噪比(PSNR)和结构相似度（SSIM）分别为33.04 dB、0.983,在HAZERD数据集下的PSNR和SSIM分别比GridDehazeNet网络高出1.33 dB和0.041。同时,该网络的模型参数量和浮点运算数分别为0.34M和16.06×109frame/s,具有较低复杂度,对合成图像和真实图像均可取得理想的去雾效果。     

基于感知监督和多层次特征融合的去雾算法

现有图像去雾方法在网络训练时没有考虑去雾后的图像是否满足人类视觉感知;其次以编解码结构为主要结构的去雾网络,不可避免丢失细节信息,去雾后的图像存在纹理模糊、颜色失真等问题。针对上述问题,提出了一个基于感知监督和多层次特征融合的图像去雾网络。在网络结构中设计了不同层次的特征融合模块。在编码阶段设计分辨率层次特征复用与融合模块,更好地提取不同尺度下表达能力更强的特征,为重建高质量图像提供更多细节信息;特征转换阶段设计空间上下文层次特征提取与融合模块,提取与融合不同感受野的空间上下文的特征,以提供更加精准的图像结构信息;解码阶段设计自适应特征融合模块,自适应地融合下采样阶段生成的不同分辨率层次的特征及特征转换阶段输出的不同空间上下文层次的特征;其次在训练阶段的损失函数中引入感知损失和多尺度结构相似度损失,引导网络学习更多的视觉感知属性。与当前主流方法相比较,该方法在定量和定性指标得到明显提升的同时提高了对去雾图像的视觉效果。实验结果表明在RESIDE合成数据集以及真实有雾图像上取得显著的去雾效果。     

结合注意力机制的多尺度特征融合图像去雾算法

针对传统图像去雾算法容易受到先验知识制约以及颜色失真等问题,提出了一种结合注意力机制的多尺度特征融合图像去雾算法.该算法首先通过下采样操作得到多个尺度的特征图,然后在不同尺度的特征图之间采用跳跃连接的方式将编码器部分的特征图与解码器部分的特征图连接起来以进行特征融合.同时,在网络中加入一个由通道注意力子模块和像素注意力...     

结合密集注意力的自适应特征融合图像去雾网络

目前, 大多数图像去雾算法忽视图像的局部细节信息, 无法充分利用不同层次的特征, 导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象, 针对这一问题, 提出结合密集注意力的自适应特征融合图像去雾网络. 该网络以编码器-解码器结构为基本框架, 中间嵌入特征增强部分与特征融合部分, 通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块, 使网络可以关注图像的局部细节信息, 同时增强特征的重复利用, 有效防止梯度消失; 在特征融合部分构建自适应特征融合模块融合低级与高级特征, 防止因网络加深而造成浅层特征退化. 实验结果表明, 所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异, 在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889, 在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788, 有效解决了颜色失真、对比度下降和雾霾残留等问题.     

基于注意力机制的密集残差融合与空间局部滤波低光照去雾算法EI北大核心CSCD

低光照场景的雾霾图像在去雾过程中易产生颜色失真、斑块和伪影等现象,针对此问题,提出一种适用于低光照场景的基于注意力机制的密集残差融合与空间局部滤波去雾算法.首先利用密集残差块增加神经网络深度,使网络学习更高级的特征信息;然后引入空间与通道注意力机制对特征进行过滤和筛选,使网络可以区分光照不均匀区域,解决颜色失真等问题;采用空间局部滤波增强的方法,提高去雾结果的对比度、清晰度和能见度;最后设计了联合损失函数约束网络的学习,避免串联结构的误差放大以及学习混合退化.在PyTorch环境下,用夜间城市合成雾霾数据集NHR进行测试,并与现有的FFANet,GridDehaze等去雾算法进行对比.实验结果表明,与其他去雾算法相比,所提算法的峰值信噪比提升8.01~14.16 dB,结构相似度提高0.10~0.36.所提算法还解决了颜色失真、斑块和伪影等问题.     

基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

预训练模型特征提取的双对抗磁共振图像融合网络研究

随着多模态医学图像在临床诊疗工作中的普及,建立在时空相关性特性基础上的融合技术得到快速发展,融合后的医学图像不仅可以保留各模态源图像的独有特征,而且能够强化互补信息、便于医生阅片.目前大多数方法采用人工定义约束的策略来实现特征提取和特征融合,这容易导致融合图像中部分有用信息丢失和细节不清晰等问题.为此,提出一种基于预训练模型特征提取的双对抗融合网络实现MR-T1/MR-T2图像的融合.该网络由一个特征提取模块、一个特征融合模块和两个鉴别网络模块组成.由于已配准的多模态医学图像数据集规模较小,无法对特征提取网络进行充分的训练,又因预训练模型具有强大的数据表征能力,故将预先训练的卷积神经网络模型嵌入到特征提取模块以生成特征图.然后,特征融合网络负责融合深度特征并输出融合图像.两个鉴别网络通过对源图像与融合图像进行准确分类,分别与特征融合网络建立对抗关系,最终激励其学习出最优的融合参数.实验结果证明了预训练技术在所提方法中的有效性,同时与现有的6种典型融合方法相比,所提方法融合结果在视觉效果和量化指标方面均取得最优表现.     

基于双支残差特征融合的图像去雾算法

针对现有的基于卷积神经网络去雾算法无法有效地去除真实雾图非均匀分布的雾霾问题,提出一种基于双支残差特征融合网络的端到端图像去雾算法.上下文空间域注意分支针对有雾图像的高频雾气区域进行像素注意,将空间域注意模块插入多尺度扩张卷积组,对雾霾特征的像素空间进行权重赋值;通道域注意编解码分支针对高频雾霾特征的通道方向进行注意,设置ResNet自编码结构并引入通道注意解码结构对不同通道特征图的权重进行赋值;特征融合模块采用自适应权重融合像素注意和通道注意的雾层特征信息,输出不均匀雾气残差层;将原始雾图和雾气残差层作差实现图像去雾,设计判别网络提高去雾图的视觉观感.采用真实雾气图像数据集NH-Haze进行评估,实验结果表明,所提算法对非均匀分布雾图的去雾视觉效果良好,在峰值信噪比和结构相似度评价上均优于对比算法.     

基于多尺度卷积网络的快速图像去雾算法

针对目前图像去雾技术存在的使用场景有限、处理速度慢等问题,提出一种基于多尺度卷积网络的快速去雾算法。算法由去雾和修复两部分组成。去雾模块首先将有雾图像输入,经过特征提取和融合,然后通过变形后的大气物理散射算法对透射率图和大气光值统一学习,并演出去雾图像。去雾后的图像仍存在色调偏暗、细节不清晰的问题。修复模块利用对比度受限自适应直方图均衡方法对去雾图像进行修复,提升图像的对比度和算法的鲁棒性。通过去雾任务与目标检测任务相结合的测试实验进一步验证了算法的有效性。     

多尺度沙漏结构的单幅图像去雨算法研究

雨天环境会造成图像模糊、变形,大幅降低图像质量,对于后续的图像分析和应用造成严重影响.单幅图像的去雨算法研究成为热点,然而现有算法存在过度平滑、颜色失真和复杂雨水图像复原能力差等诸多问题,去雨问题难以有效解决.本文提出一种新颖的多尺度沙漏结构的单幅图像去雨算法.首先,针对雨的特征复杂多样的特点,采用多尺度沙漏网络结构,提取并融合多尺度的雨线特征;其次,在沙漏网络内部,引入残差密集模块,使特征在不同级别网络中实现传递和复用,最大限度的提取细节特征和增强网络表达能力;最后,针对雨水不均匀分布的特点,在残差密集网络基础上加入注意模块,提高算法在空间和通道方面特征提取能力,能够处理复杂的雨天图像.实验结果表明,本方法相较于现有算法,能够更好的去除雨线,并且能够最大程度的保留图像细节和颜色信息.     

基于特征融合注意网络的图像超分辨率重建

近年来, 基于深度卷积神经网络的单图像超分辨率重建, 取得了显著的进展, 但是, 仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题. 我们提出了基于特征融合注意网络的单图像超分辨率方法, 网络模型主要包括特征融合子网络和特征注意子网络. 特征融合子网络可以更好地融合不同深度的特征信息, 以及增加跨通道的学习能力; 特征注意子网络则着重关注高频信息, 以增强边缘和纹理. 实验结果表明: 无论是主观视觉效果, 还是客观度量, 我们方法的超分辨率性能明显优于其他代表性的方法.     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题,本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法.设计了一种残差双注意力模块,该模块对ResNet50网络提取的低层特征进行增强,能够有效学习关键信息并更新权重,提高对高层特征的注意力,然后由跨级特征融合模块对不同阶段的高低层特征进行融合,丰富高级特征图中不同层级之间的语义和位置信息,最后使用全连接层的Softmax分类器对手势图像进行分类识别.本文在ASL美国手语数据集上进行实验,平均准确率为99.68%,相比基础ResNet50网络准确率提升2.52%.结果验证本文方法能充分提取与复用手势特征,有效提高手势图像的识别精度.     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

基于多模型特征与精简注意力融合的图像分类

为了提高图像分类性能,本文提出一种多模型特征和注意力模块融合的图像分类算法(image classification algorithm based on Multi-model Feature and Reduced Attention fusion,MFRA).通过多模型特征融合,使网络学习输入图像不同层次的特征,增加特征互补性,提高特征提取能力;通过加入注意力模块,使网络更关注有目标的区域,降低无关的背景干扰信息.本文算法在Cifar-10,Cifar-100,Caltech-101这3个公开数据集上的大量实验对比,验证了其有效性.与现有算法对比,本文算法的分类性能有较为明显的提升.     

特征学习的单幅图像去雾算法

目的 雾霾天气使图像降质,严重影响军事、交通和安全监控等领域信息系统的正常运作,因此图像去雾具有重要研究意义。目前主流的单幅图像去雾算法主要利用各种与雾相关的颜色特征实现,但不同的颜色先验知识往往存在各自的场景局限性。为提高图像去雾的普适性,提出一种特征学习的单幅图像去雾方法。方法 首先通过稀疏自动编码机对有雾图像进行多尺度的纹理结构特征提取,同时抽取各种与雾相关的颜色特征。然后采用多层神经网络进行样本训练,得到雾天条件下纹理结构特征及颜色特征与场景深度间的映射关系,并估算出有雾图像的场景深度图。最后结合大气散射模型,根据场景深度图复原无雾图像。结果 与主流去雾算法的结果定性对比,复原后的图像细节更清晰,颜色更自然。采用均方误差和结构相似度定量评价各算法去雾结果与真实无雾图像的相似度,本文算法结果与真实无雾场景间的相似度最高,达到99.9%。结论 对实验结果的定性及定量分析表明,本文算法能有效获取有雾图像的场景深度,复原出视觉效果理想的无雾图像,且具有很好的场景普适性。     

动态异构特征融合的水下图像增强算法

针对水下图像细节模糊和色彩失真严重的问题,提出一种基于编码解码结构的动态异构特征融合水下图像增强网络.首先,设计异构特征融合模块,将不同级别与不同层次的特征进行融合,提升网络对细节信息和语义信息的整体感知能力;然后,设计新型特征注意力机制,改进传统通道注意力机制,并将改进后的通道注意力与像素注意力机制加入异构特征融合过程,加强网络提取不同浑浊度像素特征的能力;接着,设计动态特征增强模块,自适应扩展感受野以提升网络对图像畸变景物的适应力和模型转换能力,加强网络对感兴趣区域的学习;最后,设计色彩损失函数,并联合最小化绝对误差损失与结构相似性损失,在保持图像纹理的基础上纠正色偏.实验结果表明,所提出算法可有效提升网络的特征提取能力,降低水下图像的雾度效应,提升图像的清晰度和色彩饱和度.