水下图像增强和修复算法综述

因受到光线散射和吸收、水体杂质、人工光源等因素影响,水下成像质量较低,很难满足生产作业的需求,而水下图像的增强和复原技术有助于提升水下机器视觉的能力.为帮助研究者掌握水下图像处理领域的研究方法和现有技术,对水下图像增强和复原方法进行综述.首先对水下图像存在的主要退化类型进行分析;分别对水下图像增强、复原的经典方法和最新进展进行总结,系统梳理了水下图像质量评测体系和公开数据集;最后对水下图像处理未来的研究趋势进行了展望.     

水下图像增强和复原方法研究进展

目的 近年来随着水下图像/视频在海洋军事、海洋环境保护和海洋工程等科研和工业领域扮演越来越重要的角色,水下图像增强和复原作为关键技术之一,越来越多地成为研究的热点和难点问题。目前有关水下图像增强和复原方法研究进展的综述论文在国内外相对较少,为使即将进入该研究领域的学者比较全面地了解该领域的研究现状,促进该领域的快速发展,本文对其系统综述。方法 在广泛调研大量文献的基础上,按照是否基于物理模型对已有方法进行分类讨论,对其基本思想、方法特点、实验方法进行归纳和总结,其中对典型的方法进行具体介绍和分析。同时,介绍了水下图像质量的评测体系,针对典型方法的处理结果进行定性和定量的评测。进而,总结该研究领域目前存在的不足,展望未来可能的发展方向。结果 总结了水下图像退化的原因、水下图像增强和复原所采用的主要技术和方法、水下图像质量评测体系的发展历程,给出了亟待解决的问题,展望了未来的发展方向。结论 作为新兴的研究领域,水下图像增强和复原在工业界和学术界都具有广阔的应用前景和研究价值,但针对目前存在的一些局限性还需要进一步深入研究。     

《中国图象图形学报》低质图像增强专刊简介

计算机视觉在户外交通导航、安防监控、目标检测、医学影像辅助分析、诊断及水下探测、目标识别等领域具有广泛应用。清晰的图像画面对于计算机视觉获取正确的图像信息至关重要。然而在各种复杂成像条件(如雾、霾、沙尘、雨雪等恶劣天气及海洋等弱光低照环境)下,受光照及各种介质的影响,户外或水下计算机视觉系统所采集的图像通常存在严重颜色失真,且场景模糊、清晰度差,严重影响其应用并制约相关领域研究。 因此,如何通过后期算法对各种复杂环境下的低质图像进行增强和复原受到人们的高度重视。为了更好地推动低质图像增强理论、技术与应用的发展,及时记录我国学者在相关领域的最新研究进展,《中国图象图形学报》邀请业内专家共同策划推出“低质图像增强”专刊,主要收录国内学者在相关理论方法、关键技术、数据平台和典型应用等方面具有创新性、突破性的研究成果。 经过严格评审,“低质图像增强”专刊共收录学术论文22篇,作者包括来自42家科研院所、研究中心、高校和企业的80位专家学者、研究生、企业人员等。专刊成果得到26项国家自然科学基金、1项国家重点研发计划、17项省级自然科学基金和重大科技计划等项目支持。 专刊栏目包括：综述(5篇)、数据集论文(1篇)、图像去雾去雨(5篇)、低照图像增强(4篇)、图像超分辨(2篇)、图像修复(5篇)。 综述论文中,《水下光学图像重建方法研究进展》全面梳理了水下光学图像重建方法的发展历程,按照研究发展顺序依次分析了现有4大类处理方法的基本思想、代表性方法及优缺点;归纳了目前公开的水下图像数据集以及常用的水下图像质量评价方法,并对各重建方法进行了性能评测和对比分析;并展望了未来研究方向。 《单幅图像去雨数据集和深度学习算法的联合评估与展望》对近年来面向单幅图像去雨任务的雨图数据集构建以及深度学习算法、雨天后续高层任务的工作、图像去雨评价指标进行了回顾与介绍,并给出了目前的挑战与未来趋势。 《低光照图像增强算法综述》从3个方面系统地综述了低光照图像增强技术的研究现状。介绍了现有低光照图像数据集,详述了低光照图像增强技术的发展脉络,通过对比低光照图像增强质量与夜间人脸检测精度,对现有低光照增强技术进行了全面评估与分析。基于上述现状的探讨,结合实际应用,指出当前技术的局限性,并对其发展趋势进行预测。 《图像与视频质量评价综述》从全参考、半参考和无参考3个方面分别对图像、视频质量评价领域的文献进行了综述,在主流数据集上测试了方法的性能,总结并展望了目前质量评价领域仍存在的一些挑战与问题。 《图像质量评价研究综述——从失真的角度》从图像失真的角度,概述2011—2021年国内外公开发表的图像质量评价模型,以及现有的图像质量评价数据库。然后重点介绍图像质量评价模型的设计思想。最后总结了所介绍的图像质量评价模型,并指出未来可能的发展方向。 数据集论文,《面向真实水下图像增强的质量评价数据集》基于成对比较开展主观实验构建了首个面向水下图像增强算法比较的质量评价基准数据集,并且基于构建的数据集对比了目前若干主流的无参考图像质量客观评价方法用于评估水下图像时的性能。 我们期待广大读者和科技人员通过“低质图像增强”专刊,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。     

基于物理先验的深度特征融合水下图像复原北大核心CSCD

由于水下环境的浮游生物悬浮杂质及不同光谱吸收率等干扰因素,水下图像往往会出现图像模糊、颜色失真和光照不均等退化问题。本文提出联合水下物理成像规律与数据驱动深度学习方法的水下图像重建模型。利用深度神经网络推断物理成像模型中的可学习参数,通过调制卷积和物理先验知识分别生成基于数据驱动的复原特征图和基于物理先验的复原特征图,引入混合注意力机制的深层特征级融合,重建最终的复原图像。实验结果表明该方法可以在减少噪声、提高对比度的同时,恢复图像的细节,提高水下图像的可视化质量和目标检测精度,增强水下学习模型的鲁棒性和泛化能力。     

深度学习驱动的水下图像预处理研究进展综述

水下图像是海洋信息的重要载体,由于水下环境十分复杂,原始水下图像常常具有大量噪声,对后续的检测任务造成影响,因此水下图像预处理成为当前研究的热点。为了深入分析国内外学者对深度学习驱动的水下图像预处理研究进展,对近年来国内外相关文献进行总结分析。介绍了两类传统水下图像预处理方法,并分析其优缺点;根据是否结合物理模型,分析了深度学习驱动的水下图像预处理方法,并将相关方法进行对比总结;分析了深度学习方法的改进,主要从轻量化和提高鲁棒性和适应性两个方面论述;阐述了深度学习驱动的水下图像预处理方法目前存在的问题,并对未来的研究发展方向进行展望。     

水下图像复原中背景光求解方法研究最新进展

水下特殊的成像环境,使得图像存在模糊、色偏等问题,给水下图像复原带来了新的挑战。基于成像模型的图像复原是提高水下图像质量的典型方法之一。背景光作为逆向复原的重要参数直接影响到水下图像复原的效果。目前对水下图像复原中背景光求解方法的综述文献较少,为了深入了解水下图像复原的研究现状和发展趋势,对水下图像复原中背景光求解方法进行综述。首先简述水下模型,然后归纳背景光的特征及背景光求解方法分类,接下来详细分析各种典型的背景光求解方法的原理和特点,之后总结归纳各种典型方法的优缺点,最后提出研究展望。     

Bayer阵列图像去马赛克算法综述

Bayer阵列图像去马赛克技术是对稀疏采样的Bayer阵列图像进行RGB信息重建,图像重建质量是成像设备评价的重要因素之一,同时也对其他计算机视觉任务(如图像分割、人脸识别)产生影响。随着深度学习方法的快速发展,图像去马赛克领域提出了多种高性能算法。为了便于研究者更全面了解图像去马赛克算法的原理和研究进展,本文对该领域的经典算法和深度学习算法进行综述。首先对Bayer采样阵列原理和图像去马赛克技术进行概述。然后将现有方法分为传统方法和基于深度学习方法两类进行总结,同时根据去马赛克任务是否具有独立性,将深度学习方法分为独立去马赛克任务和联合去马赛克任务两类,分析不同方法的原理和优缺点,重点阐述基于深度学习的去马赛克方法的网络结构和重建机理,介绍去马赛克领域常用的公共数据集和性能评价指标,并对图像去马赛克相关实验进行分析对比。最后,围绕网络深度、运算效率和实用性等方面分析了现阶段图像去马赛克技术面临的挑战及未来发展方向。目前,基于深度学习的图像去马赛克方法已成为主流发展方向,但仍然存在计算成本较高、实际应用性不强等问题。因此,如何开发出重建精度高、处理时间短以及实用性强的图像去马赛克方法,是该领域未来重要的研究方向。     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

基于深度学习的水下图像超分辨率重建方法

由于水体本身的特性以及水中悬浮颗粒对光的吸收和散射作用,水下图像普遍存在信噪比（SNR）低、分辨率低等一系列问题,但大部分方法传统处理方法包含图像增强、复原及重建,都依赖退化模型,并存在算法病态性问题。为进一步提高水下图像恢复算法的效果和效率,提出了一种改进的基于深度卷积神经网络的图像超分辨率重建方法。该方法网络中引入了改良的密集块结构（IDB）,能在有效解决深度卷积神经网络梯度弥散问题的同时提高训练速度。该网络对经过配准的退化前后的水下图像进行训练,得到水下低分辨率图像和高分辨率图像之间的一个映射关系。实验结果表明,在基于自建的水下图像作为训练集上,较卷积神经网络的单帧图像超分辨率重建算法（SRCNN）,使用引入了改良的密集块结构（IDB）的深度卷积神经网络对水下图像进行重建,重建图像的峰值信噪比（PSNR）提升达到0.38 dB,结构相似度（SSIM）提升达到0.013,能有效地提高水下图像的重建质量。     

基于散射模型的水下图像复原

水下图像的衰减度与成像距离有直接关系．为了在没有精确深度图情况下有效恢复水下图像,提出基 于散射模型的分段映射方法．研究了水下光线的散射模型,探讨了水下图像的衰减规律;利用水池试验数据采用直 线拟合法建立散射模型;提出基于散射模型的分段映射法．为避免求解精确深度图,利用映射约束条件及少量先验 信息导出多级离散深度值,从而构建出从退化图像到真实图像的分段映射函数．恢复结果表明,所提方法增加了图 像整体对比度,突出了图像细节,明显提高了图像质量．     

水下图像处理技术研究综述

随着自主式水下机器人的发展，水下探测技术成为新的研究热点。然而，吸收效应和散射效应导致水下获取的图像存在雾化和色彩偏差等缺陷。降质的水下图像在一定程度上降低了水下目标识别的准确性。为了改善水下图像质量，国内外学者对水下图像处理方法进行了深入研究。因水下图像处理方法对提升水下目标识别准确性具有良好的促进作用，故其具有重要的研究与分析价值。介绍了水下成像模型，分析了水下图像视觉质量下降的原理；根据水下物理成像模型将水下图像处理方法分为水下图像增强与水下图像复原，并分别对两类方法的研究现状进行分析与归纳；最后，总结与讨论了各类方法的优缺点，并展望了未来的发展方向。     

融合深度学习与成像模型的水下图像增强算法

水下机器人的视觉感知功能因受到水下环境因素的影响,面临着图像质量降低的挑战,如图像颜色畸变、整体色调偏绿、偏蓝、对比度较低、细节较为模糊等。提出一种结合深度学习方法与物理成像模型的新型水下图像增强算法,通过构建包含扩张卷积和带参数激活函数的神经网络,进行背景散射光和直接传输映射的估计,并结合成像模型的数学表达进行重建运算得到增强后图像。实验结果表明,与UDCP、IBLA、GLNet等典型图像增强算法相比,该算法具有更快的运算速度,且能够消除水下环境因素带来的影响,丰富图像色彩的同时能增强各类细节,在峰值信噪比指标和结构相似度指标上取得了较大值。此外,增强后的图像在特征点匹配实验中获得了更好的匹配效果。     

一种基于色彩补偿的水下图像综合增强算法

针对退化的水下图像在高级视觉分析任务中无法进行有效的目标检测及识别的问题,提出了一 种通过色彩补偿和对比度拉伸,HSV 空间 γ 校正和亮度通道去模糊系列方法实现了对水下图像的色彩校正、色 彩对比度、饱和度和细节清晰度的综合提高。其中,提出了基于高斯滤波的亮度通道去散射方法,并对典型水 体水下图像综合增强参数进行了分析。实验对比了综合增强方法和其他增强方法对偏蓝、偏绿、偏黄、白色近 岸浅滩水下图像的处理结果并通过目标检测网络对 7 种算法增强后的水下图像数据集进行训练与测试,对比了 平均水下目标识别准确率和检测到的目标数量与实际目标数量的比值来评估各个增强算法对于水下目标识别 和检测任务中的作用。实验表明,与现有方法相比,该算法不仅可以有效地实现各类水下图像清晰度和色彩增 强,适用范围广,而且可以有效地提高水下图像目标识别任务的准确率和检测数量。     

多残差联合学习的水下图像增强

目的 由于海水中悬浮的颗粒会吸收和散射光,并且不同波长的光在海水中的衰减程度也不同,使得水下机器人拍摄的图像呈现出对比度低、颜色失真等问题。为解决上述问题以呈现出自然清晰的水下图像,本文提出了基于神经网络的多残差联合学习的方法来对水下图像进行增强。方法 该方法包括3个模块：预处理、特征提取和特征融合。首先,采用Sigmoid校正方法对原始图像的对比度进行预处理,增强失真图像的对比度,得到校正后的图像;然后,采用双分支网络对特征进行提取,将原始图像送入分支1——残差通道注意分支网络,将校正后的图像与原始图像级联送入分支2——残差卷积增强分支网络。其中,通道注意分支在残差密集块中嵌入了通道注意力模型,通过对不同通道的特征重新进行加权分配,以加强有用特征;卷积增强分支通过密集级联和残差学习,提取校正图像中边缘等高频信息以保持原始结构与边缘。最后,在特征融合部分,将以上双分支网络的特征级联后,通过残差学习进一步增强;增强后的特征与分支1的输出、分支1与分支2的输出分别经过自适应掩膜进行再次融合。选取通用UIEB(underwater image benchmark dataset)数据集中的800幅水下图像作为训练集进行训练,设计了结合图像内容感知、均方误差、梯度和结构相似性的联合损失函数对网络进行端到端训练。结果 在通用UIEB数据集上选取非训练集中有参考图像的90幅图像与当前10种方法进行测试。结果显示,本文方法增强后的水下图像的PSNR(peak signal-to-noise ratio)指标平均达到了20.739 4 dB,SSIM(structural similarity)为0.876 8,UIQM(underwater image quality measure)为3.183 3,均高于对比方法。结论 本文方法不仅在客观质量上超越了对比方法,且在主观质量上也显著提高了对比度,能够产生颜色丰富并且清晰度较高的增强图像。尤其是对于深水场景中偏蓝的水下图像,本文方法获得显著的质量提升。     

不同颜色模型下自适应直方图拉伸的水下图像增强

目的 水下图像是海洋信息的重要载体,然而与自然环境下的图像相比,其成像原理更复杂、对比度低、可视性差。为保证不同类型水下图像的增强效果,本文提出在两种颜色模型下自适应直方图拉伸的水下图像增强方法。方法 首先,进行基于Gray-World理论对蓝、绿色通道进行颜色均衡化预处理。然后,根据红绿蓝（R-G-B）通道的分布特性和不同颜色光线在水下传播时的选择性衰减,提出基于参数动态优化的R-G-B颜色模型自适应直方图拉伸,并采用引导滤波器降噪。接下来,在CIE-Lab颜色模型,对‘L’亮度和‘a’‘b’色彩分量分别进行线性和曲线自适应直方图拉伸优化。最终,增强的水下图像呈现出高对比度、均衡的饱和度和亮度。结果 选取不同类型的水下图像作为数据集,将本文方法与融合颜色模型（ICM）、非监督颜色纠正模型（UCM）、基于暗通道先验性（DCP）的水下图像复原和基于水下暗通道先验（UDCP）的图像复原方法相比较,增强后的图像具有高对比度和饱和度。定性和定量分析实验结果说明本文提出的方法能够获得更好视觉效果,增强后的图像拥有更高信息熵和较低噪声。结论 在RGB颜色模型中,通过合理地考虑水下图像的分布特性和水下图像退化物理模型提出自适应直方图拉伸方法;在CIE-Lab颜色模型中,引入拉伸函数和指数型曲线函数重分布色彩和亮度两个分量,本方法计算复杂度低,适用于不同复杂环境下的水下图像增强。     

结合细节信息的自适应Retinex算法水下图像增强

针对Retinex算法应用于水下图像增强中,常出现颜色失真与图像细节增强相矛盾的现象,提出了结合细节信息的自适应多尺度Retinex水下图像增强算法。分析包含不同细节信息的水下图像对Retinex算法增强中卷积函数尺度大小的选择要求;采用图像梯度作为调节因子,自适应调整多尺度Retinex算子的权重,用于适应包含不同细节信息的水下图像对对比度增强的要求,有效地缓和了水下图像增强在颜色失真和细节对比度提升之间的矛盾。多组实验验证了该算法在去除水下图像的蓝绿背景、避免颜色失真、消除非均匀光照和图像细节增强等方面均优于传统多尺度和颜色保真的多尺度Retinex算法。     

图像增强对显著性目标检测的影响研究

目的 雾霾、雨雪天气和水下等非理想环境因素会引起图像退化,导致出现低质图像,从而影响人类主观视觉感受及机器视觉应用任务的性能,因此,低质图像被利用之前进行图像增强成为惯常的预处理过程。然而,图像增强能否提高图像机器视觉应用任务的性能及影响程度等问题鲜有系统性研究。针对上述问题,本文以图像显著性目标检测这一机器视觉应用为例,研究图像增强对显著性目标检测性能的影响。方法 首先利用包括5种传统方法、6种深度学习方法等共11种典型图像增强方法对图像进行增强处理,然后利用8种典型的显著性目标检测方法对增强前后的图像分别进行显著性目标检测实验,并对比分析其结果。结果 实验表明,图像增强对低质图像显著性目标检测方法性能的促进作用不明显,某些增强方法甚至表现出负面影响,也存在同一增强方法对不同的显著性目标检测方法作用不同的现象。结论 图像增强对于显著性目标检测及其他的机器视觉应用的实际效果值得进一步研究,如何根据图像机器视觉应用的需求来选择和设计有效的增强方法需进一步探讨。