水下图像增强和修复算法综述

因受到光线散射和吸收、水体杂质、人工光源等因素影响,水下成像质量较低,很难满足生产作业的需求,而水下图像的增强和复原技术有助于提升水下机器视觉的能力.为帮助研究者掌握水下图像处理领域的研究方法和现有技术,对水下图像增强和复原方法进行综述.首先对水下图像存在的主要退化类型进行分析;分别对水下图像增强、复原的经典方法和最新进展进行总结,系统梳理了水下图像质量评测体系和公开数据集;最后对水下图像处理未来的研究趋势进行了展望.     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

水下光学图像重建方法研究进展

水下光学图像可以提供直观丰富的海洋信息,近年来在海洋资源开发、环境保护和海洋工程等诸多领域发挥越来越重要的作用。但是受恶劣复杂的水下成像环境影响,水下光学图像普遍存在对比度低、图像模糊以及颜色失真等质量退化问题,严重制约水下智能处理系统的性能和应用。如何清晰地重建水下光学图像是国内外广泛关注的、具有挑战性的难点问题。随着深度学习技术的蓬勃发展,利用深度学习来提升水下图像质量成为当前的研究热点。鉴于目前国内在水下光学图像重建方面的研究综述较少,本文全面综述其研究进展。分析了水下图像退化机理,总结了现有水下成像模型以及水下图像重建的挑战;梳理了水下光学图像重建方法的发展历程,根据是否采用深度学习以及是否基于成像模型,将现有方法分为4大类,并按照研究发展顺序,依次介绍4类方法的基本思想,分析其优缺点;归纳了目前公开的水下图像数据集以及常用的水下图像质量评价方法,并对8种典型的水下图像重建方法进行了性能评测和对比分析;总结了该领域目前仍存在的问题,展望了后续研究方向,以便于相关研究人员了解该领域的研究现状,促进该领域的技术发展。     

面向真实水下图像增强的质量评价数据集

目的 由于光在水中的衰减/散射以及微生物对光的吸收/反射等影响,水下图像通常存在色偏、模糊、光照不均匀以及对比度过低等诸多质量问题。研究人员对此提出了许多不同的水下图像增强算法。为了探究目前已有的水下图像增强算法的性能和图像质量客观评价方法是否适用于评估水下图像,本文开展大规模主观实验来对比不同水下图像增强算法在真实水下图像数据集上的性能,并对现有图像质量评价方法用于评估水下图像的准确性进行测试。方法 构建了一个真实的水下图像数据集,其中包含100幅原始水下图像以及对应的1 000幅由10种主流水下图像增强方法增强后的图像。基于成对比较的策略开展水下图像主观质量评价,进一步对主观评价得到的结果进行分析,包括一致性分析、收敛性分析以及显著性检验。最后将10种现有主流的无参考图像质量评价在本文数据集上进行测试,检验其在真实水下图像数据集上的评价性能。结果 一致性分析中,该数据集包含的主观评分有较高的肯德尔一致性系数,其值为0.41;收敛性分析中,所收集的投票数量与图像数量足够得到稳定的主观评分;表明本文构建的数据集具有良好的有效性与可靠性。此外,目前对比自然图像的无参考图像质量评价方法并不适用于水下图像数据集,验证了水下图像与自然图像的巨大差异。结论 本文构建的真实水下图像数据集为未来水下图像质量客观评价方法以及水下图像增强算法的研究提供了参考与支持。所涉及的图像以及所有收集的用户数据,都在项目主页(https://github.com/yia-yuese/RealUWIQ-dataset)上公开。     

图像增强对显著性目标检测的影响研究

目的 雾霾、雨雪天气和水下等非理想环境因素会引起图像退化,导致出现低质图像,从而影响人类主观视觉感受及机器视觉应用任务的性能,因此,低质图像被利用之前进行图像增强成为惯常的预处理过程。然而,图像增强能否提高图像机器视觉应用任务的性能及影响程度等问题鲜有系统性研究。针对上述问题,本文以图像显著性目标检测这一机器视觉应用为例,研究图像增强对显著性目标检测性能的影响。方法 首先利用包括5种传统方法、6种深度学习方法等共11种典型图像增强方法对图像进行增强处理,然后利用8种典型的显著性目标检测方法对增强前后的图像分别进行显著性目标检测实验,并对比分析其结果。结果 实验表明,图像增强对低质图像显著性目标检测方法性能的促进作用不明显,某些增强方法甚至表现出负面影响,也存在同一增强方法对不同的显著性目标检测方法作用不同的现象。结论 图像增强对于显著性目标检测及其他的机器视觉应用的实际效果值得进一步研究,如何根据图像机器视觉应用的需求来选择和设计有效的增强方法需进一步探讨。     

采用双尺度图像分解的水下彩色图像增强

目的 为解决水下图像的色偏和低对比度等问题,提出一种基于双尺度图像分解的水下彩色图像增强算法。方法 通过基于均值和方差的对比度拉伸方法改善图像的色偏问题,并利用中值滤波降低红通道对比度拉伸后引入的噪声;采用双尺度图像分解绿通道图像补偿红通道图像细节;在处理后的红通道图像中引入原始图像红通道的真实细节与颜色。结果 选取不同水下图像作为实验数据集,将本文方法与暗通道先验的方法、基于融合的方法、自动红通道恢复方法以及一种基于卷积神经网络深度学习的方法相比较,首先从主观视觉效果进行定性分析,然后通过不同评测指标进行定量分析。主观定性分析结果表明,提出的方法相比较其他方法能够更好地解决图像色偏和红色阴影问题;定量分析中,自然图像质量评价（natural image quality evaluation,NIQE）指标和信息熵（information entropy,IE）值较基于融合的方法和深度学习的方法分别提高了1.8%和13.6%,且水下图像质量评价指标（underwater image quality measurement method,UIQM）较其他方法更优。结论 提出的双尺度图像分解方法利用水下图像成像特点解决图像色偏以及低对比度问题,具有良好的适应能力,同时算法复杂度低且鲁棒性较高,普遍适用于复杂的水下彩色图像增强。     

水下图像复原中背景光求解方法研究最新进展

水下特殊的成像环境,使得图像存在模糊、色偏等问题,给水下图像复原带来了新的挑战。基于成像模型的图像复原是提高水下图像质量的典型方法之一。背景光作为逆向复原的重要参数直接影响到水下图像复原的效果。目前对水下图像复原中背景光求解方法的综述文献较少,为了深入了解水下图像复原的研究现状和发展趋势,对水下图像复原中背景光求解方法进行综述。首先简述水下模型,然后归纳背景光的特征及背景光求解方法分类,接下来详细分析各种典型的背景光求解方法的原理和特点,之后总结归纳各种典型方法的优缺点,最后提出研究展望。     

《中国图象图形学报》低质图像增强专刊简介

计算机视觉在户外交通导航、安防监控、目标检测、医学影像辅助分析、诊断及水下探测、目标识别等领域具有广泛应用。清晰的图像画面对于计算机视觉获取正确的图像信息至关重要。然而在各种复杂成像条件(如雾、霾、沙尘、雨雪等恶劣天气及海洋等弱光低照环境)下,受光照及各种介质的影响,户外或水下计算机视觉系统所采集的图像通常存在严重颜色失真,且场景模糊、清晰度差,严重影响其应用并制约相关领域研究。 因此,如何通过后期算法对各种复杂环境下的低质图像进行增强和复原受到人们的高度重视。为了更好地推动低质图像增强理论、技术与应用的发展,及时记录我国学者在相关领域的最新研究进展,《中国图象图形学报》邀请业内专家共同策划推出“低质图像增强”专刊,主要收录国内学者在相关理论方法、关键技术、数据平台和典型应用等方面具有创新性、突破性的研究成果。 经过严格评审,“低质图像增强”专刊共收录学术论文22篇,作者包括来自42家科研院所、研究中心、高校和企业的80位专家学者、研究生、企业人员等。专刊成果得到26项国家自然科学基金、1项国家重点研发计划、17项省级自然科学基金和重大科技计划等项目支持。 专刊栏目包括：综述(5篇)、数据集论文(1篇)、图像去雾去雨(5篇)、低照图像增强(4篇)、图像超分辨(2篇)、图像修复(5篇)。 综述论文中,《水下光学图像重建方法研究进展》全面梳理了水下光学图像重建方法的发展历程,按照研究发展顺序依次分析了现有4大类处理方法的基本思想、代表性方法及优缺点;归纳了目前公开的水下图像数据集以及常用的水下图像质量评价方法,并对各重建方法进行了性能评测和对比分析;并展望了未来研究方向。 《单幅图像去雨数据集和深度学习算法的联合评估与展望》对近年来面向单幅图像去雨任务的雨图数据集构建以及深度学习算法、雨天后续高层任务的工作、图像去雨评价指标进行了回顾与介绍,并给出了目前的挑战与未来趋势。 《低光照图像增强算法综述》从3个方面系统地综述了低光照图像增强技术的研究现状。介绍了现有低光照图像数据集,详述了低光照图像增强技术的发展脉络,通过对比低光照图像增强质量与夜间人脸检测精度,对现有低光照增强技术进行了全面评估与分析。基于上述现状的探讨,结合实际应用,指出当前技术的局限性,并对其发展趋势进行预测。 《图像与视频质量评价综述》从全参考、半参考和无参考3个方面分别对图像、视频质量评价领域的文献进行了综述,在主流数据集上测试了方法的性能,总结并展望了目前质量评价领域仍存在的一些挑战与问题。 《图像质量评价研究综述——从失真的角度》从图像失真的角度,概述2011—2021年国内外公开发表的图像质量评价模型,以及现有的图像质量评价数据库。然后重点介绍图像质量评价模型的设计思想。最后总结了所介绍的图像质量评价模型,并指出未来可能的发展方向。 数据集论文,《面向真实水下图像增强的质量评价数据集》基于成对比较开展主观实验构建了首个面向水下图像增强算法比较的质量评价基准数据集,并且基于构建的数据集对比了目前若干主流的无参考图像质量客观评价方法用于评估水下图像时的性能。 我们期待广大读者和科技人员通过“低质图像增强”专刊,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。     

结构相似性的水下偏振图像复原

目的 针对水下偏振图像存在雾状模糊和场景细节不明显的问题,以水体透射率图与目标反射光图像存在的相互独立性为基础,提出一种基于结构相似性的水下偏振图像复原方法,旨在提高水下偏振图像的清晰度、对比度和色彩真实度。方法 首先,获取同一水下场景下具有正交偏振方向且分别具有最大和最小光强的两幅偏振图像;然后根据透射率图与目标反射光之间的统计无关性,使用结构相似性推导求解透射率的关系式,并通过偏振差分图像计算透射率的初始值,利用该关系式进行水体透射率的迭代求解;最后将透射率代入偏振成像模型得到目标反射光图像,进而进行颜色校正得到复原图像。结果 选取多组正交的水下偏振图像作为研究对象,采用本文提出的方法与另两种偏振复原算法对其进行复原处理,使用对比度、信息熵、灰度平均梯度、峰值信噪比、增强量以及时间等量化指标进行评估。对比实验结果表明,本文算法在对比度、信息熵、灰度平均梯度、增强量以及颜色恢复上都优于另两种偏振图像复原方法,并有较大幅度的提高;灰度平均梯度和对比度较YY算法提高了一倍左右;本文复原图像的色彩分布较均匀使得图像的信息含量大,信息熵高;而突出的EME也证明本文算法的结果纹理清晰、对比度高以及图像复原程度好;提出算法的复原效果有显著的改善,但算法运行时间较长,实时性有待提高。结论 本文基于水下偏振成像模型的分析以及透射率图与目标反射光图像之间的统计无关性,从水体透射率的估计出发进行图像复原,有效地解决了水下偏振图像细节模糊、对比度低的问题。通过对算法实验效果的主客观分析表明,本文算法能有效地复原水下偏振图像,得到对比度高、细节明显和色彩丰富的恢复图像。     

面向水下图像集的一致性增强评价方法

目的 在对整个水下图像集的质量进行评价时,现有方法是采用某一质量评价准则的质量分数平均值作为指标,以平均值的高低来说明质量增强算法的优劣,但是,非一致性增强的质量分数平均值会随着图像集的变化而产生较大的波动。为了解决上述问题,本文提出了一个更加具有普适性的水下图像质量评价方法：一致性增强质量评价（CEQA）方法。方法 所提方法通过对比图像增强前后的质量分数差值,来判断增强算法性能的一致性,再通过改变选定的质量分数差值所占权重比例并统一分数制,求出一致性增强的图像集的一致性增强质量评价分数。结果 虽然当图像集较小时,非一致性增强的图像质量增强算法得到的质量分数平均值最高,但当图像集扩大时,其增强后的质量分数平均值却低于原图的质量分数平均值;而在图像集扩展前后,一致性增强的图像质量增强算法能够稳定地增强图像质量,其得到的质量分数平均值一直高于原图的质量分数平均值。结论 本文通过实验证明了所提方法的可行性,扩展应用能够通过本文方法得到有效的实验数据,以对比说明各种水下图像质量增强算法的优劣;本文的方法比平均值方法更加鲁棒有效地控制了大样本偏差。因此,本文为大规模应用中如何选取水下图像集的质量增强算法,提供了一个更好的评价标准。     

一种基于色彩补偿的水下图像综合增强算法

针对退化的水下图像在高级视觉分析任务中无法进行有效的目标检测及识别的问题,提出了一 种通过色彩补偿和对比度拉伸,HSV 空间 γ 校正和亮度通道去模糊系列方法实现了对水下图像的色彩校正、色 彩对比度、饱和度和细节清晰度的综合提高。其中,提出了基于高斯滤波的亮度通道去散射方法,并对典型水 体水下图像综合增强参数进行了分析。实验对比了综合增强方法和其他增强方法对偏蓝、偏绿、偏黄、白色近 岸浅滩水下图像的处理结果并通过目标检测网络对 7 种算法增强后的水下图像数据集进行训练与测试,对比了 平均水下目标识别准确率和检测到的目标数量与实际目标数量的比值来评估各个增强算法对于水下目标识别 和检测任务中的作用。实验表明,与现有方法相比,该算法不仅可以有效地实现各类水下图像清晰度和色彩增 强,适用范围广,而且可以有效地提高水下图像目标识别任务的准确率和检测数量。     

水下图像处理技术研究综述

随着自主式水下机器人的发展，水下探测技术成为新的研究热点。然而，吸收效应和散射效应导致水下获取的图像存在雾化和色彩偏差等缺陷。降质的水下图像在一定程度上降低了水下目标识别的准确性。为了改善水下图像质量，国内外学者对水下图像处理方法进行了深入研究。因水下图像处理方法对提升水下目标识别准确性具有良好的促进作用，故其具有重要的研究与分析价值。介绍了水下成像模型，分析了水下图像视觉质量下降的原理；根据水下物理成像模型将水下图像处理方法分为水下图像增强与水下图像复原，并分别对两类方法的研究现状进行分析与归纳；最后，总结与讨论了各类方法的优缺点，并展望了未来的发展方向。     

结合导向滤波与自适应算子的水下图像增强

针对水下图像存在的颜色失真、对比度低及图像模糊等现象,提出一种结合导向滤波与自适应算子的水下增强算法。首先根据水体对光线吸收的差异,对水下图像的三通道进行自适应算子颜色补偿,融合三通道,得到颜色补偿后的水下图像,有效提升水下图像色彩真实性;再将水下图像放入导向滤波改进的Retinex模型中,有效去除水下图像产生的模糊现象;最后分别计算增强后水下图像的三种权重,根据三种权重进行多尺度融合,获得最终增强后的水下图像。选取不同的水下图像进行客观评价实验与主观评价实验,再与现阶段的水下图像增强算法进行对比,实验结果说明该算法在修正水下图像颜色及增强水下图像对比度等方面具有较好的效果,符合人眼视觉特征,视觉效果优于现有的水下图像增强算法。     

水下图像增强方法研究综述

水下图像增强是水下有人/无人设备完成深海探测任务的重要支撑技术。该技术综合应用信号处理、图像处理以及机器学习的相关理论知识以实现对水下图像的灵活增强。在简述了水下图像增强的研究背景、意义及热点问题的基础上,按照不基于成像模型、基于成像模型与基于学习3个方向对水下图像增强技术的发展进行了详细的论述,重点分析了不同方法的原理和技术特点。最后,根据水下图像增强技术的难点与目前面临的主要问题对研究方向和发展趋势进行了归纳和展望。