不同颜色模型下自适应直方图拉伸的水下图像增强

目的 水下图像是海洋信息的重要载体,然而与自然环境下的图像相比,其成像原理更复杂、对比度低、可视性差。为保证不同类型水下图像的增强效果,本文提出在两种颜色模型下自适应直方图拉伸的水下图像增强方法。方法 首先,进行基于Gray-World理论对蓝、绿色通道进行颜色均衡化预处理。然后,根据红绿蓝（R-G-B）通道的分布特性和不同颜色光线在水下传播时的选择性衰减,提出基于参数动态优化的R-G-B颜色模型自适应直方图拉伸,并采用引导滤波器降噪。接下来,在CIE-Lab颜色模型,对‘L’亮度和‘a’‘b’色彩分量分别进行线性和曲线自适应直方图拉伸优化。最终,增强的水下图像呈现出高对比度、均衡的饱和度和亮度。结果 选取不同类型的水下图像作为数据集,将本文方法与融合颜色模型（ICM）、非监督颜色纠正模型（UCM）、基于暗通道先验性（DCP）的水下图像复原和基于水下暗通道先验（UDCP）的图像复原方法相比较,增强后的图像具有高对比度和饱和度。定性和定量分析实验结果说明本文提出的方法能够获得更好视觉效果,增强后的图像拥有更高信息熵和较低噪声。结论 在RGB颜色模型中,通过合理地考虑水下图像的分布特性和水下图像退化物理模型提出自适应直方图拉伸方法;在CIE-Lab颜色模型中,引入拉伸函数和指数型曲线函数重分布色彩和亮度两个分量,本方法计算复杂度低,适用于不同复杂环境下的水下图像增强。     

多残差联合学习的水下图像增强

目的 由于海水中悬浮的颗粒会吸收和散射光,并且不同波长的光在海水中的衰减程度也不同,使得水下机器人拍摄的图像呈现出对比度低、颜色失真等问题。为解决上述问题以呈现出自然清晰的水下图像,本文提出了基于神经网络的多残差联合学习的方法来对水下图像进行增强。方法 该方法包括3个模块：预处理、特征提取和特征融合。首先,采用Sigmoid校正方法对原始图像的对比度进行预处理,增强失真图像的对比度,得到校正后的图像;然后,采用双分支网络对特征进行提取,将原始图像送入分支1——残差通道注意分支网络,将校正后的图像与原始图像级联送入分支2——残差卷积增强分支网络。其中,通道注意分支在残差密集块中嵌入了通道注意力模型,通过对不同通道的特征重新进行加权分配,以加强有用特征;卷积增强分支通过密集级联和残差学习,提取校正图像中边缘等高频信息以保持原始结构与边缘。最后,在特征融合部分,将以上双分支网络的特征级联后,通过残差学习进一步增强;增强后的特征与分支1的输出、分支1与分支2的输出分别经过自适应掩膜进行再次融合。选取通用UIEB(underwater image benchmark dataset)数据集中的800幅水下图像作为训练集进行训练,设计了结合图像内容感知、均方误差、梯度和结构相似性的联合损失函数对网络进行端到端训练。结果 在通用UIEB数据集上选取非训练集中有参考图像的90幅图像与当前10种方法进行测试。结果显示,本文方法增强后的水下图像的PSNR(peak signal-to-noise ratio)指标平均达到了20.739 4 dB,SSIM(structural similarity)为0.876 8,UIQM(underwater image quality measure)为3.183 3,均高于对比方法。结论 本文方法不仅在客观质量上超越了对比方法,且在主观质量上也显著提高了对比度,能够产生颜色丰富并且清晰度较高的增强图像。尤其是对于深水场景中偏蓝的水下图像,本文方法获得显著的质量提升。     

面向真实水下图像增强的质量评价数据集

目的 由于光在水中的衰减/散射以及微生物对光的吸收/反射等影响,水下图像通常存在色偏、模糊、光照不均匀以及对比度过低等诸多质量问题。研究人员对此提出了许多不同的水下图像增强算法。为了探究目前已有的水下图像增强算法的性能和图像质量客观评价方法是否适用于评估水下图像,本文开展大规模主观实验来对比不同水下图像增强算法在真实水下图像数据集上的性能,并对现有图像质量评价方法用于评估水下图像的准确性进行测试。方法 构建了一个真实的水下图像数据集,其中包含100幅原始水下图像以及对应的1 000幅由10种主流水下图像增强方法增强后的图像。基于成对比较的策略开展水下图像主观质量评价,进一步对主观评价得到的结果进行分析,包括一致性分析、收敛性分析以及显著性检验。最后将10种现有主流的无参考图像质量评价在本文数据集上进行测试,检验其在真实水下图像数据集上的评价性能。结果 一致性分析中,该数据集包含的主观评分有较高的肯德尔一致性系数,其值为0.41;收敛性分析中,所收集的投票数量与图像数量足够得到稳定的主观评分;表明本文构建的数据集具有良好的有效性与可靠性。此外,目前对比自然图像的无参考图像质量评价方法并不适用于水下图像数据集,验证了水下图像与自然图像的巨大差异。结论 本文构建的真实水下图像数据集为未来水下图像质量客观评价方法以及水下图像增强算法的研究提供了参考与支持。所涉及的图像以及所有收集的用户数据,都在项目主页(https://github.com/yia-yuese/RealUWIQ-dataset)上公开。     

暗通道先验的大坝水下裂缝图像增强算法

目的 大坝水下裂缝图像存在非均匀亮度、低信噪比、低对比度等复杂情况,导致裂缝特征提取极为困难,本文提出一种改进暗通道先验的大坝水下裂缝图像自适应增强算法。方法 首先对非均匀光照图像进行全局匀光处理和噪声抑制处理,在保护纹理信息的同时消除亮度分布不均的问题;其次改进暗通道先验理论,结合导向滤波方法,精确估算去噪恢复图像;然后对去噪恢复图像进行基于概率分布理论3σ原则的自适应分段线性增强;最后对增强图像从均值、方差、峰值信噪比、对比度和信息熵等方面进行整体定量评价。结果 选取了2幅典型的水下光照不均匀大坝裂缝图像作为研究对象,采用本文提出的方法进行图像增强处理。将本文算法的增强效果与直方图均衡化、同态滤波、多尺度视网膜增强算法（MSR）以及带色彩恢复的多尺度视网膜增强算法（MSRCR）的增强效果进行对比分析。为了测试本文方法的鲁棒性,对原图像增加椒盐噪声信号和高斯噪声信号,评估本文算法对包含确定分布噪声的抗干扰能力。本文方法相比以上其它方法,具有最好的增强效果,对2幅原始图像对应增强图像的峰值信噪比（PSNR）分别为42.77和41.49。结论 仿真实验结果表明,本文方法能有效抑制水下图像噪声干扰,增强大坝水下裂缝图像的清晰度。本文方法对不同光照条件下大坝水下裂缝图像增强有很强的自适应性,对水下裂缝图像增强处理有效可行。     

自适应语义感知网络的盲图像质量评价

目的 盲图像质量评价（blind image quality assessment，BIQA）在图像质量控制领域具有重要的实际意义。虽然目前针对自然失真图像的盲图像质量评价取得了合理的结果，但评价准确性仍有待进一步提升。方法 提出一种自适应语义感知网络（self-adaptive semantic awareness network，SSA-Net）的盲图像质量评价方法，通过理解失真图像的内容和感知图像失真的类型来提高预测的准确性。首先，利用深度卷积神经网络（deep convolutional neuralnetwork，DCNN）获取各个阶段的语义特征，并提出多头位置注意力（multi-head position attention，MPA）模块通过聚合特征图的长距离语义信息来加强对图像内容的理解。接着，提出基于多尺度内核的自适应特征感知（self-adaptivefeature awareness，SFA）模块感知图像的失真类型，并结合图像内容来捕获图像的全局失真和局部失真情况。最后，提出多级监督回归（multi-level supervision regression，MSR）网络通过利用低层次的语义特征辅助高层次的语义特征得到预测分数。结果 本文方法在7个数据库上与11种不同方法进行了比较，在LIVEC（LIVE in the Wild ImageQuality Challenge）、BID（blurred image database）、KonIQ-10k（Konstanz authentic image quality 10k database）和SPAQ（smartphone photography attribute and quality）4个自然失真图像数据库中的斯皮尔曼等级相关系数（Spearman rankorder correlation coefficient，SRCC）值分别为0.867、0.877、0.913和0.915，获得了所有方法中最好的性能结果。同时在两个人工失真图像数据库中获得了排名前2的SRCC值。实验结果表明，与其他先进方法相比，本文方法在自然失真图像质量评价数据库上的表现更为优异。结论 本文方法通过结合图像内容理解与不同失真类型感知，能更好地适应自然图像的失真，提高评价准确性。     

改进融合策略下透明度引导的逆光图像增强

目的 针对传统的逆光图像增强算法存在的曝光正常区域与逆光区域间阈值计算复杂、分割精度不足、过度曝光以及增强不足等问题,提出一种改进融合策略下透明度引导的逆光图像增强算法。方法 对逆光图像在HSV(hue, saturation, value)空间中的亮度分量进行亮度提升和对比度增强,然后通过金字塔融合策略对改进的亮度分量进行分解和重构,恢复逆光区域的细节和颜色信息。此外,利用深度抠图网络计算透明度蒙版,对增强的逆光区域与源图像进行融合处理,维持非逆光区域亮度不变。通过改进融合策略增强的图像在透明度引导下既有效恢复了逆光区域又避免了曝光过度的问题。结果 实验在多幅逆光图像上与直方图均衡算法、MSR (multi-scale Retinex)、Zero-DEC (zero-reference deep curve estimation)、AGLLNet (attention guided low-light image enhancement) 和LBR (learning-based restoration) 5种方法进行了比较,在信息熵(information entropy,IE)和盲图像质量指标(blind image quality indicators,BIQI)上,比AGLLNet分别提高了1.9%和10.2%;在自然图像质量评价(natural image quality evaluation,NIQE)方面,比Zero-DCE(zero-reference deep curve estimation)提高了3.5%。从主观评估上看,本文算法增强的图像在亮度、对比度、颜色及细节上恢复得更加自然,达到了较好的视觉效果。结论 本文方法通过结合金字塔融合技术与抠图技术,解决了其他方法存在的色彩失真和曝光过度问题,具有更好的增强效果。     

沙尘降质图像清晰化算法

目的 沙尘环境中获取的图像存在颜色失真、对比度低等问题,不利于人眼辨识以及进一步的图像处理。为解决沙尘降质图像的这些问题,提出一种新的基于颜色调整和对比度增强的沙尘降质图像的增强算法。方法 沙尘降质图像增强要解决两个问题,即颜色偏移和对比度增强。基于沙尘降质图像的的颜色直方图存在的集中性、顺序性以及偏离性等特性,使用高斯模型分别对各通道颜色进行建模,进而进行颜色调整。针对颜色调整后的图像存在的整体灰暗,对比度低以及噪声等特点,利用改进的基于奇异值分解的增强算法,从而有效地增加图像对比度并抑制噪声。结果 为了验证本文算法的有效性,与带有色彩恢复的多尺度Retinex算法、GUM算法、Tarel算法、融合算法4种方法进行了对比。从增强结果可以看出,本文算法能够有效解决降质图像的颜色偏移和对比度低的问题,并增强图像的整体视觉效果。结论 本文算法充分利用沙尘降质图像三通道颜色直方图分布的特点,能够快速高效地实现颜色校正,并通过图像频域的奇异值信息进一步提升图像的对比度。经过多幅沙尘降质图像清晰化实验验证,表明本文方法能够实现对不同程度沙尘降质图像的增强,具有较强的适用性。     

基于透射率修正的湍流模型与动态调整retinex的水下图像增强

目的 为提高水下获取的结构物表面缺陷图像的对比度和清晰度,便于缺陷区域的分割、提取和识别工作,提出了一种基于改进的湍流模型和引导滤波平滑的retinex的图像增强方法。方法 将光照不均的水下图像转换到Lab空间,对亮度空间进行自适应直方图均衡的匀光处理,根据暗通道先验理论估算匀光图像的透射率,结合大气湍流通用模型模拟退化图像,通过调整透射率系数获得退化图像。采用维纳滤波过滤图像噪声,将滤波后的图像作为导向图,利用导向滤波细化获得边缘保持的图像。根据3σ准则对3通道多尺度retinex （multi-scale retinex,MSR）的反射分量进行色彩矫正,获取最终增强后的水下结构物表面缺陷图像。结果 选取多组在不同湍流环境下采集的图像为研究对象,采用本文提出的方法进行实验,并与经典的暗通道算法、直方图均衡算法以及单尺度retinex算法对比,使用信噪比、信息熵、标准差和平均梯度等指标进行评估。实验结果表明,本文方法的信息熵、标准差相较直方图均衡算法和单尺度retinex分别提高了11.7%和25.6%,分割准确率上升了3.1%。从主观效果上看,本文算法图像细节更为丰富,视觉效果自然。结论 本文算法改善了退化模型的自适应问题,在信息熵、标准差、平均梯度等综合指标上均有优异表现,与暗通道先验方法相比,信噪比、平均梯度大幅提升,同时实现了缺陷的边缘保持效果,为下阶段的图像处理提供了良好的信息源。     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

基于场景深度估计的自然光照水下图像增强方法

针对水下图像模糊、对比度低且色彩失真的问题,结合修正的水下成像模型,提出一种基于场景深度估计的自然光照水下图像增强方法.首先,依据自然光照条件下水下图像场景亮度与场景深度总体成正比的先验理论,对图像的亮度信息进行最小值滤波和软抠图处理以实现场景深度估计;然后,结合暗通道先验知识和场景深度信息进行离散像素点的后向散射分量估计,根据修正的水下成像模型来拟合和去除后向散射;最后,采用基于色适应的颜色校正方法对直接分量进行色偏校正,利用线性拉伸方法来提升图像的亮度和对比度.水下多场景条件下的实验结果表明,本文方法可有效地去除后向散射引起的雾样模糊,提高图像对比度并校正颜色偏差.     

基于人工欠曝光融合和白平衡技术的水下图像增强算法

获得清晰准确的水下图像是人类探索水下世界的重要前置条件。然而与平常图像相比,水下图像往往具有对比度低、细节保留不足及颜色失真等问题,这导致其视觉效果不佳。针对上述问题,提出了基于人工欠曝光融合和白平衡技术（AUF+WB）的水下图像增强算法。首先,利用调节伽马值的方式对原始水下图像进行操作,从而生成5幅相应的欠曝光图像;然后,以对比度、饱和度及良好曝光度作为融合权重,并结合多尺度融合来生成融合图像;最后,将各类颜色通道补偿后的图像分别结合灰色世界假设白平衡生成相应的白平衡图像,再利用水下彩色图像质量评价指标（UCIQE）及水下图像质量评价标准（UIQM）对得到的白平衡图像进行评价。通过选取不同类型的水下图像作为实验样本,将AUF+WB算法与现存先进的水下图像去雾算法进行比较,结果表明AUF+WB算法在图像质量定性、定量两方面分析中和对比算法相比均有更好的表现。所提出的AUF+WB算法可矫正水下图像的颜色失真,并增强其对比度、恢复其细节,有效提升了水下图像的视觉质量。     

基于修正模型与暗通道先验信息的水下图像复原

受到复杂成像环境影响,光学视觉系统获取到的水下图像普遍存在对比度低、模糊和颜色失真等问题．为此,本文提出一种基于修正散射模型的水下图像复原算法．首先,深入分析光在水下的吸收衰减特性,在简化大气散射模型的基础上,将水体背景光融入到模型的直接衰减项;其次,考虑到水下红光迅速衰减,采用红通道的逆通道对其进行补偿;然后,使用基于四叉树的分级搜索算法估计水体背景光值;最后,在修正的成像模型基础上,结合水下暗通道先验信息估计介质透射率进而复原水下图像．实验结果表明,本文算法水下复原后的图像色彩自然,能有效恢复出远景区域的细节信息,图像对比度、色度和饱和度的综合评价指标整体优于对比算法,适用于不同类型的水下退化图像．     

Color fidelity and visibility enhancement of underwater image de-hazing by enhanced fuzzy intensification operator

This paper presents an optimization based algorithm for underwater image de-hazing problem. Underwater image de-hazing is the most prominent area in research. Underwater images are corrupted due to absorption and scattering. With the effect of that, underwater images have the limitation of low visibility, low color and poor natural appearance. To avoid the mentioned problems, Enhanced fuzzy intensification method is proposed. For each color channel, enhanced fuzzy membership function is derived. Second, the correction of fuzzy based pixel intensification is carried out for each channel to remove haze and to enhance visibility and color. The post processing of fuzzy histogram equalization is implemented for red channel alone when the captured image is having highest value of red channel pixel values. The proposed method provides better results in terms maximum entropy and PSNR with minimum MSE with very minimum computational time compared to existing methodologies.     

一种基于色彩补偿的水下图像综合增强算法

针对退化的水下图像在高级视觉分析任务中无法进行有效的目标检测及识别的问题,提出了一 种通过色彩补偿和对比度拉伸,HSV 空间 γ 校正和亮度通道去模糊系列方法实现了对水下图像的色彩校正、色 彩对比度、饱和度和细节清晰度的综合提高。其中,提出了基于高斯滤波的亮度通道去散射方法,并对典型水 体水下图像综合增强参数进行了分析。实验对比了综合增强方法和其他增强方法对偏蓝、偏绿、偏黄、白色近 岸浅滩水下图像的处理结果并通过目标检测网络对 7 种算法增强后的水下图像数据集进行训练与测试,对比了 平均水下目标识别准确率和检测到的目标数量与实际目标数量的比值来评估各个增强算法对于水下目标识别 和检测任务中的作用。实验表明,与现有方法相比,该算法不仅可以有效地实现各类水下图像清晰度和色彩增 强,适用范围广,而且可以有效地提高水下图像目标识别任务的准确率和检测数量。     

沙尘图像色彩恢复及增强卷积神经网络

目的 在沙尘天气条件下,由于大气中悬浮微粒对入射光线的吸收和散射,户外计算机视觉系统所采集图像通常存在颜色偏黄失真和低对比度等问题,严重影响户外计算机视觉系统的性能。为此,提出一种带色彩恢复的沙尘图像卷积神经网络增强方法,由一个色彩恢复子网和一个去尘增强子网组成。方法 采用提出的色彩恢复子网(sand dust color correction, SDCC)校正沙尘图像的偏色,将颜色校正后的图像作为条件,输入到由自适应实例归一化残差块组成的去尘增强子网中,对沙尘图像进行增强处理。本文还提出一种基于物理光学模型的沙尘图像合成方法,并采用该方法构建了大规模的配对沙尘图像数据集。结果 对大量沙尘图像的实验结果表明,所提出的沙尘图像增强方法能很好地去除图像中的偏色和沙尘,获得正常的视觉颜色和细节清晰的图像。进一步的对比实验表明,该方法能取得优于对比方法的增强图像。结论 本文所提出的沙尘图像增强方法能很好地消除整体的黄色色调和尘霾现象,获得正常的视觉色彩和细节清晰的图像。     

Underwater image quality enhancement through integrated color model with Rayleigh distribution

The physical properties of water cause light-induced degradation of underwater images. Light rapidly loses intensity as it travels in water, depending on the color spectrum wavelength. Visible light is absorbed at the longest wavelength first. Red and blue are the most and least absorbed, respectively. Underwater images with low contrast are captured due to the degradation effects of light spectrum. Therefore, the valuable information from these images cannot be fully extracted for further processing. The current study proposes a new method to improve the contrast and reduce the noise of underwater images. The proposed method integrates the modification of image histogram into two main color models, Red–Green–Blue (RGB) and Hue-Saturation-Value (HSV). In the RGB color model, the histogram of the dominant color channel (i.e., blue channel) is stretched toward the lower level, with a maximum limit of 95%, whereas the inferior color channel (i.e., red channel) is stretched toward the upper level, with a minimum limit of 5%. The color channel between the dominant and inferior color channels (i.e., green channel) is stretched to both directions within the whole dynamic range. All stretching processes in the RGB color model are shaped to follow the Rayleigh distribution. The image is converted into the HSV color model, wherein the S and V components are modified within the limit of 1% from the minimum and maximum values. Qualitative analysis reveals that the proposed method significantly enhances the image contrast, reduces the blue-green effect, and minimizes under- and over-enhanced areas in the output image. For quantitative analysis, the test with 300 underwater images shows that the proposed method produces average mean square error (MSE) and peak signal to noise ratio (PSNR) of 76.76 and 31.13, respectively, which outperform six state-of-the-art methods.     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。