图像增强对低光照场景语义分割影响研究

在低光照环境下获取的图像通常会出现图像亮度低、颜色失真、细节信息丢失以及对比度低等问题。为了满足主观视觉体验的需求,往往会对图像进行增强处理。然而,图像增强对机器视觉应用性能的影响缺乏系统研究。本文以语义分割这一机器视觉应用为例,首先对主流的语义分割方法和低光照图像增强方法进行归纳总结,然后对经图像增强方法处理的低光照图像进行语义分割,从而探究图像增强方法对低光照场景语义分割性能的影响。实验结果表明,增强处理可以改善图像的人眼视觉效果,但是可能会引入噪声等影响,并且图像增强方法和语义分割方法关注的重点和特征不完全一致。图像增强对于低光照场景语义分割性能的促进作用并不明显,甚至会带来负面影响。     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

YCbCr空间分治的双分支低照度图像增强网络

目的 现有的低照度图像增强算法通常在RGB颜色空间采用先增强后去噪的方式提升对比度并抑制噪声,由于亮度失真和噪声在RGB颜色空间存在复杂的耦合关系,往往导致增强结果不理想。先增强后去噪的方式也放大了原本隐藏在黑暗中的噪声,使去噪变得困难。为有效处理亮度失真并抑制噪声,提出了一个基于YCbCr颜色空间的双分支低照度图像增强网络,以获得正常亮度和具有低噪声水平的增强图像。方法 由于YCbCr颜色空间可以分离亮度信息与色度信息,实现亮度失真和噪声的解耦,首先将低照度图像由RGB颜色空间变换至YCbCr颜色空间,然后设计一个双分支增强网络,该网络包含亮度增强模块和噪声去除模块,分别对亮度信息和色度信息进行对比度增强和噪声去除,最后使用亮度监督模块和色度监督模块强化亮度增强模块和噪声去除模块的功能,确保有效地提升对比度和去除噪声。结果 在多个公开可用的低照度图像增强数据集上测试本文方法的有效性,对比经典的低照度图像增强算法,本文方法生成的增强图像细节更加丰富、颜色更加真实,并且含有更少噪声,在LOL（low-light dataset）数据集上,相比经典的KinD++（kindling the darkness）,峰值信噪比（peak signal-to-noise ratio,PSNR）提高了3.09 dB,相比URetinex（Retinex-based deep unfolding network）,PSNR提高了2.74 dB。结论 本文提出的空间解耦方法能够有效地分离亮度失真与噪声,设计的双分支网络分别用于增强亮度和去除噪声,能够有效地解决低照度图像中亮度与噪声的复杂耦合问题,获取低噪声水平的亮度增强图像。     

钢板表面低对比度微小缺陷图像增强和分割

目的 环境干扰及光学元件不稳定等因素往往会造成钢板表面图像照度不均,钢板表面的微小缺陷具有图像灰度不均、对比度低、形态微小等特点,给后续图像分析和缺陷识别带来因难。为此,提出一种钢板表面低对比度微小缺陷图像增强和分割算法,以消除照度不均并突出缺陷信息,从而有效分割缺陷目标。方法 采用小波-同态滤波算法进行图像增强处理,即先利用小波变换对图像进行分解,再基于同态滤波对小波低频系数进行图像灰度修正,同时对高频系数进行高通滤波,然后将处理后的小波低频系数和高频系数进行重构得到增强的图像,从而达到消除照度不均、增强缺陷细节信息的目的。最后利用最大类间方差法（Otsu法）确定自适应阈值提供给Canny算子进行边缘检测。结果 采用本文算法对钢板表面多类型低对比度表面微小缺陷进行研究,有效消除了光照不均;单一的Otsu阈值分割和Canny算子难以有效检测这些缺陷,而本文Otsu-Canny算法的正确检测率达96%。结论 采用小波-同态滤波进行图像增强处理后,再利用Otsu-Canny算法对钢板表面多类型、低对比度的微小缺陷进行边缘检测取得了良好效果。     

自适应语义感知网络的盲图像质量评价

目的 盲图像质量评价（blind image quality assessment，BIQA）在图像质量控制领域具有重要的实际意义。虽然目前针对自然失真图像的盲图像质量评价取得了合理的结果，但评价准确性仍有待进一步提升。方法 提出一种自适应语义感知网络（self-adaptive semantic awareness network，SSA-Net）的盲图像质量评价方法，通过理解失真图像的内容和感知图像失真的类型来提高预测的准确性。首先，利用深度卷积神经网络（deep convolutional neuralnetwork，DCNN）获取各个阶段的语义特征，并提出多头位置注意力（multi-head position attention，MPA）模块通过聚合特征图的长距离语义信息来加强对图像内容的理解。接着，提出基于多尺度内核的自适应特征感知（self-adaptivefeature awareness，SFA）模块感知图像的失真类型，并结合图像内容来捕获图像的全局失真和局部失真情况。最后，提出多级监督回归（multi-level supervision regression，MSR）网络通过利用低层次的语义特征辅助高层次的语义特征得到预测分数。结果 本文方法在7个数据库上与11种不同方法进行了比较，在LIVEC（LIVE in the Wild ImageQuality Challenge）、BID（blurred image database）、KonIQ-10k（Konstanz authentic image quality 10k database）和SPAQ（smartphone photography attribute and quality）4个自然失真图像数据库中的斯皮尔曼等级相关系数（Spearman rankorder correlation coefficient，SRCC）值分别为0.867、0.877、0.913和0.915，获得了所有方法中最好的性能结果。同时在两个人工失真图像数据库中获得了排名前2的SRCC值。实验结果表明，与其他先进方法相比，本文方法在自然失真图像质量评价数据库上的表现更为优异。结论 本文方法通过结合图像内容理解与不同失真类型感知，能更好地适应自然图像的失真，提高评价准确性。     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

改进融合策略下透明度引导的逆光图像增强

目的 针对传统的逆光图像增强算法存在的曝光正常区域与逆光区域间阈值计算复杂、分割精度不足、过度曝光以及增强不足等问题,提出一种改进融合策略下透明度引导的逆光图像增强算法。方法 对逆光图像在HSV(hue, saturation, value)空间中的亮度分量进行亮度提升和对比度增强,然后通过金字塔融合策略对改进的亮度分量进行分解和重构,恢复逆光区域的细节和颜色信息。此外,利用深度抠图网络计算透明度蒙版,对增强的逆光区域与源图像进行融合处理,维持非逆光区域亮度不变。通过改进融合策略增强的图像在透明度引导下既有效恢复了逆光区域又避免了曝光过度的问题。结果 实验在多幅逆光图像上与直方图均衡算法、MSR (multi-scale Retinex)、Zero-DEC (zero-reference deep curve estimation)、AGLLNet (attention guided low-light image enhancement)和LBR (learning-based restoration) 5种方法进行了比较,在信息熵(information entropy,IE)和盲...     

暗通道先验的大坝水下裂缝图像增强算法

目的 大坝水下裂缝图像存在非均匀亮度、低信噪比、低对比度等复杂情况,导致裂缝特征提取极为困难,本文提出一种改进暗通道先验的大坝水下裂缝图像自适应增强算法。方法 首先对非均匀光照图像进行全局匀光处理和噪声抑制处理,在保护纹理信息的同时消除亮度分布不均的问题;其次改进暗通道先验理论,结合导向滤波方法,精确估算去噪恢复图像;然后对去噪恢复图像进行基于概率分布理论3σ原则的自适应分段线性增强;最后对增强图像从均值、方差、峰值信噪比、对比度和信息熵等方面进行整体定量评价。结果 选取了2幅典型的水下光照不均匀大坝裂缝图像作为研究对象,采用本文提出的方法进行图像增强处理。将本文算法的增强效果与直方图均衡化、同态滤波、多尺度视网膜增强算法（MSR）以及带色彩恢复的多尺度视网膜增强算法（MSRCR）的增强效果进行对比分析。为了测试本文方法的鲁棒性,对原图像增加椒盐噪声信号和高斯噪声信号,评估本文算法对包含确定分布噪声的抗干扰能力。本文方法相比以上其它方法,具有最好的增强效果,对2幅原始图像对应增强图像的峰值信噪比（PSNR）分别为42.77和41.49。结论 仿真实验结果表明,本文方法能有效抑制水下图像噪声干扰,增强大坝水下裂缝图像的清晰度。本文方法对不同光照条件下大坝水下裂缝图像增强有很强的自适应性,对水下裂缝图像增强处理有效可行。     

结合注意力的双分支残差低光照图像增强

在低光条件下拍摄的照片会因曝光不足而产生一系列的视觉问题,如亮度低、信息丢失、噪声和颜色失真等。为了解决上述问题,提出一个结合注意力的双分支残差低光照图像增强网络。首先,采用改进InceptionV2提取浅层特征;其次,使用残差特征提取块（RFB）和稠密残差特征提取块（DRFB）提取深层特征;然后,融合浅层和深层特征,并将融合结果输入亮度调整块（BAM）调整亮度,最终得到增强图像。同时,结合注意力机制设计特征融合块（FFM）捕获重要的特征信息,以帮助恢复低光照图像的暗部区域。此外,引入一个联合损失函数从多方面衡量网络训练损失。实验结果表明,相较于鲁棒的视网膜大脑皮层模型（RRM）、Zero-DCE(Zero-Reference Deep Curve Estimation)和EnlightenGAN(Enlighten Generative Adversarial Network),在LOL(LOw-Light)数据集上,所提网络的峰值信噪比（PSNR）指标分别提高了49.9%、40.0%和18.5%;在LOL-V2数据集上,结构相似性（SSIM）指标分别提高了20.3%、50.0%和3...     

多层语义融合CNN的步态人体语义分割

目的 针对反恐、安防领域利用监控视频进行步态识别时由光照、拍摄角度、遮挡等多协变量引起的轮廓缺失、人体阴影和运算时间等问题，提出了一种基于RPGNet（Regin of Interest+Parts of Body Semantics+GaitNet）网络的步态人体语义分割方法。方法 该方法按照功能划分为R（region of interest）模块、P（parts of body semantics）模块和GNet（GaitNet）模块。R模块提取人体步态感兴趣区域，起到提升算法效率和图像去噪的作用。P模块借助LabelMe开源图像注释工具进行步态人体部位语义标注。GNet模块进行步态人体部位语义训练与分割。借鉴ResNet和RefineNet网络模型，设计了一种细节性步态语义分割网络模型。结果 对步态数据库1 380张图片进行了测试，RPGNet方法与6种人体轮廓分割方法进行了对比实验，实验结果表明RPGNet方法对细节和全局信息处理得都很精确，在0°、45°和90°视角都表现出较高的分割正确率。在多人、戴帽和遮挡条件下，实验结果表明RPGNet方法人体分割效果良好，能够满足步态识别过程中的实时性要求。结论 实验结果表明，RPGNet步态人体语义分割方法在多协变量情况下能够有效进行步态人体语义分割，同时也有效提高了步态识别的识别率。     

融合注意力机制和上下文信息的微光图像增强

目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低。针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法。方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成。由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力。此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果。结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰。在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知...     

结合内外先验知识的低照度图像增强与去噪算法

目的 现有大多数低照度图像增强算法会放大噪声,且用于极低照度图像时会出现亮度提升不足、色彩失真等问题。为此,提出一种基于Retinex(retina cortex)的增强与去噪方法。方法 为了增强极低照度图像,首先利用暗通道先验原理估计场景的全局光照,若光照低于0.5,对图像进行初始光照校正;其次,提出一种Retinex顺序分解模型,使低照度图像中的噪声均体现在反射分量中,基于分解结果,利用Gamma校正求取增强后的噪声图像;最后,提出一种基于内外双重互补先验约束的去噪机制,利用非局部自相似性原理为反射分量构建内部先验约束,基于深度学习,为增强后的噪声图像构建外部先验约束,使内外约束相互制约。结果 将本文算法与6种算法比较,在140幅普通低照度图像和162幅极低照度图像上（有正常曝光参考图像）进行主观视觉和客观指标评价比较,结果显示本文方法在亮度提升、色彩保真及去噪方面均有明显优势,对于普通低照度图像,BTMQI(blind tone-mapped quality index)和NIQE(natural image quality evaluator)指标均取得次优值,对于极低照度图像...     

基于链接突触计算网络的遥感图像对比度增强算法

针对卫星遥感图像在增强对比度和去除噪声过程中出现纹理细节丢失和图像自然性降低的问题,提出一种基于链接突触计算网络的卫星遥感图像对比度增强算法。在彩色图像转变至HSV颜色空间的前提下,通过引导滤波器去除噪声和边缘增强技术突出细节;将边缘增强的图像输入链接突触计算网络,采取与显著特征图相结合的方式增强图像亮度和对比度;在RGB空间上,利用改进的自然色彩还原技术对增强图像进行还原。实验结果表明,相对于其他对比度增强算法,该方法在多个评价指标上都有很好的性能体现,在增强图像对比度和亮度的同时,保留了丰富的纹理细节和自然色彩度。     

沙尘图像色彩恢复及增强卷积神经网络

目的 在沙尘天气条件下,由于大气中悬浮微粒对入射光线的吸收和散射,户外计算机视觉系统所采集图像通常存在颜色偏黄失真和低对比度等问题,严重影响户外计算机视觉系统的性能。为此,提出一种带色彩恢复的沙尘图像卷积神经网络增强方法,由一个色彩恢复子网和一个去尘增强子网组成。方法 采用提出的色彩恢复子网(sand dust color correction, SDCC)校正沙尘图像的偏色,将颜色校正后的图像作为条件,输入到由自适应实例归一化残差块组成的去尘增强子网中,对沙尘图像进行增强处理。本文还提出一种基于物理光学模型的沙尘图像合成方法,并采用该方法构建了大规模的配对沙尘图像数据集。结果 对大量沙尘图像的实验结果表明,所提出的沙尘图像增强方法能很好地去除图像中的偏色和沙尘,获得正常的视觉颜色和细节清晰的图像。进一步的对比实验表明,该方法能取得优于对比方法的增强图像。结论 本文所提出的沙尘图像增强方法能很好地消除整体的黄色色调和尘霾现象,获得正常的视觉色彩和细节清晰的图像。     

低光照图像增强算法综述

低光照图像增强旨在提高光照不足场景下捕获数据的视觉感知质量以获取更多信息,逐渐成为图像处理领域中的研究热点,在自动驾驶、安防等人工智能相关行业中具有十分广阔的应用前景。传统的低光照图像增强技术往往需要高深的数学技巧以及严格的数学推导,且导出的迭代过程普遍流程复杂,不利于实际应用。随着大规模数据集的相继诞生,基于深度学习的低光照图像增强已经成为当前的主流技术,然而此类技术受限于数据分布,存在性能不稳定、应用场景单一等问题。此外,在低光照环境下的高层视觉任务(如目标检测)对于低光照图像增强技术的发展带来了新的机遇与挑战。本文从3个方面系统地综述了低光照图像增强技术的研究现状。介绍了现有低光照图像数据集,详述了低光照图像增强技术的发展脉络,通过对比低光照图像增强质量与夜间人脸检测精度,进一步对现有低光照增强技术进行了全面评估与分析。基于对上述现状的探讨,结合实际应用,本文指出当前技术的局限性,并对其发展趋势进行预测。     

基于顶帽底帽变换的仿生图像增强算法

针对低照度图像对比度低、细节模糊、色彩饱和度低的问题,通过分析人眼的主观亮度感受和光照强度的非线性关系以及人眼的视网膜神经节细胞中感受野的传输特性,提出一种顶帽变换和底帽变换相结合的仿生图像增强算法。首先,将低照度图像的RGB色彩空间转换为HSV空间,对亮度分量进行全局亮度对数变换;其次,采用视网膜神经元感受野三高斯模型对图像局部边缘的对比度进行调整;最后,用顶帽变换和底帽变换辅助对较亮背景的提取。实验结果表明,所提算法增强的低照度图像不仅细节清楚、对比度高,同时还没有设备采集图像存在的光照不均匀和图像景深的问题,而且增强后的图像色彩饱和度高,具有很强的视觉感受效果。     

基于U-Net的多尺度低照度图像增强网络

低照度是夜晚拍摄时常见的一种现象,不充分的光照会使图像细节损失严重,降低图像视觉质量。针对现有低照度图像增强方法对不同尺度特征的感知和表达能力存在不足的问题,提出一种基于U-Net的多尺度低照度图像增强网络（MSU-LIIEN）。采用特征金字塔作为基本处理框架,实现对低照度图像的特征提取。在特征金字塔构建的3个分支结构中均使用U-Net作为骨干网,对提取到的浅层图像特征进行编码与解码操作,同时引入结构细节残差融合块以增强网络模型提取和表征低照度图像特征信息的能力。在此基础上,对提取到的特征信息逐层融合,恢复正常光照图像。实验结果表明,MSU-LIIEN在LOL-datasets和Brighting Train数据集中相比于性能排名第二的KinD模型,平均峰值信噪比分别提高16.21%和46.67%,且在主观视野感受和客观评价指标方面均优于所有对比的经典模型,不但能有效提升低照度图像的整体亮度,而且能很好地保持图像中的细节信息和清晰的物体边缘轮廓,使增强后的图像整体画面真实自然。     

基于局部生成对抗网络的水上低照度图像增强

针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题,提出一种基于局部生成对抗网络的图像增强方法.以残差网络作为基本框架设计生成器,通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征,从而减少结构信息丢失.设计一个自编码器作为注意力网络,估计图像中的光照分布并指导图像不同亮度区域的自适应增强.构建...