一种多图像局部结构化融合的低照度图像增强算法EI北大核心CSCD

为将低照度图像及基于它生成的多个不同曝光度图像中的互补性信息进行最佳融合以获得更为鲁棒的视觉增强效果,提出了一种基于多图像局部结构化融合的两阶段低照度图像增强(Low-light image enhancement,LLIE)算法.在待融合图像制备阶段,提出了一种基于图像质量评价的最佳曝光度预测模型,利用该预测模型给出的关于低照度图像最佳曝光度值,在伪曝光模型下生成适度增强图像和过曝光图像(利用比最佳曝光度值更高的曝光度生成)各一幅.同时,利用经典Retinex模型生成一幅适度增强图像作为补充图像参与融合.在融合阶段,首先将低照度图像、适度增强图像(2幅)和过曝光图像在同一空间位置处的图块矢量化后分解为对比度、结构强度和亮度三个分量.之后,以所有待融合对比度分量中的最高值作为融合后的对比度分量值,而结构强度和亮度分量则分别以相位一致性映射图和视觉显著度映射图作为加权系数完成加权融合.然后,将分别融合后的对比度、纹理结构和亮度三个分量重构为图块,并重新置回融合后图像中的相应位置.最后,在噪声水平评估算法导引下自适应调用降噪算法完成后处理.实验结果表明:所提出的低照度图像增强算法在主客观图像质量评价上优于现有大多数主流算法.     

基于端到端双网络的低照度图像增强方法

由于环境的不确定性,捕获的图像存在亮度低、对比度低和信息丢失严重等问题,且利用现存算法增强后的图像存在曝光过度问题,不能满足计算机视觉任务的输入要求。针对此问题,提出了基于端到端双网络的低照度图像增强方法,该网络由Inception网络模块与URes-Net模块组成。首先利用Retinex理论合成低照度图像样本;然后运用双网络模型进行特征提取、特征融合与重建,根据测试集的损失不断调整参数以优化模型,最终使双网络模型具有较高的低照度图像增强能力。实验结果表明,所提方法的PSNR和SSIM的均值分别为28.659 8 dB和0.896 6,亮度、对比度显著提高,获得的图像更加符合人类视觉,优于其他先进的低照度图像增强方法。     

基于亮度传播图的低照度图像增强算法

由于低照度图像的整体亮度比较暗、动态范围低、噪声大等特点,提出一种基于亮度传播图的低照度图像增强算法。考虑到低照度图像增强的同时也会放大噪声,因此在增强图像之前对图像进行去噪处理。使用BM3D在YCb Cr空间对图像进行去噪之后,在HSI空间对图像进行增强,利用亮度分量估计亮度传播图,利用物理模型还原低照度图像。实验表明该方法能够快速有效地提高低照度图像的整体亮度和对比度,增强图像的细节并减少噪声,得到视觉效果良好的图像。     

YCbCr空间分治的双分支低照度图像增强网络

目的 现有的低照度图像增强算法通常在RGB颜色空间采用先增强后去噪的方式提升对比度并抑制噪声,由于亮度失真和噪声在RGB颜色空间存在复杂的耦合关系,往往导致增强结果不理想。先增强后去噪的方式也放大了原本隐藏在黑暗中的噪声,使去噪变得困难。为有效处理亮度失真并抑制噪声,提出了一个基于YCbCr颜色空间的双分支低照度图像增强网络,以获得正常亮度和具有低噪声水平的增强图像。方法 由于YCbCr颜色空间可以分离亮度信息与色度信息,实现亮度失真和噪声的解耦,首先将低照度图像由RGB颜色空间变换至YCbCr颜色空间,然后设计一个双分支增强网络,该网络包含亮度增强模块和噪声去除模块,分别对亮度信息和色度信息进行对比度增强和噪声去除,最后使用亮度监督模块和色度监督模块强化亮度增强模块和噪声去除模块的功能,确保有效地提升对比度和去除噪声。结果 在多个公开可用的低照度图像增强数据集上测试本文方法的有效性,对比经典的低照度图像增强算法,本文方法生成的增强图像细节更加丰富、颜色更加真实,并且含有更少噪声,在LOL（low-light dataset）数据集上,相比经典的KinD++（kindling the darkness）,峰值信噪比（peak signal-to-noise ratio,PSNR）提高了3.09 dB,相比URetinex（Retinex-based deep unfolding network）,PSNR提高了2.74 dB。结论 本文提出的空间解耦方法能够有效地分离亮度失真与噪声,设计的双分支网络分别用于增强亮度和去除噪声,能够有效地解决低照度图像中亮度与噪声的复杂耦合问题,获取低噪声水平的亮度增强图像。     

基于多尺度梯度域引导滤波的低照度图像增强算法

针对低照度彩色图像整体亮度较低，增强图像中颜色易失真，部分图像细节淹没在较低灰度值像素中等问题，提出一种改进的低照度图像增强算法。首先，把待处理图像转换到色调、饱和度、亮度（HSI）颜色空间，对亮度分量进行非线性全局亮度校正；然后，提出多尺度梯度域引导滤波的亮度增强模型，利用该模型对校正后的亮度分量进行增强，接着对增强后的亮度分量进一步实施避免颜色失真的亮度校正；最后，将图像再转换回红绿蓝（RGB）颜色空间。实验结果表明，增强后的图像亮度平均提高90.0%以上，清晰度平均提高123.8%以上，这主要得益于多尺度梯度域引导滤波具有更好的亮度平滑和增强能力；同时由于减小了颜色失真，使增强图像的细节表现能力平均提高18.2%以上；由于采用了多尺度梯度域引导滤波的亮度增强模型与直方图自适应的亮度校正算法，使提出的低照度图像增强算法适宜应用于夜间等弱光源条件下的彩色图像增强。     

PNet：融合注意力机制的多级低照度图像增强网络

低照度图像存在亮度低、噪声伪影、细节丢失、颜色失真等退化问题,使得低照度图像增强成为一个多目标增强任务。现有多数增强算法不能很好地在多个增强目标上取得综合的性能,对此,提出PNet——融合注意力机制的多级低照度图像增强网络模型,通过构建多级串联增强任务子网,结合注意力机制设计多通道信息融合模块进行有效特征筛选及记忆,网络以序列方式处理图像流,协同渐进式完成图像全局自适应亮度提升、噪声伪影抑制、细节恢复、颜色矫正等多任务。此外,通过与现有主流算法进行定量及定性分析对比,结果显示该方法能实现自适应图像亮度增强、细节对比度提升,增强后图像整体亮度自然,没有明显光晕及伪影且色彩较丰富真实,在PSNR、SSIM、RMSE指标中较次优算法分别提升0.229、0.112、0.335。实验结果表明,该方法在低照度图像增强的多目标任务上取得了综合较优秀的表现,具有一定的应用价值。     

结合多分支结构和U-net的低照度图像增强

随着夜景拍摄技术的提高,低照度图像增强成为计算机视觉领域一个新的热点。但是由于光照不足、逆光、聚焦失败等因素的影响会导致光照强度不足,导致图像亮度和对比度过低。为了更好地处理低光照图像,提出了一种基于多分支结构和U-net结合的低照度图像增强算法。利用深度残差网络将图片不同层次的特征提取出来进行交叉合并。将得到的图像通过不同深度和结构的U-net进行增强。将U-net增强后的图像进行融合,最终得到了增强后的低照度图像。通过大量的实验表明,运用深度残差网络和U-net,可以更好地进行特征提取,低照度图像增强的效果也更好,很大程度上优于现有的技术。提出的方法不仅在视觉上提高了亮度和对比度,色彩更真实,更加符合人眼视觉系统特性,而且PSNR、SSIM等七项客观图像质量指标在几种算法中都是最优的。     

基于照度图引导的低照度图像增强网络

在低照度环境下采集的图像,由于光照的不均匀性,存在能见度差、对比度低和颜色失真等问题.现有的大多数低照度图像增强方法存在过增强或欠增强的现象,影响视觉感知和后续目标检测任务.针对上述问题,提出一种基于照度图引导的低照度图像增强网络.首先根据低照度图像的灰度分布特点构造对应的照度图,度量低照度图像不同区域块的明暗程度;然后利用照度图作为网络增强的引导图,与低照度图像一起送入图像增强网络来获得增强后的图像.为了解决训练数据不足的问题,提出一种基于内循环和概率旋转的数据增强方法来扩充训练数据样本的数量和多样性;同时,针对目前图像增强方法中普遍存在照度不均匀的问题,基于直方图匹配的思想构建一种直方图损失函数,约束并指导网络的训练.在合成数据集LOL和真实图像上的实验结果表明,所提网络在低照度图像增强方面获得了更好的主观视觉效果;与经典的RetinexNet方法相比,所提方法在PSNR和SSIM客观定量指标上分别提高了7.905 dB和0.328;该网络对后续目标检测任务的检测率可提高10.17%～17.19%.     

多尺度权重评估的MSRCR混合曝光成像算法

针对混合曝光成像算法过程中会出现低曝光处细节丢失且颜色失真饱和度不佳导致视觉观感下降的问题,提出一种多尺度权重评估的MSRCR（Multi-Scale Retinex with Color Restoration,MSRCR）混合曝光融合算法。基于Retinex模型将待融合图像分解为亮度分量与反射光分量,对亮度分量结合ACES函数构造光照补偿归一化函数进行处理,对反射光分量加入颜色恢复函数提升色彩细节;分别从曝光量、饱和度、对比度、色域四个尺度设计图像融合权重值,通过多尺度评估优化融合比例;利用Laplacian金字塔融合算法进行多尺度权重融合获得最终图像。实验结果表明,与传统的图像融合算法相比,该算法处理效果较好,有效降低了暗处失真率,提升了视觉信息保真度。     

基于人眼视觉特性的云雾图像增强方法

针对云雾图像对比度低、照度低、色彩失真、边缘模糊的问题,提出一种基于人眼视觉特性的云雾图像增强方法。采用二维经验模式分解方法,得到多个不同尺度的内蕴模式函数图像和一个趋势图像,根据视觉适应模型对分解所得的内蕴模式函数图像和趋势图像进行调整,将人眼视觉特性融入其中。实验结果表明,增强后的图像照度、对比度适中,更适合人眼观察。     

基于亮度评估技术的特征增强衍生图融合算法

针对由动态范围,光照条件,图像捕获设备等因素获得的低亮度图像,提出了一种基于亮度评估技术的特征增强衍生图融合算法来实现亮度较暗图像的对比度调整和特征增强.首先,利用亮度评估技术对低亮度图像的亮度进行评估优化处理,得到曝光率映射;然后,结合曝光率映射和改进的卡方分布函数模型来获取两幅特征增强的衍生图进行融合.最后,利用改进的衍生图融合算法得到最终融合图像.实验结果表明,所提算法的亮度误差,视觉信息保真度,图像互信息等评估参数优于近期方法,在提升图像对比度同时保留了图像良好曝光率区域,并较好地恢复了低亮度区域的边缘以及纹理等细节信息.     

语义分割和HSV色彩空间引导的低光照图像增强

目的 低光照图像增强是图像处理中的基本任务之一。虽然已经提出了各种方法,但它们往往无法在视觉上产生吸引人的结果,这些图像存在细节不清晰、对比度不高和色彩失真等问题,同时也对后续目标检测、语义分割等任务有不利影响。针对上述问题,提出一种语义分割和HSV（hue,saturation and value）色彩空间引导的低光照图像增强方法。方法 首先提出一个迭代图像增强网络,逐步学习低光照图像与增强图像之间像素级的最佳映射,同时为了在增强过程中保留语义信息,引入一个无监督的语义分割网络并计算语义损失,该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题,在训练时利用HSV色彩空间设计HSV损失;为了解决低光照图像增强中出现细节不清晰的问题,设计了空间一致性损失,使增强图像与对应的低光照图像尽可能细节一致。最终,本文的总损失函数由5个损失函数组成。结果 将本文方法与LIME（low-light image enhancement）、RetinexNet（deep retinex decomposition）、EnlightenGAN（deep light enhancement using generative adversarial networks）、Zero-DCE（zero-reference deep curve estimation）和SGZ（semantic-guided zero-shot learning）5种方法进行了比较。在峰值信噪比（peak signal-to noise ratio,PSNR）上,本文方法平均比Zero-DCE（zero-reference deep curve estimation）提高了0.32dB;在自然图像质量评价（natural image quality evaluation,NIQE）方面,本文方法比EnlightenGAN提高了6%。从主观上看,本文方法具有更好的视觉效果。结论 本文所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题,具有一定的应用价值。     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

多级分解的Retinex低照度图像增强算法

针对现有算法对图像边缘细节增强不足及无法有效控制各尺度信息增强程度的问题,提出了多级分解的Retinex低照度图像增强算法。该算法在Retinex分解模型和双边滤波的基础上,通过设置不同的滤波参数,获取表征图像不同尺度信息的反射分量和照度分量;通过使用指数函数对分解得到的各级反射分量进行增强,能够有效提升图像边缘细节的表达能力;通过使用S型函数对最终的照度分量进行处理,能够在提升低照度图像整体亮度的同时抑制高亮度区域;通过颜色恢复函数对增强图像进行后处理,进一步避免色彩偏差和失真的问题。实验结果表明,新算法能够改善低照度图像的视觉质量,在清晰度、信息熵、对比度等指标方面都有所提升。     

改进融合策略下透明度引导的逆光图像增强

目的 针对传统的逆光图像增强算法存在的曝光正常区域与逆光区域间阈值计算复杂、分割精度不足、过度曝光以及增强不足等问题,提出一种改进融合策略下透明度引导的逆光图像增强算法。方法 对逆光图像在HSV(hue, saturation, value)空间中的亮度分量进行亮度提升和对比度增强,然后通过金字塔融合策略对改进的亮度分量进行分解和重构,恢复逆光区域的细节和颜色信息。此外,利用深度抠图网络计算透明度蒙版,对增强的逆光区域与源图像进行融合处理,维持非逆光区域亮度不变。通过改进融合策略增强的图像在透明度引导下既有效恢复了逆光区域又避免了曝光过度的问题。结果 实验在多幅逆光图像上与直方图均衡算法、MSR (multi-scale Retinex)、Zero-DEC (zero-reference deep curve estimation)、AGLLNet (attention guided low-light image enhancement)和LBR (learning-based restoration) 5种方法进行了比较,在信息熵(information entropy,IE)和盲...     

低光照图像增强算法综述

低光照图像增强旨在提高光照不足场景下捕获数据的视觉感知质量以获取更多信息,逐渐成为图像处理领域中的研究热点,在自动驾驶、安防等人工智能相关行业中具有十分广阔的应用前景。传统的低光照图像增强技术往往需要高深的数学技巧以及严格的数学推导,且导出的迭代过程普遍流程复杂,不利于实际应用。随着大规模数据集的相继诞生,基于深度学习的低光照图像增强已经成为当前的主流技术,然而此类技术受限于数据分布,存在性能不稳定、应用场景单一等问题。此外,在低光照环境下的高层视觉任务(如目标检测)对于低光照图像增强技术的发展带来了新的机遇与挑战。本文从3个方面系统地综述了低光照图像增强技术的研究现状。介绍了现有低光照图像数据集,详述了低光照图像增强技术的发展脉络,通过对比低光照图像增强质量与夜间人脸检测精度,进一步对现有低光照增强技术进行了全面评估与分析。基于对上述现状的探讨,结合实际应用,本文指出当前技术的局限性,并对其发展趋势进行预测。     

极端低光情况下的图像增强方法

针对极端低光情况下的图像增强问题,提出一种基于编码解码网络和残差网络的 端到端的全卷积网络模型。设计一个包括编码解码网络和精细网络2 部分的端到端的全卷积网 络模型作为转换网络,直接处理短曝光图像的光传感器数据得到RGB 格式的输出图像。该网 络包含对抗思想、残差结构和感知损失,先通过对极低光图像编码解码重构图像的低频信息, 之后将重构的低频信息输入残差网络中进而重构出图像的高频信息。在SID 数据集上进行实验 验证,结果表明,该方法有效地提高了极端低光情况下拍摄得到的图像进行低光增强之后的视 觉效果,增加了细节表达,使得图像中物体的纹理更加清楚和边缘更加分明。     

基于亮度分区模糊融合的高动态范围成像算法

针对单幅图像生成高动态范围（HDR）图像进行直方图扩展时,造成的色彩失真、局部细节信息丢失的问题,提出了一种基于亮度分区融合的高动态范围图像成像算法。首先,提取正常曝光彩色图像的亮度分量,根据亮度阈值将亮度分成两个区间;然后,对两个区间的图像用改进的指数函数扩展其亮度范围,使得低亮度区域的亮度增加、范围扩大,高亮度区域的亮度减小、范围扩大,从而增大图像的整体对比度,保留色彩和细节信息;最后,将扩展后的图像和原始正常曝光的图像基于模糊逻辑的方法融合为高动态图像。分别从主观和客观两方面对所提算法进行了分析。实验结果表明,所提算法能够有效地扩展图像的亮度范围,并保持场景的颜色信息和细节信息,生成的图像视觉效果更佳。     

应用雾天退化模型的低照度图像增强

目的 针对目前低照度图像增强算法存在噪声敏感、易饱和等现象,提出了一种基于雾天退化模型的低照度图像间接增强算法。方法 首先将低照度图像反转成为拟雾图;拟雾图与真实雾天图像有所不同,一是通常具有大面积明亮区域,二是大气光值较高。对于大面积明亮区域,暗原色先验理论并不适用,不容易精确估计相应透射率,因此,提出利用卷积神经网络求解透射率的方法;又针对全局大气光值易出现饱和现象,提出使用局部大气光值代替全局大气光值,从而得到大气光图;之后,利用导向滤波对透射率图和大气光图进行修正;最后基于大气散射模型还原出无雾图像,再次反转无雾图像得到低照度图像的增强结果。结果 设计了3组实验,第1组实验为各算法的主观对照,第2组实验从客观指标上对各算法进行比较分析,第3组为实验透射率与大气光值的组合对照实验。结果表明,无论是与Retinex和MSRCR（multi-scale retinex with color restoration）为代表的直接增强算法比较,还是与基于He算法的间接增强等算法相比,本文算法在平均梯度、信息熵、峰值信噪比上均表现良好,且本文算法峰值信噪比平均比次优结果高了2.6 dB,相对应的方差较小,可以有效提高视觉效果,不仅有效提升了低照度图像的亮度,又避免了明显的颜色失真、曝光过度等现象。结论 通过定性及定量的实验结果表明,本文算法不仅提高了视觉效果,且场景适应能力较强,能很好地增强室内和室外的低照度图像,且本文算法运行时间中等,若结合cuda技术,还可用于监控视频的实时增强。     

基于人眼视觉特性的快速单幅图像去雾算法

为从降质图像中去除天气的影响,提出一种快速的图像去雾算法。该算法基于二色大气散射模型,针对雾天图像的亮度分布特点以及人眼的视觉特性,首先采用亮度分量来估计粗略传输图,然后采用线性空域滤波对粗略传输图进行细化处理,并利用大气散射模型得到复原图像,最后采用基于人眼视觉特性的拟合函数对复原图像进行亮度调节,使恢复的图像更自然、清晰。大量实验结果表明,该算法恢复的图像在对比度、信息熵和运算时间等客观评价标准上都优于现存算法,具有良好的视觉效果。