语义分割和HSV色彩空间引导的低光照图像增强

目的 低光照图像增强是图像处理中的基本任务之一。虽然已经提出了各种方法,但它们往往无法在视觉上产生吸引人的结果,这些图像存在细节不清晰、对比度不高和色彩失真等问题,同时也对后续目标检测、语义分割等任务有不利影响。针对上述问题,提出一种语义分割和HSV（hue,saturation and value）色彩空间引导的低光照图像增强方法。方法 首先提出一个迭代图像增强网络,逐步学习低光照图像与增强图像之间像素级的最佳映射,同时为了在增强过程中保留语义信息,引入一个无监督的语义分割网络并计算语义损失,该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题,在训练时利用HSV色彩空间设计HSV损失;为了解决低光照图像增强中出现细节不清晰的问题,设计了空间一致性损失,使增强图像与对应的低光照图像尽可能细节一致。最终,本文的总损失函数由5个损失函数组成。结果 将本文方法与LIME（low-light image enhancement）、RetinexNet（deep retinex decomposition）、EnlightenGAN（deep light enhancement using generative adversarial networks）、Zero-DCE（zero-reference deep curve estimation）和SGZ（semantic-guided zero-shot learning）5种方法进行了比较。在峰值信噪比（peak signal-to noise ratio,PSNR）上,本文方法平均比Zero-DCE（zero-reference deep curve estimation）提高了0.32dB;在自然图像质量评价（natural image quality evaluation,NIQE）方面,本文方法比EnlightenGAN提高了6%。从主观上看,本文方法具有更好的视觉效果。结论 本文所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题,具有一定的应用价值。     

图像分解与色彩先验下的多曝光图像融合

目的 多曝光图像融合（multi-exposure fusion，MEF）是利用一组不同曝光度的低动态范围（low dynamic range，LDR）图像进行合成，得到类似高动态范围（high dynamic range，HDR）图像视觉效果图像的过程。传统多曝光图像融合在一定程度上存在图像细节信息受损、边界不清晰以及部分色彩失真等问题。为了充分综合待融合图像的有效信息，提出了一种基于图像分解和色彩先验的双尺度多曝光图像融合方法。方法 使用快速导向滤波进行图像分解，分离出细节层对其进行增强处理，保留更多的细节信息，同时减少融合图像的光晕伪影；根据色彩先验，利用亮度和饱和度之差判断图像曝光程度，并联合亮度与饱和度之差以及图像对比度计算多曝光图像融合权重，同时保障融合图像的亮度和对比度；利用导向滤波对权重图进行优化，抑制噪声，增加像素之间的相关性，提升融合图像的视觉效果。结果 在24组多曝光图像序列上进行实验，从主观评价角度来看，该融合方法能够提升图像整体对比度及色彩饱和度，并兼顾过曝光区域和欠曝光区域的细节提升。从客观评价标准分析，采用两种不同的多曝光图像序列融合结果的质量评估算法，评价结果显示融合性能均有所提高，对应的指标均值分别为0.982和0.970。与其他对比算法的数据结果比较，在两种不同的结构相似性指标上均有所提升，平均提升分别为1.2%和1.1%。结论 通过主观和客观评价，证实了所提方法在图像对比度、色彩饱和度以及细节信息保留的处理效果十分显著，具有良好的融合性能。     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

YCbCr空间分治的双分支低照度图像增强网络

目的 现有的低照度图像增强算法通常在RGB颜色空间采用先增强后去噪的方式提升对比度并抑制噪声,由于亮度失真和噪声在RGB颜色空间存在复杂的耦合关系,往往导致增强结果不理想。先增强后去噪的方式也放大了原本隐藏在黑暗中的噪声,使去噪变得困难。为有效处理亮度失真并抑制噪声,提出了一个基于YCbCr颜色空间的双分支低照度图像增强网络,以获得正常亮度和具有低噪声水平的增强图像。方法 由于YCbCr颜色空间可以分离亮度信息与色度信息,实现亮度失真和噪声的解耦,首先将低照度图像由RGB颜色空间变换至YCbCr颜色空间,然后设计一个双分支增强网络,该网络包含亮度增强模块和噪声去除模块,分别对亮度信息和色度信息进行对比度增强和噪声去除,最后使用亮度监督模块和色度监督模块强化亮度增强模块和噪声去除模块的功能,确保有效地提升对比度和去除噪声。结果 在多个公开可用的低照度图像增强数据集上测试本文方法的有效性,对比经典的低照度图像增强算法,本文方法生成的增强图像细节更加丰富、颜色更加真实,并且含有更少噪声,在LOL（low-light dataset）数据集上,相比经典的KinD++（kindling the darkness）,峰值信噪比（peak signal-to-noise ratio,PSNR）提高了3.09 dB,相比URetinex（Retinex-based deep unfolding network）,PSNR提高了2.74 dB。结论 本文提出的空间解耦方法能够有效地分离亮度失真与噪声,设计的双分支网络分别用于增强亮度和去除噪声,能够有效地解决低照度图像中亮度与噪声的复杂耦合问题,获取低噪声水平的亮度增强图像。     

融合注意力机制和上下文信息的微光图像增强

目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低。针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法。方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成。由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力。此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果。结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰。在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知相似度(perceptual image patch similarity,LPIPS)等客观指标上,本文方法较其他方法的最优值分别提高了0.74 dB、0.153和0.172。结论 本文方法能有效解决微光图像存在的曝光不足、噪声干扰和颜色不一致等问题,具有一定应用价值。     

一种多图像局部结构化融合的低照度图像增强算法EI北大核心CSCD

为将低照度图像及基于它生成的多个不同曝光度图像中的互补性信息进行最佳融合以获得更为鲁棒的视觉增强效果,提出了一种基于多图像局部结构化融合的两阶段低照度图像增强(Low-light image enhancement,LLIE)算法.在待融合图像制备阶段,提出了一种基于图像质量评价的最佳曝光度预测模型,利用该预测模型给出的关于低照度图像最佳曝光度值,在伪曝光模型下生成适度增强图像和过曝光图像(利用比最佳曝光度值更高的曝光度生成)各一幅.同时,利用经典Retinex模型生成一幅适度增强图像作为补充图像参与融合.在融合阶段,首先将低照度图像、适度增强图像(2幅)和过曝光图像在同一空间位置处的图块矢量化后分解为对比度、结构强度和亮度三个分量.之后,以所有待融合对比度分量中的最高值作为融合后的对比度分量值,而结构强度和亮度分量则分别以相位一致性映射图和视觉显著度映射图作为加权系数完成加权融合.然后,将分别融合后的对比度、纹理结构和亮度三个分量重构为图块,并重新置回融合后图像中的相应位置.最后,在噪声水平评估算法导引下自适应调用降噪算法完成后处理.实验结果表明:所提出的低照度图像增强算法在主客观图像质量评价上优于现有大多数主流算法.     

改进双边滤波Retinex的多聚焦图像融合

目的 针对传统Retinex算法存在的泛灰、光晕、边界突出以及高曝光区域细节增强不明显的现象,将Retinex和多聚焦融合的思想融合在一起,提出一种基于Retinex的改进双边滤波的多聚焦融合算法。方法 首先根据图像情况在像素级层次将反射图像分解为最优亮暗区域两部分,然后利用线性积分变换和邻近像素最优推荐算法,将原始图像与最优亮区域多聚焦融合得到图像T,再将图像T与最优暗区域重复以上步骤得到图像S,最后利用引导滤波进行边界修复得到最终图像。结果 选择两组图像girl和boat进行实验,与SSR（single scale Retinex）、BSSR（Retinex algorithm based on bilateral filtering）、BIFT（Retinex image enhancement algorithm based on image fusion technology）和RVRG（Retinex variational model based on relative gradient regularization and its application）4种方法进行对比,本文方法在方差和信息熵两方面表现出明显优势。在均值方面,比BIFT和RVRG分别平均提高16.37和20.90;在方差方面,比BIFT和RVRG分别平均提高1.25和4.42;在信息熵方面,比BIFT和RVRG分别平均提高0.1和0.17;在平均梯度方面,比BIFT和RVRG分别平均提高1.21和0.42。对比BIFT和RVRG的实验数据,证明了本文方法的有效性。结论 实验结果表明,相比较其他图像增强算法,本文算法能更有效抑制图像的泛灰、光晕和边界突出现象,图像细节增强效果特别显著。     

自适应双向保带宽对数变换及低照度图像增强

目的 在低照度环境下,由于受图像采集设备的限制,导致获取到的图像往往亮度低、对比度差。针对这一问题,提出一种自适应双向保带宽对数变换的增强算法。方法 首先通过标准化变换将低照度图像处理成标准化图像,然后根据标准化图像的平均亮度进行自适应双向保带宽对数变换,最后对图像取整输出,从而得到增强后的图像。结果 实验选用LIVE database release2标准库中29幅高质量图像作为参考图像,然后经Photoshop CS5统一处理成低照度图像,使用本文算法对其增强,并与直方图均衡化（HE）、多尺度Retinex增强（MSR）、自然保持的增强算法（NPEA）的结果进行比较。本文算法增强后的图像其整体对比度和亮度在主观上都有较大提高,增强效果优于其他3种方法;同时,本文算法峰值信噪比（PSNR）和结构相似度（SSIM）客观指标平均值分别为22.75和0.86,明显高于其他3种算法。另外,在算法运行效率方面,本文算法平均运行时间也较短,约为74 ms。结论 本文算法增强后的图像更自然、更符合人眼视觉特性,且算法简单易于实现,运行效率高。该算法广泛适用于背光或光照不均的低照度环境下的图像增强。     

暗通道先验的大坝水下裂缝图像增强算法

目的 大坝水下裂缝图像存在非均匀亮度、低信噪比、低对比度等复杂情况,导致裂缝特征提取极为困难,本文提出一种改进暗通道先验的大坝水下裂缝图像自适应增强算法。方法 首先对非均匀光照图像进行全局匀光处理和噪声抑制处理,在保护纹理信息的同时消除亮度分布不均的问题;其次改进暗通道先验理论,结合导向滤波方法,精确估算去噪恢复图像;然后对去噪恢复图像进行基于概率分布理论3σ原则的自适应分段线性增强;最后对增强图像从均值、方差、峰值信噪比、对比度和信息熵等方面进行整体定量评价。结果 选取了2幅典型的水下光照不均匀大坝裂缝图像作为研究对象,采用本文提出的方法进行图像增强处理。将本文算法的增强效果与直方图均衡化、同态滤波、多尺度视网膜增强算法（MSR）以及带色彩恢复的多尺度视网膜增强算法（MSRCR）的增强效果进行对比分析。为了测试本文方法的鲁棒性,对原图像增加椒盐噪声信号和高斯噪声信号,评估本文算法对包含确定分布噪声的抗干扰能力。本文方法相比以上其它方法,具有最好的增强效果,对2幅原始图像对应增强图像的峰值信噪比（PSNR）分别为42.77和41.49。结论 仿真实验结果表明,本文方法能有效抑制水下图像噪声干扰,增强大坝水下裂缝图像的清晰度。本文方法对不同光照条件下大坝水下裂缝图像增强有很强的自适应性,对水下裂缝图像增强处理有效可行。     

采用双尺度图像分解的水下彩色图像增强

目的 为解决水下图像的色偏和低对比度等问题,提出一种基于双尺度图像分解的水下彩色图像增强算法。方法 通过基于均值和方差的对比度拉伸方法改善图像的色偏问题,并利用中值滤波降低红通道对比度拉伸后引入的噪声;采用双尺度图像分解绿通道图像补偿红通道图像细节;在处理后的红通道图像中引入原始图像红通道的真实细节与颜色。结果 选取不同水下图像作为实验数据集,将本文方法与暗通道先验的方法、基于融合的方法、自动红通道恢复方法以及一种基于卷积神经网络深度学习的方法相比较,首先从主观视觉效果进行定性分析,然后通过不同评测指标进行定量分析。主观定性分析结果表明,提出的方法相比较其他方法能够更好地解决图像色偏和红色阴影问题;定量分析中,自然图像质量评价（natural image quality evaluation,NIQE）指标和信息熵（information entropy,IE）值较基于融合的方法和深度学习的方法分别提高了1.8%和13.6%,且水下图像质量评价指标（underwater image quality measurement method,UIQM）较其他方法更优。结论 提出的双尺度图像分解方法利用水下图像成像特点解决图像色偏以及低对比度问题,具有良好的适应能力,同时算法复杂度低且鲁棒性较高,普遍适用于复杂的水下彩色图像增强。     

结合内外先验知识的低照度图像增强与去噪算法

目的 现有大多数低照度图像增强算法会放大噪声,且用于极低照度图像时会出现亮度提升不足、色彩失真等问题。为此,提出一种基于Retinex(retina cortex)的增强与去噪方法。方法 为了增强极低照度图像,首先利用暗通道先验原理估计场景的全局光照,若光照低于0.5,对图像进行初始光照校正;其次,提出一种Retinex顺序分解模型,使低照度图像中的噪声均体现在反射分量中,基于分解结果,利用Gamma校正求取增强后的噪声图像;最后,提出一种基于内外双重互补先验约束的去噪机制,利用非局部自相似性原理为反射分量构建内部先验约束,基于深度学习,为增强后的噪声图像构建外部先验约束,使内外约束相互制约。结果 将本文算法与6种算法比较,在140幅普通低照度图像和162幅极低照度图像上（有正常曝光参考图像）进行主观视觉和客观指标评价比较,结果显示本文方法在亮度提升、色彩保真及去噪方面均有明显优势,对于普通低照度图像,BTMQI(blind tone-mapped quality index)和NIQE(natural image quality evaluator)指标均取得次优值,对于极低照度图像...     

沙尘图像色彩恢复及增强卷积神经网络

目的 在沙尘天气条件下,由于大气中悬浮微粒对入射光线的吸收和散射,户外计算机视觉系统所采集图像通常存在颜色偏黄失真和低对比度等问题,严重影响户外计算机视觉系统的性能。为此,提出一种带色彩恢复的沙尘图像卷积神经网络增强方法,由一个色彩恢复子网和一个去尘增强子网组成。方法 采用提出的色彩恢复子网(sand dust color correction, SDCC)校正沙尘图像的偏色,将颜色校正后的图像作为条件,输入到由自适应实例归一化残差块组成的去尘增强子网中,对沙尘图像进行增强处理。本文还提出一种基于物理光学模型的沙尘图像合成方法,并采用该方法构建了大规模的配对沙尘图像数据集。结果 对大量沙尘图像的实验结果表明,所提出的沙尘图像增强方法能很好地去除图像中的偏色和沙尘,获得正常的视觉颜色和细节清晰的图像。进一步的对比实验表明,该方法能取得优于对比方法的增强图像。结论 本文所提出的沙尘图像增强方法能很好地消除整体的黄色色调和尘霾现象,获得正常的视觉色彩和细节清晰的图像。     

烧结断面火焰图像退化模型及断面图像复原

目的 图像复原是基于物理模型提高退化图像质量的一种客观方法,复原图像无失真且细节丰富。烧结机尾断面火焰图像可以反映料层的烧结状态,对烧结矿质量的检测起到至关重要的作用。由于烧结机尾环境恶劣,存在大量的烟气、粉尘以及亮度不均等干扰因素,导致相机采集到的烧结断面火焰图像存在退化现象。为消除这些影响,本文建立了烧结断面火焰图像退化模型,提出了有效的烧结断面火焰图像复原算法。方法 基于大气散射模型,采用一级多散射方法对烟尘多次散射过程进行简化,建立烧结断面火焰图像退化模型,依据Retinex理论,将场景成像分解为环境光照射分量与反射率的乘积,明确复原图像所求参数。1）求取原始图像亮度,利用Retinex理论分解原始图像,使用双边滤波来调整亮度图像,采用Sigmoid函数对反射图像进行增强,得到亮度平衡后新的烧结断面火焰图像;2）利用暗通道原理估计环境光值,结合引导滤波细化图像透射率分布;3）采用容差机制改进火焰区域的透射率,得到复原图像。结果 使用本文方法对单幅图像进行复原并与其他4种方法进行主客观评价,结果表明本文得到的复原图像亮度均衡,火焰区域细节清晰并且与烧结料层区别明显,在保持较高图像对比度的同时,图像信息熵和峰值信噪比分别为17.532 bit与22.127 dB,相比其他算法明显提高。结论 本文研究了烧结断面火焰图像的退化模型,提出有效的复原算法,实现了Retinex理论与暗通道原理的有机结合,复原图像质量较高,为烧结火焰特征准确提取打下基础。     

基于模糊理论的低照度彩色图像增强算法

低照度彩色图像存在整体亮度低、对比度差、颜色偏暗和信噪比低等特点,传统图像增强算法对其增强效果非常有限。提出了一种基于模糊理论的低照度彩色图像增强算法,将三原色(red,green,blue,RGB)图像转换成色相饱和度(HSV)图像,以保证增强处理不引起图像的色彩失真。对亮度图像进行非线性变化,实现动态范围展宽;采用修正后的隶属度函数将图像映射到模糊平面,实现对比度增强。实验结果表明:该算法显著地提高了图像整体亮度和对比度,改善了低照度彩色图像的视觉效果。     

基于增强型无参考质量评价的序列图像自动选优策略*

针对序列图像,提出了增强型无参考质量评价的图像自动选优策略。首先在详细介绍SSEQ、NIQE和BIQI三种经典的无参考图像质量评价方法优缺点的基础上,提出了加权的质量评价策略以对序列图像进行自动选优。其次为了加快权重寻优的过程,提出了基于粒子群优化的PSO-WNRIQA算法。最后为了评估算法的性能,提出失序数比例DNR和失序对数DCNR作为算法评价标准。通过对LIVE Release2图像库中的实验结果表明,在jp2k失真、jpeg失真、高斯模糊失真和快速瑞利衰减失真图像的自动评优过程中,本文的策略相对SSEQ、NIQE和BIQI具有更优的性能,评价的准确性更高。能够应用于较大规模序列图像的自动质量评价。     

面部美化图像质量无参考评价方法

针对目前面部美化已被广泛研究,然而缺乏有效美化图像质量评价方法限制美化技术进一步发展的问题,提出一种面部美化图像质量的无参考评价方法。该方法结合面部美感的认知与感知和面部美化技术以挖掘美化图像的质量表示,首先构建面部美化图像数据库,将面部图像分解为皮肤、眼睛和嘴巴三种区域,然后从肤色、光滑度、光照、灰度差和清晰度等五个方面提取面部美学特征,最后用支持向量回归（SVR）训练面部美化质量模型并预测美化图像的质量。实验结果表明,所提方法在构建的数据库上Pearson线性相关系数和Spearman等级相关系数分别达到0.920 5和0.900 9,优于BIQI（Blind Image Quality Indices）、NIQE（Natural Image Quality Evaluation）图像质量评价方法。