基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

多级分解的Retinex低照度图像增强算法

针对现有算法对图像边缘细节增强不足及无法有效控制各尺度信息增强程度的问题,提出了多级分解的Retinex低照度图像增强算法。该算法在Retinex分解模型和双边滤波的基础上,通过设置不同的滤波参数,获取表征图像不同尺度信息的反射分量和照度分量;通过使用指数函数对分解得到的各级反射分量进行增强,能够有效提升图像边缘细节的表达能力;通过使用S型函数对最终的照度分量进行处理,能够在提升低照度图像整体亮度的同时抑制高亮度区域;通过颜色恢复函数对增强图像进行后处理,进一步避免色彩偏差和失真的问题。实验结果表明,新算法能够改善低照度图像的视觉质量,在清晰度、信息熵、对比度等指标方面都有所提升。     

基于端到端双网络的低照度图像增强方法

由于环境的不确定性,捕获的图像存在亮度低、对比度低和信息丢失严重等问题,且利用现存算法增强后的图像存在曝光过度问题,不能满足计算机视觉任务的输入要求。针对此问题,提出了基于端到端双网络的低照度图像增强方法,该网络由Inception网络模块与URes-Net模块组成。首先利用Retinex理论合成低照度图像样本;然后运用双网络模型进行特征提取、特征融合与重建,根据测试集的损失不断调整参数以优化模型,最终使双网络模型具有较高的低照度图像增强能力。实验结果表明,所提方法的PSNR和SSIM的均值分别为28.659 8 dB和0.896 6,亮度、对比度显著提高,获得的图像更加符合人类视觉,优于其他先进的低照度图像增强方法。     

基于局部生成对抗网络的水上低照度图像增强

针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题,提出一种基于局部生成对抗网络的图像增强方法.以残差网络作为基本框架设计生成器,通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征,从而减少结构信息丢失.设计一个自编码器作为注意力网络,估计图像中的光照分布并指导图像不同亮度区域的自适应增强.构建...     

局部与全局相融合的孪生低照度视频增强网络

在低照度环境下拍摄到的视频往往有对比度低、噪点多、细节不清晰等问题, 严重影响后续的目标检测、分割等计算机视觉任务. 现有的低照度视频增强方法大都是基于卷积神经网络构建的, 由于卷积无法充分利用像素之间的长程依赖关系, 生成的视频往往会有部分区域细节丢失、颜色失真的问题. 针对上述问题, 提出了一种局部与全局相融合的孪生低照度视频增强网络模型, 通过基于可变形卷积的局部特征提取模块来获取视频帧的局部特征, 并且设计了一个轻量级自注意力模块来捕获视频帧的全局特征, 最后通过特征融合模块对提取到的局部特征和全局特征进行融合, 指导模型能生成颜色更真实、更具细节的增强视频. 实验结果表明, 本方法能有效提高低照度视频的亮度, 生成颜色和细节都更丰富的视频, 并且在峰值信噪比和结构相似性等评价指标中也都优于近几年提出的方法.     

基于Dark-YOLO的低照度目标检测方法EI北大核心CSCD

在复杂的低照度环境中获取的图像存在亮度低、噪声多和细节信息丢失等问题,直接使用通用的目标检测方法无法达到较为理想的效果.为此,提出低照度目标检测方法——Dark-YOLO.首先,使用CSPDarkNet-53骨干网络提取低照度图像特征,并提出路径聚合增强模块以进一步增强特征表征能力;然后,设计金字塔平衡注意力模块捕获多尺度特征并加以有效利用,生成包含不同尺度且更具判别力的特征;最后,使用预测交并比(intersection over union,IoU)改进检测头,IoU预测分支为每个预测框预测IoU值,使得目标定位更加准确.在ExDark数据集上的实验结果表明,相较于YOLOv4,均值平均精度(mAP)提升了4.10%,Dark-YOLO方法能够有效地提高在低照度场景下目标检测的性能.     

PNet：融合注意力机制的多级低照度图像增强网络

低照度图像存在亮度低、噪声伪影、细节丢失、颜色失真等退化问题,使得低照度图像增强成为一个多目标增强任务。现有多数增强算法不能很好地在多个增强目标上取得综合的性能,对此,提出PNet——融合注意力机制的多级低照度图像增强网络模型,通过构建多级串联增强任务子网,结合注意力机制设计多通道信息融合模块进行有效特征筛选及记忆,网络以序列方式处理图像流,协同渐进式完成图像全局自适应亮度提升、噪声伪影抑制、细节恢复、颜色矫正等多任务。此外,通过与现有主流算法进行定量及定性分析对比,结果显示该方法能实现自适应图像亮度增强、细节对比度提升,增强后图像整体亮度自然,没有明显光晕及伪影且色彩较丰富真实,在PSNR、SSIM、RMSE指标中较次优算法分别提升0.229、0.112、0.335。实验结果表明,该方法在低照度图像增强的多目标任务上取得了综合较优秀的表现,具有一定的应用价值。     

人眼视觉感知驱动的梯度域低照度图像对比度增强

针对传统的对比度增强方法在对低照度图像进行处理时不能同时顾及压缩动态范围、调整亮度以及增强或保持细节等问题,提出一种基于人眼视觉感知特性的、从全局亮度映射到局部细节补偿的低照度图像对比度增强方法.首先通过非线性全局亮度映射模型压缩图像的动态范围,提高图像的整体亮度水平;然后结合人眼视觉系统的亮度掩蔽特性和超阈值对比度感知特性,非线性地调整图像的局部梯度场增强和恢复图像的局部细节;最后在目标梯度场上通过快速求解泊松方程获取增强后的图像.实验结果表明,该方法能够有效地增强低照度图像的全局和局部对比度,提升了低照度图像的视见度.     

结合特征增强和多尺度感受野的低照度目标检测

低照度图像普遍存在噪声、颜色失真和低对比度等图像退化问题,不仅影响视觉体验,而且严重影响低照度目标检测精度.为了更好地完成低照度目标检测任务,提出一种结合特征增强和多尺度感受野（feature enhancement and multi-scale receptive field, FEMR）的低照度目标检测算法.首先,像素级高阶映射（pixel-level high-order mapping, PHM）模块学习低照度到正常照度的高阶映射关系,进而提高低照度目标特征显著性,从而获得初步增强的特征信息.然后,关键信息增强（key information enhancement, KIE）模块结合多种注意力机制,突出重要特征并过滤噪声信息,获得进一步增强的特征信息.此外,长距离特征捕获（long distance feature capture, LFC）模块引入多种尺度的条状感受野,捕获低照度场景中孤立区域的长距离关系.实验表明,所提算法在低照度目标检测精度方面具有较好的表现,同时能直接输出正常照度风格图像下的检测结果,实现端到端的低照度目标检测,便于人眼直接评估检测结果的精度.     

基于亮度传播图的低照度图像增强算法

由于低照度图像的整体亮度比较暗、动态范围低、噪声大等特点,提出一种基于亮度传播图的低照度图像增强算法。考虑到低照度图像增强的同时也会放大噪声,因此在增强图像之前对图像进行去噪处理。使用BM3D在YCb Cr空间对图像进行去噪之后,在HSI空间对图像进行增强,利用亮度分量估计亮度传播图,利用物理模型还原低照度图像。实验表明该方法能够快速有效地提高低照度图像的整体亮度和对比度,增强图像的细节并减少噪声,得到视觉效果良好的图像。     

融合注意力机制和上下文信息的微光图像增强

目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低。针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法。方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成。由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力。此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果。结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰。在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知...     

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.     

基于顶帽底帽变换的仿生图像增强算法

针对低照度图像对比度低、细节模糊、色彩饱和度低的问题,通过分析人眼的主观亮度感受和光照强度的非线性关系以及人眼的视网膜神经节细胞中感受野的传输特性,提出一种顶帽变换和底帽变换相结合的仿生图像增强算法。首先,将低照度图像的RGB色彩空间转换为HSV空间,对亮度分量进行全局亮度对数变换;其次,采用视网膜神经元感受野三高斯模型对图像局部边缘的对比度进行调整;最后,用顶帽变换和底帽变换辅助对较亮背景的提取。实验结果表明,所提算法增强的低照度图像不仅细节清楚、对比度高,同时还没有设备采集图像存在的光照不均匀和图像景深的问题,而且增强后的图像色彩饱和度高,具有很强的视觉感受效果。     

基于GAN和U-Net的低光照图像增强算法

夜间、低光照等条件下的产生的图像数据,存在画面过暗、细节丢失的问题,对理解图像内容、提取图像特征造成阻碍.研究针对此类图像的增强方法,恢复图像的亮度、对比度和细节,在数字摄影、上游计算机视觉任务中有着重要的应用价值.本文提出一种基于U-Net的生成对抗网络,生成器采用带有混合注意力机制的U-Net模型,其中混合注意力模...     

语义分割和HSV色彩空间引导的低光照图像增强

目的 低光照图像增强是图像处理中的基本任务之一。虽然已经提出了各种方法,但它们往往无法在视觉上产生吸引人的结果,这些图像存在细节不清晰、对比度不高和色彩失真等问题,同时也对后续目标检测、语义分割等任务有不利影响。针对上述问题,提出一种语义分割和HSV（hue,saturation and value）色彩空间引导的低光照图像增强方法。方法 首先提出一个迭代图像增强网络,逐步学习低光照图像与增强图像之间像素级的最佳映射,同时为了在增强过程中保留语义信息,引入一个无监督的语义分割网络并计算语义损失,该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题,在训练时利用HSV色彩空间设计HSV损失;为了解决低光照图像增强中出现细节不清晰的问题,设计了空间一致性损失,使增强图像与对应的低光照图像尽可能细节一致。最终,本文的总损失函数由5个损失函数组成。结果 将本文方法与LIME（low-light image enhancement）、RetinexNet（deep retinex decomposition）、EnlightenGAN（deep light enhancement using generative adversarial networks）、Zero-DCE（zero-reference deep curve estimation）和SGZ（semantic-guided zero-shot learning）5种方法进行了比较。在峰值信噪比（peak signal-to noise ratio,PSNR）上,本文方法平均比Zero-DCE（zero-reference deep curve estimation）提高了0.32dB;在自然图像质量评价（natural image quality evaluation,NIQE）方面,本文方法比EnlightenGAN提高了6%。从主观上看,本文方法具有更好的视觉效果。结论 本文所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题,具有一定的应用价值。     

多特征融合的文档图像版面分析

目的 在文档图像版面分析上,主流的深度学习方法克服了传统方法的缺点,能够同时实现文档版面的区域定位与分类,但大多需要复杂的预处理过程,模型结构复杂。此外,文档图像数据不足的问题导致文档图像版面分析无法在通用的深度学习模型上取得较好的性能。针对上述问题,提出一种多特征融合卷积神经网络的深度学习方法。方法 首先,采用不同大小的卷积核并行对输入图像进行特征提取,接着将卷积后的特征图进行融合,组成特征融合模块;然后选取DeeplabV3中的串并行空间金字塔策略,并添加图像级特征对提取的特征图进一步优化;最后通过双线性插值法对图像进行恢复,完成文档版面目标,即插图、表格、公式的定位与识别任务。结果 本文采用mIOU（mean intersection over union）以及PA（pixel accuracy）两个指标作为评价标准,在ICDAR 2017 POD文档版面目标检测数据集上的实验表明,提出算法在mIOU与PA上分别达到87.26%和98.10%。对比FCN（fully convolutional networks）,提出算法在mIOU与PA上分别提升约14.66%和2.22%,并且提出的特征融合模块对模型在mIOU与PA上分别有1.45%与0.22%的提升。结论 本文算法在一个网络框架下同时实现了文档版面多种目标的定位与识别,在训练上并不需要对图像做复杂的预处理,模型结构简单。实验数据表明本文算法在训练数据较少的情况下能够取得较好的识别效果,优于FCN和DeeplabV3方法。     

基于物联网技术的小波域分块压缩感知算法的图像重构系统设计

针对低照明度重构图像分辨率不高、重构时间长的问题,提出了基于小波域分块压缩感知算法的图像重构系统。建立低照明度图像采样模型,采用图像的景深自适应调节方法进行小波域分块压缩感知和信息融合处理。利用多尺度的Retinex算法进行小波域分块压缩感知和信息提取,提取图像的信息熵特征量。采取图像自适应增强方法进行低照度图像增强处理,使用物联网技术进行低照明度图像的三维信息重构,结合细节增强方法进行低照度图像增强处理,完成重构系统设计,实现透射率图的轮廓检测和特征重构。仿真结果表明,采用该方法进行低照明度图像重构的分辨率较高,边缘感知能力较好,且重构耗时较短,实际应用效率较高。     

动态异构特征融合的水下图像增强算法

针对水下图像细节模糊和色彩失真严重的问题,提出一种基于编码解码结构的动态异构特征融合水下图像增强网络.首先,设计异构特征融合模块,将不同级别与不同层次的特征进行融合,提升网络对细节信息和语义信息的整体感知能力;然后,设计新型特征注意力机制,改进传统通道注意力机制,并将改进后的通道注意力与像素注意力机制加入异构特征融合过程,加强网络提取不同浑浊度像素特征的能力;接着,设计动态特征增强模块,自适应扩展感受野以提升网络对图像畸变景物的适应力和模型转换能力,加强网络对感兴趣区域的学习;最后,设计色彩损失函数,并联合最小化绝对误差损失与结构相似性损失,在保持图像纹理的基础上纠正色偏.实验结果表明,所提出算法可有效提升网络的特征提取能力,降低水下图像的雾度效应,提升图像的清晰度和色彩饱和度.     

一种基于注意力机制的小目标检测深度学习模型

小目标检测用来识别图像中小像素尺寸目标.传统目标识别算法泛化性差,而通用的深度卷积神经网络算法容易丢失小目标的特征,对小目标识别的效果不甚理想.针对以上问题,提出了一种基于注意力机制的小目标检测深度学习模型AM-R-CNN,该模型在ResNet101主干网络和候选区域生成网络中使用了通道域注意力和空间域注意力,通道域注...