PNet：融合注意力机制的多级低照度图像增强网络

低照度图像存在亮度低、噪声伪影、细节丢失、颜色失真等退化问题,使得低照度图像增强成为一个多目标增强任务。现有多数增强算法不能很好地在多个增强目标上取得综合的性能,对此,提出PNet——融合注意力机制的多级低照度图像增强网络模型,通过构建多级串联增强任务子网,结合注意力机制设计多通道信息融合模块进行有效特征筛选及记忆,网络以序列方式处理图像流,协同渐进式完成图像全局自适应亮度提升、噪声伪影抑制、细节恢复、颜色矫正等多任务。此外,通过与现有主流算法进行定量及定性分析对比,结果显示该方法能实现自适应图像亮度增强、细节对比度提升,增强后图像整体亮度自然,没有明显光晕及伪影且色彩较丰富真实,在PSNR、SSIM、RMSE指标中较次优算法分别提升0.229、0.112、0.335。实验结果表明,该方法在低照度图像增强的多目标任务上取得了综合较优秀的表现,具有一定的应用价值。     

基于端到端双网络的低照度图像增强方法

由于环境的不确定性,捕获的图像存在亮度低、对比度低和信息丢失严重等问题,且利用现存算法增强后的图像存在曝光过度问题,不能满足计算机视觉任务的输入要求。针对此问题,提出了基于端到端双网络的低照度图像增强方法,该网络由Inception网络模块与URes-Net模块组成。首先利用Retinex理论合成低照度图像样本;然后运用双网络模型进行特征提取、特征融合与重建,根据测试集的损失不断调整参数以优化模型,最终使双网络模型具有较高的低照度图像增强能力。实验结果表明,所提方法的PSNR和SSIM的均值分别为28.659 8 dB和0.896 6,亮度、对比度显著提高,获得的图像更加符合人类视觉,优于其他先进的低照度图像增强方法。     

融合多分支残差与仿射变换的低照度图像增强

针对现有低照度图像增强算法难以同时处理亮度、对比度、伪影和噪声等因素,提出了多分支残差与仿射变换低光增强网络,其核心思想是运用不同模块处理不同的任务.首先通过光照估计模块获得低光图像的光照变量,然后使光照仿射变换模块与光照编码参数融合恢复图像的光照,最后通过细节重建模块融合更多的图像细节获得最终输出.实验结果表明,该方法有效地丰富了图像的纹理细节,同时增强了亮度和对比度,并具有更少的伪影和噪声.通过与其他主流方法进行比较,定量和定性地证明了提出方法对低光图像增强的效果更好.     

基于Retinex的自适应非均匀低照度图像增强算法

非均匀低照度图像会影响目标识别跟踪的效果,为了增强非均匀低照度图像,提出一种基于Retinex理论的自适应亮度层图像增强算法。首先将图像HSI模型中I层图像分离出来;然后通过Retinex理论和多尺度引导滤波器获得I层的入射分量,根据输入图像的均值自动获取调整参数k,对入射分量的亮度进行自适应调整;最后通过主成分分析法(PCA)提取两个图像中的细节特征并进行融合。对比实验表明,该算法能有效提升非均匀低照度图像的整体亮度和细节信息,同时减少非均匀照度的影响。     

基于残差融合的改进Retinex图像增强算法

针对低照度图像边缘纹理模糊、亮度和对比度偏低等问题,提出一种基于残差融合的改进Retinex图像增强算法。该算法采用自适应多尺度引导滤波AMGF(Adaptive Multi-scale Guided Filtering, AMGF)替代高斯核函数,根据Retinex理论获取反射图像;使用CLAHE拉伸反射图像的对比度;通过L₀范数提取输入图像残差进行融合;进行颜色恢复处理。实验结果表明,所提算法有效地提升了低照度图像的边缘细节表达能力,提高了图像质量和视觉效果。     

基于多尺度梯度域引导滤波的低照度图像增强算法

针对低照度彩色图像整体亮度较低，增强图像中颜色易失真，部分图像细节淹没在较低灰度值像素中等问题，提出一种改进的低照度图像增强算法。首先，把待处理图像转换到色调、饱和度、亮度（HSI）颜色空间，对亮度分量进行非线性全局亮度校正；然后，提出多尺度梯度域引导滤波的亮度增强模型，利用该模型对校正后的亮度分量进行增强，接着对增强后的亮度分量进一步实施避免颜色失真的亮度校正；最后，将图像再转换回红绿蓝（RGB）颜色空间。实验结果表明，增强后的图像亮度平均提高90.0%以上，清晰度平均提高123.8%以上，这主要得益于多尺度梯度域引导滤波具有更好的亮度平滑和增强能力；同时由于减小了颜色失真，使增强图像的细节表现能力平均提高18.2%以上；由于采用了多尺度梯度域引导滤波的亮度增强模型与直方图自适应的亮度校正算法，使提出的低照度图像增强算法适宜应用于夜间等弱光源条件下的彩色图像增强。     

空间转换与自适应灰度校正的低照度图像增强

在低照度场景下采集的图像存在整体亮度偏低、对比度较差、细节信息丢失等问题,影响其在图像增强应用领域中的性能。为提高低照度成像质量,并使图像结构完整且纹理细节自然清晰,提出一种空间转换与自适应灰度校正的低照度图像增强算法。采用带有灰度校正的自适应压缩多尺度Retinex算法对原始图像进行处理,得到均衡化图像,避免在传统Retinex算法对图像进行全局处理时产生图像过亮或过暗的现象,通过空间转换方法处理获得的均衡化图像,分别得到频率域平滑图像和空间域锐化图像,以提高图像的整体亮度和对比度,从而保留图像中物体边缘的细节信息。在此基础上,采用多聚焦融合算法将原始图像、频率域平滑图像和空间域锐化图像进行融合,得到最终图像。实验结果表明,相比SSR、CLAHE、MBYC等算法,该算法的均值、方差、信息熵和平均梯度分别平均提升1.63%、0.89%、0.17%和1.91%,能有效提升低照度图像的亮度、清晰度和对比度,增强图像边缘信息和纹理细节信息。     

一种矿井低照度图像增强算法

针对小波变换在图像边缘保持和细节处理方面无法保持平衡及多尺度Retinex算法易造成图像出现光晕伪影和噪声污染严重等问题,将小波变换与基于多尺度引导滤波的多尺度Retinex算法相结合,提出了一种矿井低照度图像增强算法。该算法首先将低照度图像进行小波分解得到高频分量和低频分量;然后对图像高频分量采用三段式阈值函数进行小波去噪,对图像低频分量采用非线性全局亮度校正以增强图像亮度,同时采用多尺度引导滤波函数代替传统多尺度Retinex算法的高斯滤波函数来估计照射分量,进而求取反射分量,并运用主成分分析法对反射分量与非线性全局亮度校正的图像进行融合,有效提升图像边缘细节保持效果;最后对图像高频分量和低频分量进行小波重构,并对小波重构后的图像进行非线性变换,解决图像泛灰问题。实验结果表明,该算法具有很强的噪声抑制能力,可有效提升图像亮度和对比度,使图像边缘保持性能和细节信息丰富度得到有效平衡,避免了图像出现光晕伪影、颜色失真等现象。     

基于图像融合的低光照水下图像增强

水下机器人可用于水产养殖动态监测和水下拍摄,然而摄像机在水下抓拍的海洋图像呈现蓝绿色调、对比度低、细节模糊、亮度暗等问题,严重影响水下目标识别与检测的准确率。为此,本文提出了一种基于图像融合的低照度水下图像增强方法。首先,利用灰度世界算法对图像颜色进行校正,有效去除水下图像的蓝(绿)色基调;然后,对颜色校正后的图像分别进行锐化处理和HSV颜色空间下的亮度增强,分别得到细节增强图像和亮度增强图像;最后,将细节增强图像和亮度增强图像进行多尺度融合,得到最后的增强图像。实验结果表明,该算法不仅有效地解决了水下图像呈现蓝绿色的问题,而且增强了图像的整体亮度,使得细节更加清晰,提高了水下机器人的视觉感知能力。     

级联离散小波多频带分解注意力图像去噪方法

针对图像去噪网络中下采样导致高频信息损失和细节保留能力差的问题,设计了一种级联离散小波多频带分解注意力图像去噪网络。其中多尺度级联离散小波变换结构将原始图像分解为多个尺度下的高低频子带来代替传统下采样,能减少高频信息损失。多频带特征增强模块使用不同尺度的卷积核并行处理高低频特征,在子网络每一级下重复使用两次,可增强全局和局部的关键特征信息。多频带分解注意力模块通过注意力评估纹理细节成分的重要性并加权不同频带的细节特征,有助于多频带特征增强模块更好地区分噪声和边缘细节。多频带选择特征融合模块融合多尺度多频带特征增强选择性特征,提高模型对于不同尺度噪声的去除能力。在SIDD和DND数据集上,所提方法的PSNR/SSIM指标分别达到了39.35 dB/0.918、39.72 dB/0.955。实验结果表明,所提方法的性能优于主流去噪方法,同时具有更清晰的纹理细节和边缘等视觉效果。     

基于局部生成对抗网络的水上低照度图像增强

针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题,提出一种基于局部生成对抗网络的图像增强方法.以残差网络作为基本框架设计生成器,通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征,从而减少结构信息丢失.设计一个自编码器作为注意力网络,估计图像中的光照分布并指导图像不同亮度区域的自适应增强.构建...     

生成对抗网络下的低剂量CT图像增强

为去除低剂量计算机断层扫描（LDCT）图像中的噪声,增强去噪后图像的显示效果,提出一种生成对抗网络（GAN）下的LDCT图像增强算法。首先,将GAN与感知损失、结构损失相结合对LDCT图像进行去噪;然后,对去噪后的图像分别进行动态灰度增强和边缘轮廓增强;最后,利用非下采样轮廓波变换（NSCT）将增强后的图像在频域上分解为具有多方向性的系数子图,并将配对的高低频子图使用卷积神经网络（CNN）进行自适应融合,以重构得到增强后的计算机断层扫描（CT）图像。使用AAPM比赛公开的真实临床数据作为实验数据集,进行图像去噪、增强、融合实验,所提方法在峰值信噪比（PSNR）、结构相似度（SSIM）和均方根误差（RMSE）上的结果分别为33.015 5 dB、0.918 5和5.99。实验结果表明,所提算法在去除噪声的同时能保留CT图像的细节信息,提高图像的亮度和对比度,有助于医生更加准确地分析病情。     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系，以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题，提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想，设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征，并将图像特征上采样至HR大小，得到粗糙特征；第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型，将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征，并通过注意力融合模块逐步融合不同尺度特征，以精细化第一阶段提取的特征。同时，该方法引入一种更丰富的卷积特征用于边缘检测，并将其作为感知边缘约束来优化网络，以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验，结果表明与现有的基于CNN的超分辨率重建方法相比，该方法不但能够重建出更为清晰的边缘和纹理，而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法

针对图像超分辨率重建模型需要大量参数去捕获低分辨率（LR）图像和高分辨率（HR）图像之间的统计关系,以及使用L₁或L₂损失优化的网络模型不能有效恢复图像高频细节等问题,提出一种结合感知边缘约束与多尺度融合网络的图像超分辨率重建方法。该方法基于由粗到细的思想,设计了一种两阶段的网络模型。第一阶段通过卷积神经网络（CNN）提取图像特征,并将图像特征上采样至HR大小,得到粗糙特征;第二阶段使用多尺度估计将低维统计模型逐步逼近高维统计模型,将第一阶段输出的粗糙特征作为输入来提取图像多尺度特征,并通过注意力融合模块逐步融合不同尺度特征,以精细化第一阶段提取的特征。同时,该方法引入一种更丰富的卷积特征用于边缘检测,并将其作为感知边缘约束来优化网络,以更好地恢复图像高频细节。在Set5、Set14和BSDS100等基准数据集上进行实验,结果表明与现有的基于CNN的超分辨率重建方法相比,该方法不但能够重建出更为清晰的边缘和纹理,而且在×3和×4放大因子下的峰值信噪比（PSNR）和结构相似度（SSIM）都取得了一定的提升。     

协同式网络多尺度重叠区域图像偏色检测仿真

在协同式网络下,局部区域图像存在着不同程度的偏色,导致图像颜色失真。现在使用的算法耗时长、代价大存在局限性,故提出一种协同式网络多尺度重叠区域图像偏色检测算法。通过运用相邻加权平均像素进一步获得图像中最重要有效的像素值,完成对图像进行去噪处理;依据亮度和颜色两种信息特征,采用贝叶斯算法对其进行合并,完成图像的亮度和颜色特征提取融合;依据图像的宽度对边缘平滑程度分析,从而得到其各个边缘像素的曲率,运用等效圆概念,对多尺度重叠区域图像偏色做检测处理。实验结果表明,所提算法检测图像偏色具有更高的可靠性、优越性和准确性,可以获得较好的处理效果。     

基于融合策略的改进Retinex低照度图像增强算法

针对Retinex算法处理低照度彩色图像出现色彩失真,边缘保持性差等问题,提出一种基于融合策略的改进Retinex低照度图像增强算法;该算法首先在YIQ颜色空间提取亮度分量Y,对其进行MSR算法增强;然后采用高斯-拉普拉斯算子对彩色图像的RGB三个分量进行边缘检测,将其叠加合成后转换成灰度图;最后使用小波变换将两幅图像融合得到新的亮度分量,将其与I、Q分量融合后转回RGB颜色空间,从而获得色彩保真度高、细节清晰的图像;实验结果表明,该方法有效提高了图像边缘细节信息,避免了色彩失真,具有很好的视觉效果。     

用于视频行为识别的高效二维时序建模网络

二维卷积难以对视频数据进行有效的时间信息建模。针对这个问题,提出了一个高效的基于二维卷积的时间建模网络。该网络只需要RGB图像作为输入,避免了复杂的光流计算,在低计算复杂度的前提下,可以在行为识别任务中达到先进的准确性。网络主要由两个部分组成,即运动特征增强模块和时序聚集模块。具体来说,运动特征增强模块主要实现短期时序建模,它利用当前帧与相邻帧的差异信息对当前帧中的运动信息进行自适应性的增强,让网络能够了解图像中的哪一部分将要产生运动。时序聚集模块实现长期的时序建模,主要应用于网络的后期,通过二维卷积对时序上的信息进行信息聚合,让每一帧图像经过网络提取特征后,都能够结合时序上所有帧序列的信息。在三个常见的视频动作识别数据集（UCF101、HMDB51和Something-Something V1）上进行的大量实验表明,与大多数现有方法相比,所提出的时序建模网络可以获得先进的识别性能。     

基于3D多尺度特征融合残差网络的高光谱图像分类

深度学习中用于训练的高光谱图像(HSI)数据十分有限,因此较深的网络不利于空谱特征的提取.为了缓解该问题,文中提出3D多尺度特征融合残差网络,利用深度学习和多尺度特征融合的方式对光谱-空间特征进行有序的学习.首先对3D-HSI数据进行自适应降维,将降维后的图像作为网络输入.然后,通过多尺度特征融合残差块依次提取光谱-空间特征,融合不同尺度的特征,通过特征共享增强信息流,获得更丰富的特征.最后以端到端的方式训练网络.在相关数据集上的测试表明,文中网络具有良好的分类性能.     

An improved image enhancement framework based on multiple attention mechanism

Image enhancement can accentuate image feature and is necessary process in image processing. This work focuses on fusing multi-exposure image sequences low-light image enhancement. Inspired by the classical non-local means in computer vision, we proposed an improved deep neural network framework with attentions for image enhancement. Firstly, the original image was preprocessed in different dimensions. we get the edge images using an edge extracted algorithm and fusion multi exposed images to get an better initial images based on fully convolutional neural network with position and channel attention mechanism. Secondly, the head network is constructed by fully convolutional neural network. For capturing long-range dependencies between features maps, we designed a non-local attention module for head network to get better enhancement image. Finally, emerging the original images, edge image and fusion image as the input of the head network, it can enhance the images to get high-quality images. Experiments show that our framework proposed in this paper is effective and the attention mechanism play a significant hole in the network.