PNet：融合注意力机制的多级低照度图像增强网络

低照度图像存在亮度低、噪声伪影、细节丢失、颜色失真等退化问题,使得低照度图像增强成为一个多目标增强任务。现有多数增强算法不能很好地在多个增强目标上取得综合的性能,对此,提出PNet——融合注意力机制的多级低照度图像增强网络模型,通过构建多级串联增强任务子网,结合注意力机制设计多通道信息融合模块进行有效特征筛选及记忆,网络以序列方式处理图像流,协同渐进式完成图像全局自适应亮度提升、噪声伪影抑制、细节恢复、颜色矫正等多任务。此外,通过与现有主流算法进行定量及定性分析对比,结果显示该方法能实现自适应图像亮度增强、细节对比度提升,增强后图像整体亮度自然,没有明显光晕及伪影且色彩较丰富真实,在PSNR、SSIM、RMSE指标中较次优算法分别提升0.229、0.112、0.335。实验结果表明,该方法在低照度图像增强的多目标任务上取得了综合较优秀的表现,具有一定的应用价值。     

基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

基于U-Net的多尺度低照度图像增强网络

低照度是夜晚拍摄时常见的一种现象,不充分的光照会使图像细节损失严重,降低图像视觉质量。针对现有低照度图像增强方法对不同尺度特征的感知和表达能力存在不足的问题,提出一种基于U-Net的多尺度低照度图像增强网络（MSU-LIIEN）。采用特征金字塔作为基本处理框架,实现对低照度图像的特征提取。在特征金字塔构建的3个分支结构中均使用U-Net作为骨干网,对提取到的浅层图像特征进行编码与解码操作,同时引入结构细节残差融合块以增强网络模型提取和表征低照度图像特征信息的能力。在此基础上,对提取到的特征信息逐层融合,恢复正常光照图像。实验结果表明,MSU-LIIEN在LOL-datasets和Brighting Train数据集中相比于性能排名第二的KinD模型,平均峰值信噪比分别提高16.21%和46.67%,且在主观视野感受和客观评价指标方面均优于所有对比的经典模型,不但能有效提升低照度图像的整体亮度,而且能很好地保持图像中的细节信息和清晰的物体边缘轮廓,使增强后的图像整体画面真实自然。     

基于迭代多尺度引导滤波Retinex 的低照度图像增强

为提高低照度图像的视觉感知,提出了基于迭代多尺度引导滤波Retinex 的低照度 图像增强算法。首先,将图像转换到YCbCr 空间;然后对Y 分量用迭代多尺度引导滤波算法 估计照度图像,以指数形式迭代增加尺度参数与平滑参数,在保持边缘的同时消除各种对比度 细节;接着用照度图像求得反射图像,并进行对比度校正;最后将图像转换到RGB 空间,得 到最终增强后的图像。实验表明,该方法能更好地估计照度图像,从而使增强后的图像视觉效 果获得明显改善。     

一种矿井低照度图像增强算法

针对小波变换在图像边缘保持和细节处理方面无法保持平衡及多尺度Retinex算法易造成图像出现光晕伪影和噪声污染严重等问题,将小波变换与基于多尺度引导滤波的多尺度Retinex算法相结合,提出了一种矿井低照度图像增强算法。该算法首先将低照度图像进行小波分解得到高频分量和低频分量;然后对图像高频分量采用三段式阈值函数进行小波去噪,对图像低频分量采用非线性全局亮度校正以增强图像亮度,同时采用多尺度引导滤波函数代替传统多尺度Retinex算法的高斯滤波函数来估计照射分量,进而求取反射分量,并运用主成分分析法对反射分量与非线性全局亮度校正的图像进行融合,有效提升图像边缘细节保持效果;最后对图像高频分量和低频分量进行小波重构,并对小波重构后的图像进行非线性变换,解决图像泛灰问题。实验结果表明,该算法具有很强的噪声抑制能力,可有效提升图像亮度和对比度,使图像边缘保持性能和细节信息丰富度得到有效平衡,避免了图像出现光晕伪影、颜色失真等现象。     

基于Retinex的自适应非均匀低照度图像增强算法

非均匀低照度图像会影响目标识别跟踪的效果,为了增强非均匀低照度图像,提出一种基于Retinex理论的自适应亮度层图像增强算法。首先将图像HSI模型中I层图像分离出来;然后通过Retinex理论和多尺度引导滤波器获得I层的入射分量,根据输入图像的均值自动获取调整参数k,对入射分量的亮度进行自适应调整;最后通过主成分分析法(PCA)提取两个图像中的细节特征并进行融合。对比实验表明,该算法能有效提升非均匀低照度图像的整体亮度和细节信息,同时减少非均匀照度的影响。     

一种煤矿井下低照度图像增强算法

针对多尺度Retinex算法在处理煤矿井下低照度图像时存在细节增强不足和耗时等问题,提出了一种基于光照校正的快速多尺度Retinex算法对煤矿井下低照度图像进行增强。该算法通过计算高斯模糊后图像的每个像素点的亮度值,将图像划分为暗调区域和高光区域,并对不同区域进行光照校正,从而降低高光区域的亮度,保证不过分曝光,同时提升较暗区域的亮度,凸显更多细节信息;利用三次快速均值滤波代替高斯滤波来估计光照强度,减少算法耗时。实验结果表明,该算法能有效提高图像的亮度和对比度,增强图像中暗调区域和高光区域的细节,具有较快的处理速度。     

一种基于MDARNet的低照度图像增强方法

由于低照度环境下所采集的图像存在亮度低、对比度差、出现噪声和色彩失衡等低质问题,严重影响其在图像处理应用中的性能.为了提升低照度图像质量,以获得具有完整结构和细节且自然清晰的图像,结合Retinex理论与卷积神经网络,提出了一种基于MDARNet的低照度图像增强方法,并引入Attention机制模块和密集卷积模块以提升性能.首先,MDARNet利用同时包含二维和一维的3个不同尺度卷积核对图像进行初步特征提取,并用像素注意模块对多尺度特征图进行针对性学习;其次,设计跳跃连接结构对图像进行特征提取,使图像特征被最大限度地利用;最后,用通道注意模块和像素注意模块同时对提取到的特征图进行权重学习和照度估计.实验结果表明：MDARNet能够有效提升低照度图像的亮度、对比度、色彩等;且相较于一些经典算法,该方法在视觉效果及客观评价指标（PSNR,SSIM,MS-SSIM,MSE）能够得到更好的效果.     

结合多分支结构和U-net的低照度图像增强

随着夜景拍摄技术的提高,低照度图像增强成为计算机视觉领域一个新的热点。但是由于光照不足、逆光、聚焦失败等因素的影响会导致光照强度不足,导致图像亮度和对比度过低。为了更好地处理低光照图像,提出了一种基于多分支结构和U-net结合的低照度图像增强算法。利用深度残差网络将图片不同层次的特征提取出来进行交叉合并。将得到的图像通过不同深度和结构的U-net进行增强。将U-net增强后的图像进行融合,最终得到了增强后的低照度图像。通过大量的实验表明,运用深度残差网络和U-net,可以更好地进行特征提取,低照度图像增强的效果也更好,很大程度上优于现有的技术。提出的方法不仅在视觉上提高了亮度和对比度,色彩更真实,更加符合人眼视觉系统特性,而且PSNR、SSIM等七项客观图像质量指标在几种算法中都是最优的。     

用于低照度图像增强的自适应颜色保持算法

视频监控、场景恢复等领域中低照度图像噪点多,亮度低,可视效果差,而现有的图像处理技术容易出现颜色失真、光晕色块严重。为解决这一问题,根据韦伯-费希纳定律,把图像的像素点转换到对数空间,自适应获得符合视觉系统特点的预增强图像;再根据多尺度视网膜算法,分别计算与增强图像的R通道在三个尺度上的平均高斯滤波结果,获得入射光估计,把对数域的自适应增强图像像素值与入射光估计的差值作为多尺度视网膜算法的结果图像。进一步处理结果图像,将其RGB通道按照预增强图像中的颜色比例关系映射到0~255的范围;最后融合三个通道获得最终图像输出。通过图像质量的评价对比,该算法对不同低照度场景图像的增强结果,在对比度、色度保持等方面优于MSR、MSRCR和MSRCP算法。实验证明该算法在低照度图像的恢复和色度保留等方面有较好的效果,在增强视频监控的有效性等方面有较好的应用价值。     

融合注意力机制和上下文信息的微光图像增强

目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低。针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法。方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成。由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力。此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果。结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰。在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知...     

基于注意力机制网络的航运监控图像识别模型

针对已有的航运监控图像识别模型C3D里中级表征学习能力有限,有效特征的提取容易受到噪声的干扰,且特征的提取忽视了整体特征与局部特征之间关系的问题,提出了一种新的基于注意力机制网络的航运监控图像识别模型。该模型基于卷积神经网络（CNN）框架,首先,通过特征提取器提取图像的浅层次特征;然后,基于CNN对不同区域激活特征的不同响应强度,生成注意力信息并实现对局部判别性特征的提取;最后,使用多分支的CNN结构融合局部判别性特征和图像全局纹理特征,从而利用局部判别性特征和图像全局纹理特征的交互关系提升CNN学习中级表征的能力。实验结果表明,所提出的模型在航运图像数据集上的识别准确率达到91.8%,相较于目前的C3D模型提高了7.2个百分点,相较于判别滤波器组卷积神经网络（DFL-CNN）模型提高了0.6个百分点。可见所提模型能够准确判断船舶的状态,可以有效应用于航运监控项目。     

基于多尺度注意力的特征自适应聚合脑肿瘤图像分割

针对脑部磁共振图像中脑卒中病灶的自动分割因分割目标边缘复杂、尺度变化多样而造成的识别精度不高的问题,提出一种基于多尺度注意力的多尺度特征聚合方法,该方法利用注意力机制调节中间特征不同通道的权重,并自适应地选择不同尺度的特征进行融合,在缺血性脑卒中的公开数据集ATLAS上进行的一系列实验,选取Dice系数、豪斯多夫距离、重叠度、准确率和召回率作为评价指标,结果表明所提出的模型在脑卒中病变的分割问题上取得了较好的分割效果;另外,本模型还在Kaggle公开的脑肿瘤数据集上完成对比实验,证明本模型具有良好的可泛化性。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题，提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先，构造了并行通道-空间注意力残差块，通过空间注意力模块获取图像重点区域与高频信息的相关性，通过通道注意力模块获取图像各通道对关键信息响应程度的权重，同时拓宽网络的特征提取层以增加流入注意力模块的特征信息；此外，添加了权重归一化层，保证了网络的训练效率；最后，在网络末端应用多尺度上采样层，增加了网络的灵活性和可用性。实验结果表明，相较深层残差通道注意力超分辨率网络（RCAN），所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于并行通道-空间注意力机制的腹部MRI影像多尺度超分辨率重建

为了有效解决腹部磁共振成像（MRI）影像在超分辨率重建过程中因高频细节丢失引起的边界不明显、腹部器官显示不清晰以及单模型单尺度重建应用不方便等问题,提出了一种基于并行通道-空间注意力机制的多尺度超分辨率重建算法。首先,构造了并行通道-空间注意力残差块,通过空间注意力模块获取图像重点区域与高频信息的相关性,通过通道注意力模块获取图像各通道对关键信息响应程度的权重,同时拓宽网络的特征提取层以增加流入注意力模块的特征信息;此外,添加了权重归一化层,保证了网络的训练效率;最后,在网络末端应用多尺度上采样层,增加了网络的灵活性和可用性。实验结果表明,相较深层残差通道注意力超分辨率网络（RCAN）,所提算法在×2、×3、×4尺度下的峰值信噪比（PSNR）平均提高了0.68 dB。所提算法有效提升了图像的重建质量。     

基于注意力机制修正网络的行人属性识别

针对现有行人属性识别方法模型复杂,识别性能较低的问题,提出一种端到端的行人属性识别方法。构建注意力机制修正网络,在主干网络的不同卷积层后添加注意力分支,以提取注意力特征关注属性相关空域;提出一种注意力机制辅助训练方法,将注意力分支与主网络在预测级进行损失融合,通过梯度反向传播修正主网络权重,实现主网络的有效训练;在预测阶段,利用权重修正后的主网络实现属性识别。在RAP数据集上的实验结果表明,提出方法在没有额外辅助信息、不增加主网络体积和计算量的情况下,提升了行人属性识别性能。     

基于注意力机制的自适应滤波遥感图像分割网络

遥感图像尺度变化较大,背景类内差异较大以及前景和背景之间的不平衡等问题,增加了遥感图像小目标和目标边缘分割的难度。在卷积神经网络中,下采样引起的混叠效应造成目标信息的失真和损失,容易被忽视。同时,扩张卷积虽然捕获到了丰富的感受野信息,但仍存在冗余的背景信息干扰。据此,提出了一种基于注意力机制自适应滤波分割网络(ARGNet)。在DeepGlobe Road Extraction数据集和Inria Aerial Image Labeling数据集上进行实验,结果表明,所提出的网络能够分割出更加精准的目标。     

基于编码—解码结构的多阶段图像去雨滴方法

针对附着镜头或玻璃表面的雨滴会造成图像退化的问题,提出了一种多阶段渐进式图像去雨滴方法。整个去雨滴过程被分解为多个更易于实现的阶段。首先在每个阶段设计多尺度融合的编码—解码网络以学习雨滴特征,通过构建带有门控循环单元的多尺度扩张卷积来细化内部传递的空间特征。然后引入无降维的通道注意力机制对特定空间特征下的通道信息进行提取。最后为加强每个阶段各部分之间的信息交换,采用跨阶段特征融合机制,在每个阶段的编码—解码网络之间加入横向连接,以实现特征信息的横向传递。在每个阶段之间加入监督注意模块,以增强不同阶段之间的信息传递,最终渐进地实现雨滴的去除。实验表明该方法能够有效地去除雨滴。     

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet（multiscale-attention net）以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集 COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。