结合特征融合与物理校正的水下图像增强方法

为解决由于光的吸收和散射现象导致拍摄的水下图像呈现出严重色偏，对比度低等质量问题，本文提出轻量级特征融合网络和多颜色模型校正相结合的水下图像增强方法。首先使用自构建块代替卷积层的编码器和解码器结构的特征融合网络对水下图像色偏进行校正，网络中改进的特征融合模块降低全连接层对图像空间结构的破坏，保护空间特征，减少模块的参数量。同时改进的注意力模块并行池化计算提取特征图纹理细节且保护背景信息。然后使用多颜色模型校正模块根据像素之间关系进行校正，进一步减少色偏，提高对比度和亮度。实验结果表明，与最新的图像增强方法对比，在有参考图像数据集上，本文方法的NRMSE、PSNR和SSIM评价指标的平均值分别比第二名提升了9.3%、3.7%和2.3%。在无参考图像数据集上，本文方法的UCIQE、IE和NIQE评价指标的平均值比第二名提升了6.0%、2.9%和4.5%。综合主观感知和客观评价，本文方法能校正水下图像色偏，提升对比度和亮度，提高图像质量。     

基于多尺度优化和动态特征融合的图像去模糊研究

目前采用U-Net结构的去模糊算法存在细节损失、图像质量欠佳等问题,因此对U-Net进行改进,提出一种基于多尺度优化和动态特征融合的图像去模糊方法。首先针对细节损失,提出一种精简且有效的多尺度残差注意力模块(Multi-Scale Residual Module, MSRM),通过增加特征尺度多样性来提取更精细的图像特征。此外,为了将更有利的特征传递到解码部分,在跳跃连接处设计动态特征融合模块(Dynamic Feature Fusion Module, DFFM),采用注意力加权的方式选择性融合不同阶段的编码特征。该算法采用多尺度内容损失和多尺度高频信息损失进行约束训练。在GoPro和RealBlur数据集上的实验结果表明,这种方法能有效改善图像质量,复原更丰富的细节信息。与现有去模糊算法相比,本文算法在主观视觉和客观评价等方面均具有一定优势。     

基于阶梯型特征空间分割与局部注意力机制的行人重识别

为了让网络捕捉到更有效的内容来进行行人的判别,该文提出一种基于阶梯型特征空间分割与局部分支注意力网络(SLANet)机制的多分支网络来关注局部图像的显著信息。首先,在网络中引入阶梯型分支注意力模块,该模块以阶梯型对特征图进行水平分块,并且使用了分支注意力给每个分支分配不同的权重。其次,在网络中引入多尺度自适应注意力模块,该模块对局部特征进行处理,自适应调整感受野尺寸来适应不同尺度图像,同时融合了通道注意力和空间注意力筛选出图像重要特征。在网络的设计上,使用多粒度网络将全局特征和局部特征进行结合。最后,该方法在3个被广泛使用的行人重识别数据集Market-1501,DukeMTMC-reID和CUHK03上进行验证。其中在Market-1501数据集上的mAP和Rank-1分别达到了88.1%和95.6%。实验结果表明,该文所提出的网络模型能够提高行人重识别准确率。     

基于多尺度特征结合细节恢复的单幅图像去雾方法

为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性,该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先,根据雾在图像中的分布特性及成像原理,设计多尺度特征提取模块及多尺度特征融合模块,从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次,构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络,并利用该网络获得初步去雾结果。再次,构造基于图像分块的细节恢复网络以提取细节信息。最后,将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像,实现对去雾后图像视觉效果的增强。实验结果表明,与已有代表性的图像去雾方法相比,所提方法能够对合成图像及真实图像中的雾进行有效去除,且去雾结果细节信息保留完整。     

面向小样本SAR图像识别的自注意力多尺度特征融合网络

合成孔径雷达（Synthetic Aperture Radar,SAR）图像标签难以大量获取,存在着大量小样本SAR数据集。SAR图像充满着散斑噪声,直接将卷积神经网络（Convolutional Neural Network,CNN）应用在小样本SAR数据集上难以提取有效特征。针对以上问题,本文提出了一种面向小样本SAR图像识别的自注意力多尺度特征融合网络。首先,将自注意力机制与幽灵模块相结合构建自注意力幽灵模块,并利用该模块替代经典的卷积操作提取SAR图像特征。其次,在网络中添加通道混洗单元以构建多尺度信息融合支路。最后,引入知识蒸馏对设计的网络进行压缩,进一步控制网络参数量。实验结果表明,本文方法在不同工作条件下采集的MSTAR数据集上具有出色的识别性能,在构建的小样本SAR数据集上也表现出良好的鲁棒性。      

结合多尺度特征融合和多输入多输出编-解码器的去模糊算法

针对相机抖动、拍摄物体快速运动以及低快门速度等因素造成的图像非均匀模糊,提出一种结合多尺度特征融合和多输入多输出编-解码器的去模糊算法。首先使用多尺度特征提取模块来提取较小尺度模糊图像的初始特征,该模块使用扩张卷积来以较少的参数量获得更大的感受野。其次,通过特征注意力模块来自适应地学习不同尺度特征中的有效信息,该模块利用小尺度图像的特征来生成注意图,能够有效地减少冗余特征。最后,使用多尺度特征渐进融合模块逐步融合不同尺度的特征,使得不同尺度特征信息能够进行互补。相比以往的使用多个子网堆叠的多尺度方法,文中使用单个网络就能提取多尺度特征,从而降低了训练难度。为了评估网络的去模糊效果和泛化性能,提出的算法在基准数据集GoPro、HIDE和真实数据集RealBlur上均进行了测试。在GoPro和HIDE数据集上的峰值信噪比值分别为31.73 dB和29.39 dB,结构相似度值分别为0.951和0.923,其结果均高于目前先进的去模糊算法,并且在真实数据集RealBlur上也取得了最佳效果。实验结果表明,提出的去模糊算法相比现有算法去模糊更为彻底,能有效地复原图像的边缘轮廓和纹理细节信息,并且能够提升后续高级计算机视觉任务的鲁棒性。     

基于深度学习的语义分割网络

提出了一种基于深度学习的语义分割网络。该网络通过多孔卷积设计了一个能提取图像多尺度信息的空间金字塔模块,并通过大量实验探索了空间金字塔模块中多孔采样率和多尺度分支对于网络场景解析能力的影响。讨论了网络训练中不同超参数对于网络性能的影响。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络相比,本文设计的网络性能突出。最后,还对基于红外图像的语义分割进行了初步探索。     

结合多尺度深度学习网络和Retinex理论的低光照图像增强算法

针对低光照增强任务缺乏参考图像及现有算法存在的色彩失真、纹理丢失、细节模糊、真值图像获取难等问题,本文提出了一种基于Retinex理论与注意力机制的多尺度加权特征低光照图像增强算法。该算法通过基于Unet架构的特征提取模块对低光照图像进行多尺度的特征提取,生成高维度的多尺度特征图;建立注意力机制模块凸显对增强图像有利的不同尺度的特征信息,得到加权的高维特征图;最后反射估计模块中利用Retinex理论建立网络模型,通过高维特征图生成最终的增强图像。设计了一个端到端的网络架构并利用一组自正则损失函数对网络模型进行约束,摆脱了参考图像的约束,实现了无监督学习。最终实验结果表明本文算法在增强图像的对比度与清晰度的同时维持了较高的图像细节与纹理,具有良好的视觉效果,能够有效增强低光照图像,视觉质量得到较大改善;并与其他多种增强算法相比,客观指标PSNR和SSIM得到了提高。     

利用注意力机制融合多尺度特征的图像去雨方法

针对图像中累积的雨水严重干扰高层视觉算法运行的问题,提出了一种高效的图像去雨方法。该方法利用注意力机制设计了一个多尺度特征融合去雨网络。首先用一个预处理模块提取出雨水的浅层特征,再将浅层特征送入多尺度特征融合模块获得深层次的特征,在多尺度特征融合模块中引入注意力机制将这些特征进行融合,提高模块中使用平滑扩张卷积减少伪影问题。实验结果表明,该方法在公开雨水数据集Rain100 H、Rain100 L和Rain12上获得的峰值信噪比(PSNR)和结构相似比(SSIM)指标相比其它方法分别平均提高了0.93 dB和1.43%,获得了更清晰的去雨结果。     

基于空间多尺度残差网络的红外与可见光图像融合

针对如何充分提取和融合红外与可见光图像典型特征的问题,提出一种基于空间多尺度残差网络的图像融合算法。首先,将源图像输入基于空间多尺度残差模块组成的编码器网络,通过源图像重建任务,训练编码器自动获取重要特征信息的能力;然后,引入特征金字塔结构,设计了特征通道自注意力机制,编码器输出的基础层和细节层进行融合,减小尺度噪声,并由解码器重构出融合图像;最后,利用公开数据集进行定性和定量实验,证明了改进算法在突出红外图像目标和保留可见光图像纹理细节两方面的优势,相比于DDcGAN算法,新算法的标准差和平均梯度分别提升了12.91%和47.41%。     

融合深度学习与多尺度Retinex的水下图像增强方法

针对水下图像纹理模糊和色偏严重等问题,提出了一种融合深度学习与多尺度导向滤波Retinex的水下图像增强方法。首先,将陆上图像采用纹理和直方图匹配法进行退化,构建退化水下图像失真的数据集并训练端到端卷积神经网络(convolutional neural network,CNN) 模型,利用该模型对原始水下图像进行颜色校正,得到色彩复原后的水下图像;然后,对色彩复原图像的亮度通道,采用多尺度Retinex(multi-scale Retinex,MSR) 方法得到纹理增强图像;最后,融合色彩复原图像中的颜色分量和纹理增强图像得到最终水下增强图像。本文利用仿真水下图像数据集和真实水下图像对提出方法进行性能测试。实验结果表明,所提方法的均方根误差、峰值信噪比、CIEDE2000和水下图像质量评价指标分别为0.302 0、17.239 2 dB、16.878 4和4.960 0,优于5种对比方法,增强后的水下图像更加真实自然。本文方法在校正水下图像颜色失真的同时,能有效提升纹理清晰度和对比度。     

基于多尺度级联网络的水下图像增强方法

针对水下图像由于光吸收、后向散射等因素导致的严重色偏、细节丢失等问题,该文提出一种基于多尺度级联网络的水下图像增强方法。针对单一网络特征利用不全面导致的图像梯度消失问题,该方法通过级联多尺度原始图像与相应的特征图像,以获得更优异的细节保持效果,并实现从较浅层到较深层快速预测残差的能力。此外,引入联合密集网络块和递归块,通过特征重用有效解决多尺度网络参数过多的问题。为有效解决单一损失造成的图像细节恢复不均的问题,提出Charbonnier和结构相似度 (SSIM) 联合损失函数。经仿真实验分析,所提网络在处理水下图像严重色偏、细节丢失等方面都取得了显著的效果。     

Color correction and restoration based on multi-scale recursive network for underwater optical image

Underwater image processing has played an important role in various fields such as submarine terrain scanning, submarine communication cable laying, underwater vehicles, underwater search and rescue. However, there are many difficulties in the process of acquiring underwater images. Specifically, the water body will selectively absorb part of the light when light travels through the water, resulting in color degradation of underwater images. At the same time, due to the influence of floating substances in the water, the light has a certain degree of scattering, which will bring serious problems such as blurred details and low contrast to underwater images. Therefore, using image processing technology to restore the real appearance of underwater images has a high practical value. In order to solve the above problems, we combine the color correction method with the deblurring network to improve the quality of underwater images in this paper. Firstly, aiming at the problem of insufficient number and diversity of underwater image samples, a network combined with depth image reconstruction and underwater image generation is proposed to simulate underwater images based on the style transfer method. Secondly, for the problem of color distortion, we propose a dynamic threshold color correction method based on image global information combined with the loss law of light propagation in water. Finally, in order to solve the problem of image blurring caused by scattering and further improve the overall image clarity, the color-corrected image is reconstructed by a multi-scale recursive convolutional neural network. Experiment results show that we can obtain images closer to underwater style with shorter training time. Compared with several latest underwater image processing methods, the proposed method has obvious advantages in multiple underwater scenes. Simultaneously, we can restore the color information, remove blurring and boost detail for underwater images.     

Underwater image super-resolution and enhancement via progressive frequency-interleaved network

Underwater images usually contain severely blurred details, color distortion, and low contrast, warranting efficient methods to obtain clean images. However, most convolutional neural network-based approaches involve high computational cost, numerous model parameters, and even poor performance. Besides, the mapping from input to output is learned using a single path, ignoring the frequency domain information. To solve these challenges, we propose a novel progressive frequency-interleaved network (PFIN) for underwater imagery super-resolution and enhancement. Specifically, progressive frequency-domain module (PFDM) and convolution-guided module (CGM) constitute PFIN for effective color deviation correction and detail enhancement. PFDM that possesses global spatial attention, multi-scale residual, and frequency information modulation blocks gradually learn frequency features and explicitly compensate for detail loss. Furthermore, CGM comprising a series of convolution blocks generates discriminative characteristics to modulate in PFDM for better accommodating degraded representations. Extensive experiments demonstrate the superiority of our PFIN regarding quantitative evaluations and visual quality.     

基于改进SSD的合成孔径声呐图像水下多尺度目标轻量化检测模型

针对轻量化目标检测模型SSD-MV2对合成孔径声呐(SAS)图像水下多尺度目标检测精度低的问题,该文提出一种新的卷积核模块-可扩张可选择模块(ESK),ESK具有通道可扩张、通道可选择和模型参数少的优点。与此同时,利用ESK模块重新设计了SSD的基础网络和附加特征提取网络,记作SSD-MV2ESK,并为其选择了合理的扩张系数和多尺度系数。在合成孔径声呐图像水下多尺度目标检测数据集SST-DET上,SSD-MV2ESK在模型参数基本相等的条件下,检测精度比SSD-MV2提升4.71%。实验结果表明,SSD-MV2ESK适用于合成孔径声呐图像水下多尺度目标检测任务。     

Underwater image enhancement based on conditional generative adversarial network

Underwater images play an essential role in acquiring and understanding underwater information. High-quality underwater images can guarantee the reliability of underwater intelligent systems. Unfortunately, underwater images are characterized by low contrast, color casts, blurring, low light, and uneven illumination, which severely affects the perception and processing of underwater information. To improve the quality of acquired underwater images, numerous methods have been proposed, particularly with the emergence of deep learning technologies. However, the performance of underwater image enhancement methods is still unsatisfactory due to lacking sufficient training data and effective network structures. In this paper, we solve this problem based on a conditional generative adversarial network (cGAN), where the clear underwater image is achieved by a multi-scale generator. Besides, we employ a dual discriminator to grab local and global semantic information, which enforces the generated results by the multi-scale generator realistic and natural. Experiments on real-world and synthetic underwater images demonstrate that the proposed method performs favorable against the state-of-the-art underwater image enhancement methods.     

基于改进的MSRCR-CLAHE融合的水下图像增强算法

针对海洋复杂成像环境导致的水下图像出现颜色衰退、对比度低等问题,提出一种改进的带色彩恢复的多尺度视网膜（Multi-Scale Retinex with Color Restore,MSRCR）与限制对比度自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization,CLAHE）多尺度融合的水下图像增强算法。首先,采用带有导向滤波的MSRCR算法解决水下图像颜色衰退的问题;其次,采用带有Gamma校正的CLAHE算法以提高水下图像的对比度;最后,对经过改进的MSRCR和CLAHE处理后的图像进行多尺度融合以获得细节增强后的水下图像。实验结果表明,和其他算法相比,文中算法的峰值信噪比（Peak Signal to Noise Ratio,PSNR）平均提高了9.3914、结构相似性（Structural Similarity Index Measure,SSIM）平均提高了0.3013、水下图像评价指标（Underwater Image Quality Evaluation,UIQE）平均提高了4.7047,能实现水下图像的有效增强...     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。