基于双通道多尺度特征提取和注意力的SAR与多光谱图像融合

图像融合的根本任务是提取图像特征,由于合成孔径雷达（Synthetic Aperture Radar,SAR）图像和多光谱（Multi Spectral,MS）图像存在通道差异,针对现有算法难以充分提取和利用SAR图像的高频细节信息和多光谱图像的低频光谱信息,融合图像存在细节丢失和光谱失真问题。本文提出了一种基于双通道多尺度特征提取和混合注意力的图像融合算法。首先采用双通道网络提取SAR和多光谱图像的多尺度高频细节特征和低频光谱特征,并连续使用不同空洞率的扩张卷积扩大感受野。然后将提取的特征映射到混合注意力模块中进行特征增强,再将这些增强特征与上采样的多光谱图像叠加。同时构建了基于光谱角度距离的损失函数,可以进一步缓解细节丢失和光谱失真。最后通过解码网络重建图像,得到高分辨率的融合图像。实验结果表明,本文算法达到了领先水平,并且融合图像在细节和光谱上保持了较好的平衡。     

基于多尺度U型网络的图像分割方法

眼底血管图像分割对糖尿病、 心脏病和高血压等疾病诊断具有重要价值.眼底图像特征复杂度较高,当前分割算法存在分割不精细、细小血管特征提取难、细节丢失多等问题.为了解决这些问题,设计了多尺度特征U型网络框架,该网络在U-Net的基础上,在跳跃连接结构上引入金字塔池化整合多个尺度的特征,在编解码结构中用Leaky ReLU函...     

基于Transformer和双残差网络的图像去模糊算法研究

在单幅图像去模糊网络的设计中,已广泛采用了由“粗到精”的策略。经典的基于深度学习的多尺度网络模型通常将子网络与多尺度输入图像堆叠,并从底层子网络到顶层子网络逐渐提高图像的清晰度,将不可避免地产生图像特征信息丢失问题以及较高的时间成本。针对上述问题,构建了一种基于编解码器结构的多输入多输出U型网络。首先,在编码器结构中采用Transformer模型代替传统卷积网络模型以充分获取图像特征信息;其次为了恢复高频细节特征,在解码器结构中设计了双残差网络;最后,提出多尺度融合算法,有效融合了多尺度特征。在GoPro上的仿真实验表明,通过引入Transformer,所提算法分别在PSNR与SSIM评价指标和运行时间上均优于主流算法,PSNR与SSIM值分别为31.15 dB、0.957 7,同时从视觉上可以得到更多的图像细节。     

结合多尺度深度学习网络和Retinex理论的低光照图像增强算法

针对低光照增强任务缺乏参考图像及现有算法存在的色彩失真、纹理丢失、细节模糊、真值图像获取难等问题,本文提出了一种基于Retinex理论与注意力机制的多尺度加权特征低光照图像增强算法。该算法通过基于Unet架构的特征提取模块对低光照图像进行多尺度的特征提取,生成高维度的多尺度特征图;建立注意力机制模块凸显对增强图像有利的不同尺度的特征信息,得到加权的高维特征图;最后反射估计模块中利用Retinex理论建立网络模型,通过高维特征图生成最终的增强图像。设计了一个端到端的网络架构并利用一组自正则损失函数对网络模型进行约束,摆脱了参考图像的约束,实现了无监督学习。最终实验结果表明本文算法在增强图像的对比度与清晰度的同时维持了较高的图像细节与纹理,具有良好的视觉效果,能够有效增强低光照图像,视觉质量得到较大改善;并与其他多种增强算法相比,客观指标PSNR和SSIM得到了提高。     

多层次特征融合低照度图像增强算法

针对成像设备在夜间等低照度环境下采集的图像存在细节丢失、动态范围较窄和大量噪声等特点，导致采集图像清晰度低、可用性不高和识别性较差等问题，提出了一种多层次特征融合(Multi-level Feature Fusion, MFF-Net)算法。该算法利用多尺度采样构建U型网络，并引入多种注意力机制多线程处理图像流，各支路特征向量跨通道交互，协同渐进式抑制冗余信息。高效运用特征融合模块强化对低尺度纹理细节和多层次特征的感知。设计了由峰值信噪比(Peak Signal to Noise Ratio, PSNR)和结构相似性(Structural Similarity, SSIM)指标构成的损失函数，有目的地引导网络由浅到深地学习图像之间的映射关系，从而加快模型收敛速度，助力提高模型性能和图像增强。所提算法在LOL数据集Low-Light Dataset上进行了相关实验和测试。其PSNR、SSIM和学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)等6种客观评价指标上整体优于大部分先进算法。实验结果表明，所构建的模型能有效抑...     

基于多尺度优化和动态特征融合的图像去模糊研究

目前采用U-Net结构的去模糊算法存在细节损失、图像质量欠佳等问题,因此对U-Net进行改进,提出一种基于多尺度优化和动态特征融合的图像去模糊方法。首先针对细节损失,提出一种精简且有效的多尺度残差注意力模块(Multi-Scale Residual Module, MSRM),通过增加特征尺度多样性来提取更精细的图像特征。此外,为了将更有利的特征传递到解码部分,在跳跃连接处设计动态特征融合模块(Dynamic Feature Fusion Module, DFFM),采用注意力加权的方式选择性融合不同阶段的编码特征。该算法采用多尺度内容损失和多尺度高频信息损失进行约束训练。在GoPro和RealBlur数据集上的实验结果表明,这种方法能有效改善图像质量,复原更丰富的细节信息。与现有去模糊算法相比,本文算法在主观视觉和客观评价等方面均具有一定优势。     

基于注意力的多尺度水下图像增强网络

水下图像往往会因为光的吸收和散射而出现颜色退化与细节模糊的现象,进而影响水下视觉任务。该文通过水下成像模型合成更接近水下图像的数据集,以端到端的方式设计了一个基于注意力的多尺度水下图像增强网络。在该网络中引入像素和通道注意力机制,并设计了一个多尺度特征提取模块,在网络开始阶段提取不同层次的特征,通过带跳跃连接的卷积层和注意力模块后得到输出结果。多个数据集上的实验结果表明,该方法在处理合成水下图像和真实水下图像时都能有很好的效果,与现有方法相比能更好地恢复图像颜色和纹理细节。     

基于改进的MSRCR-CLAHE融合的水下图像增强算法

针对海洋复杂成像环境导致的水下图像出现颜色衰退、对比度低等问题,提出一种改进的带色彩恢复的多尺度视网膜（Multi-Scale Retinex with Color Restore,MSRCR）与限制对比度自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization,CLAHE）多尺度融合的水下图像增强算法。首先,采用带有导向滤波的MSRCR算法解决水下图像颜色衰退的问题;其次,采用带有Gamma校正的CLAHE算法以提高水下图像的对比度;最后,对经过改进的MSRCR和CLAHE处理后的图像进行多尺度融合以获得细节增强后的水下图像。实验结果表明,和其他算法相比,文中算法的峰值信噪比（Peak Signal to Noise Ratio,PSNR）平均提高了9.3914、结构相似性（Structural Similarity Index Measure,SSIM）平均提高了0.3013、水下图像评价指标（Underwater Image Quality Evaluation,UIQE）平均提高了4.7047,能实现水下图像的有效增强...     

结合特征融合与物理校正的水下图像增强方法

为解决由于光的吸收和散射现象导致拍摄的水下图像呈现出严重色偏，对比度低等质量问题，本文提出轻量级特征融合网络和多颜色模型校正相结合的水下图像增强方法。首先使用自构建块代替卷积层的编码器和解码器结构的特征融合网络对水下图像色偏进行校正，网络中改进的特征融合模块降低全连接层对图像空间结构的破坏，保护空间特征，减少模块的参数量。同时改进的注意力模块并行池化计算提取特征图纹理细节且保护背景信息。然后使用多颜色模型校正模块根据像素之间关系进行校正，进一步减少色偏，提高对比度和亮度。实验结果表明，与最新的图像增强方法对比，在有参考图像数据集上，本文方法的NRMSE、PSNR和SSIM评价指标的平均值分别比第二名提升了9.3%、3.7%和2.3%。在无参考图像数据集上，本文方法的UCIQE、IE和NIQE评价指标的平均值比第二名提升了6.0%、2.9%和4.5%。综合主观感知和客观评价，本文方法能校正水下图像色偏，提升对比度和亮度，提高图像质量。     

基于生成对抗网络的轻量级全局-局部水下图像增强算法

为解决光在水下传播过程中由吸收与散射效应导致的水下图像产生色偏、对比度低、细节缺失和噪音等问题，设计了一种融入注意力机制的轻量级全局-局部生成对抗网络水下图像增强算法。算法通过改进GAN网络以及设计新的损失函数，提高图像增强效果。实验结果表明，所提出的方法在校正色偏、提高对比度、增强细节和消除噪音等方面较现有流行的水下图像增强算法均取得了很大的进步，同时也进行了时间测试以及应用测试，实验结果表明，提出的水下图像增强方法能够快速有效地提高水下图像的质量。     

Color correction and restoration based on multi-scale recursive network for underwater optical image

Underwater image processing has played an important role in various fields such as submarine terrain scanning, submarine communication cable laying, underwater vehicles, underwater search and rescue. However, there are many difficulties in the process of acquiring underwater images. Specifically, the water body will selectively absorb part of the light when light travels through the water, resulting in color degradation of underwater images. At the same time, due to the influence of floating substances in the water, the light has a certain degree of scattering, which will bring serious problems such as blurred details and low contrast to underwater images. Therefore, using image processing technology to restore the real appearance of underwater images has a high practical value. In order to solve the above problems, we combine the color correction method with the deblurring network to improve the quality of underwater images in this paper. Firstly, aiming at the problem of insufficient number and diversity of underwater image samples, a network combined with depth image reconstruction and underwater image generation is proposed to simulate underwater images based on the style transfer method. Secondly, for the problem of color distortion, we propose a dynamic threshold color correction method based on image global information combined with the loss law of light propagation in water. Finally, in order to solve the problem of image blurring caused by scattering and further improve the overall image clarity, the color-corrected image is reconstructed by a multi-scale recursive convolutional neural network. Experiment results show that we can obtain images closer to underwater style with shorter training time. Compared with several latest underwater image processing methods, the proposed method has obvious advantages in multiple underwater scenes. Simultaneously, we can restore the color information, remove blurring and boost detail for underwater images.     

多输入融合对抗网络的水下图像增强

针对水下图像出现对比度低、颜色偏差和细节模糊等问题,提出了多输入融合对抗网络进行水下图像增强。该方法主要特点是生成网络采用编码解码结构,通过卷积层滤除噪声,利用反卷积层恢复丢失的细节并逐像素进行细化图像。首先,对原始图像进行预处理,得到颜色校正和对比度增强两种类型图像。其次,利用生成网络学习两种增强图像与原始图像之间差异的置信度图。然后,为减少在生成网络学习过程中两种增强算法引入的伪影和细节模糊,添加了纹理提取单元对两种增强图像进行纹理特征提取,并将提取的纹理特征与对应的置信度图进行融合。最后,通过构建多个损失函数,反复训练对抗网络,得到增强的水下图像。实验结果表明,增强的水下图像色彩鲜明并且对比度提升,评价指标UCIQE均值为0.639 9,NIQE均值为3.727 3。相比于其他算法有显著优势,证明了该算法的良好效果。     

融合深度学习与多尺度Retinex的水下图像增强方法

针对水下图像纹理模糊和色偏严重等问题,提出了一种融合深度学习与多尺度导向滤波Retinex的水下图像增强方法。首先,将陆上图像采用纹理和直方图匹配法进行退化,构建退化水下图像失真的数据集并训练端到端卷积神经网络(convolutional neural network,CNN) 模型,利用该模型对原始水下图像进行颜色校正,得到色彩复原后的水下图像;然后,对色彩复原图像的亮度通道,采用多尺度Retinex(multi-scale Retinex,MSR) 方法得到纹理增强图像;最后,融合色彩复原图像中的颜色分量和纹理增强图像得到最终水下增强图像。本文利用仿真水下图像数据集和真实水下图像对提出方法进行性能测试。实验结果表明,所提方法的均方根误差、峰值信噪比、CIEDE2000和水下图像质量评价指标分别为0.302 0、17.239 2 dB、16.878 4和4.960 0,优于5种对比方法,增强后的水下图像更加真实自然。本文方法在校正水下图像颜色失真的同时,能有效提升纹理清晰度和对比度。     

基于特征解耦的无监督水下图像增强

水介质的吸收和散射特性致使水下图像存在不同类型的失真,严重影响后续处理的准确性和有效性。目前有监督学习的水下图像增强方法依靠合成的水下配对图像集进行训练,然而由于合成的数据可能无法准确地模拟水下成像的基本物理机制,所以监督学习的方法很难应用于实际的应用场景。该文提出一种基于特征解耦的无监督水下图像增强方法,一方面,考虑获取同一场景下的清晰-非清晰配对数据集难度大且成本高,提出采用循环生成对抗网络将水下图像增强问题转换成风格迁移问题,实现无监督学习;另一方面,结合特征解耦方法分别提取图像的风格特征和结构特征,保证增强前后图像的结构一致性。实验结果表明,该方法可以在非配对数据训练的情况下,能够有效恢复水下图像的颜色和纹理细节。     

Multi-scale fusion residual encoder-decoder approach for low illumination image enhancement

The sensing light source of the line scan camera cannot be fully exposed in a low light environment due to the extremely small number of photons and high noise, which leads to a reduction in image quality. A multi-scale fusion residual encoder-decoder (FRED) was proposed to solve the problem. By directly learning the end-to-end mapping between light and dark images, FRED can enhance the image's brightness with the details and colors of the original image fully restored. A residual block (RB) was added to the network structure to increase feature diversity and speed up network training. Moreover, the addition of a dense context feature aggregation module (DCFAM) made up for the deficiency of spatial information in the deep network by aggregating the context's global multi-scale features. The experimental results show that the FRED is superior to most other algorithms in visual effect and quantitative evaluation of peak signa-to-noise ratio (PSNR) and structural similarity index measure (SSIM). For the factor that FRED can restore the brightness of images while representing the edge and color of the image effectively, a satisfactory visual quality is obtained under the enhancement of low-light.     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于多尺度特征结合细节恢复的单幅图像去雾方法

为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性,该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先,根据雾在图像中的分布特性及成像原理,设计多尺度特征提取模块及多尺度特征融合模块,从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次,构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络,并利用该网络获得初步去雾结果。再次,构造基于图像分块的细节恢复网络以提取细节信息。最后,将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像,实现对去雾后图像视觉效果的增强。实验结果表明,与已有代表性的图像去雾方法相比,所提方法能够对合成图像及真实图像中的雾进行有效去除,且去雾结果细节信息保留完整。     

基于改进生成对抗网络的低剂量CT去噪算法

针对低剂量计算机断层扫描(computerized tomography,CT)在图像采集过程中引入较多噪声,造成图像质量严重下降的问题, 提出一种基于残差注意力机制与复合感知损失的低剂量CT去噪算法。在该算法中,利用生 成对抗网络完成对低剂量CT图像的去噪,在网络框架中引入多尺度特征提取及残差注意力 模块,以融合图像中不同尺度的信息,提高网络对噪声特征的区分能力,避免在去噪过程中 丢失图像细节信息。同时采用复合感知损失函数,以加快网络收敛速度,促使去噪图像在感 知上与原图像更接近。实验结果表明:与现有的算法相比,所提算法能够有效抑制低剂量 CT图像中的噪声,并恢复更多的纹理细节;对比低剂量CT图像,所提算法处理后的CT 图像峰值信噪比(peak signal-to-noise ratio,PSNR) 值提高了31.72%, 结构相似性(structural similarity,SSIM)值提高了13.15%,可以满足更高的医学影像诊断要求 。