基于注意力机制的残差密集网络红外/可见光图像融合

针对弹载武器可见光图像与红外融合高层特征融合不足,目标细节表现不突出导致打击目标检测失败的问题,提出了一种基于注意力机制的残差密集网络的红外与可见光图像融合模型。受残差网络和密集网络的启发,设计了一种基于残差密集网络的图像融合算法解决融合图像细节纹理信息不足的问题。采用注意力机制有效提取目标特征区域的关键信息,通过局部残差融合和全局残差融合算法保留目标的纹理细节。此外,为了更好地保留可见光图像中的细节纹理,对目标细节特征发现时增强特征抑制。实验证明,该算法能够增强目标细节特征,同时有效保存了其轮廓信息,与不采用注意机制提高相比,融合精度提高了5%,运算量下降2%左右。     

基于深度学习的非局部注意力增强网络图像去雨算法研究

单幅图像去雨技术的瓶颈问题是在缺少帧与帧时间序列信息的情况下,如何能够在有效去除多密度雨条纹的同时保留图像背景的细节结构信息.针对该问题,本文提出了一种新的基于编码解码器结构的单幅图像去雨算法.首先利用非局部操作获得不同像素点间的位置关系信息,从而获得图像全局信息表征.其次,采用空间注意力机制对全局信息在空间维度位置上进行权值重标定,即在通道维度上对特征进行非线性建模,从而达到聚集相似特征和有用信息的目的.最后,利用反卷积与长距离残差连接逐层恢复去雨图像的大小.分析和实验结果表明,本文提出算法雨痕去除效果明显,有效解决了去除具有不同雨密度大小雨条纹的现实困难,同时较好地保留图像的细节和边缘信息.     

多尺度CNN与高频信息融合的图像去雾算法

针对现有去雾算法在恢复图像边缘区域效果不佳以及存在薄雾残留等问题,本文提出了一种基于多尺度卷积神经网络(CNN)与高频信息融合的图像去雾算法(HF-MSNet),采用拉普拉斯算子分离高频信息作为额外先验,用于提高图像细节恢复。首先,采用多尺度CNN作为主干网络,提取图像的主要纹理特征;其次,采用高频特征融合分支对高频信息逐阶段地提炼,并融合了通道注意力模块,使用注意力机制对不重要的特征进行约束;最后,采用高频注意力模块对全局特征自适应地筛选,整合高频特征和纹理特征的分布,得到目标的无雾图像。实验结果表明,本文的算法可以生成更自然真实的去雾图像,并在峰值信噪比(PSNR)、结构相似度(SSIM)两种指标上都达到了理想的效果。     

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道-空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。     

基于双注意力机制的雾天图像清晰化算法研究

针对传统去雾算法容易依赖先验知识以及恢复出来的清晰图像会产生颜色失真等问题,本文提出一种基于双注意力机制的雾天图像清晰化算法。首先将雾图输入编码器,经过下采样后得到特征图像;特征提取模块将多个特征提取基本块联结在一起,每个基本块由局部残差学习和特征注意模块组成,提高图像质量以及图像特征信息的利用率,增加网络训练的稳定性;然后通过通道注意力与多尺度空间注意力并行的结构处理特征图像,使得网络更加关注细节特征,提取更多关键信息,同时提高网络效率;最后将融合后的特征图像输入解码器中,经过多级映射,得到与输入大小匹配的雾密度图。实验结果表明,不论是对合成雾天图像或者真实雾天图像,本文算法能够高效地进行去雾处理,得到更自然的清晰图像。     

基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。     

基于增强多尺度特征网络的图像去模糊

现有的多尺度多阶段图像去模糊方法存在多尺度图像特征提取利用不充分和阶段加深导致特征信息丢失的问题。针对上述问题,提出了一种基于增强多尺度特征网络的图像去模糊方法。首先,提出一个多尺度残差特征提取模块,在两个分支中使用不同大小的卷积核扩大感受野,充分提取不同分辨率大小图像的特征信息。其次,提出跨阶段注意力模块,过滤和传递图像的关键特征。最后,设计类似于跳跃连接的跨阶段特征融合模块,弥补特征损失,同时融合来自不同大小输入图像的特征信息,丰富空间特征信息,以更好地处理纹理细节。在GoPro和HIDE数据集上的实验结果表明,所提方法能够很好地重建图像。     

基于双通道多尺度特征提取和注意力的SAR与多光谱图像融合

图像融合的根本任务是提取图像特征,由于合成孔径雷达（Synthetic Aperture Radar,SAR）图像和多光谱（Multi Spectral,MS）图像存在通道差异,针对现有算法难以充分提取和利用SAR图像的高频细节信息和多光谱图像的低频光谱信息,融合图像存在细节丢失和光谱失真问题。本文提出了一种基于双通道多尺度特征提取和混合注意力的图像融合算法。首先采用双通道网络提取SAR和多光谱图像的多尺度高频细节特征和低频光谱特征,并连续使用不同空洞率的扩张卷积扩大感受野。然后将提取的特征映射到混合注意力模块中进行特征增强,再将这些增强特征与上采样的多光谱图像叠加。同时构建了基于光谱角度距离的损失函数,可以进一步缓解细节丢失和光谱失真。最后通过解码网络重建图像,得到高分辨率的融合图像。实验结果表明,本文算法达到了领先水平,并且融合图像在细节和光谱上保持了较好的平衡。     

基于空洞卷积与双注意力机制的红外与可见光图像融合

针对红外与可见光图像融合算法中多尺度特征提取方法损失细节信息,且现有的融合策略无法平衡视觉细节特征和红外目标特征,出了基于空洞卷积与双注意力机制（Dilated Convolution and Dual Attention Mechanism, DCDAM）的融合网络。该网络首先通过多尺度编码器从图像中提取原始特征,其中编码器利用空洞卷积来系统地聚合多尺度上下文信息而不通过下采样算子。其次,在融合策略中引入双注意力机制,将获得的原始特征输入到注意力模块进行特征增强,获得注意力特征;原始特征和注意力特征合成最终融合特征,得在不丢失细节信息的情况下捕获典型信息,同时抑制融合过程中的噪声干扰。最后,解码器采用全尺度跳跃连接和密集网络对融合特征进行解码生成融合图像。通过实验表明,DCDAM比其他同类有代表性的方法在定性和定量指标评价都有提高,体现良好的融合视觉效果。     

基于联合注意力的渐进式遥感图像融合

为发挥遥感图像在国防军事、公共安全、环境监测等领域的重要作用,如何融合已配准的高分辨率全色图像与低分辨率多光谱图像的互补信息成为当前研究的重点。尽管近年来全色锐化方法已取得较大进步,但大多数方法仍受到以下限制:一方面,利用Wald协议退化生成不同尺寸图像时会造成信息损失;另一方面,受到网络结构和单一注意力的限制,无法同时利用全局和局部特征。为解决以上问题,本文提出了基于联合注意力的渐进式网络(Pan-sharpening based onmulti-attention progressive network),称为MAPNet。在该网络中,首先采用多阶段训练以减小尺寸变化带来的光谱和细节损失。其次设计联合注意力模块,将自注意力、空间注意力和通道注意力结合,实现对全局特征和局部特征、空间特征和通道特征的多模态分析,进一步提高MAPNet对纹理细节的保留能力。在高分二号卫星上进行大量对比实验和消融实验,定性和定量结果表明,本文方法融合效果优于其他10种方法,能够改善光谱失真和细节纹理丢失等问题。     

Single image deraining using multi-scales context information and attention network

The existing deraining methods based on convolutional neural networks (CNNs) have made great success, but some remaining rain streaks can degrade images drastically. In this work, we proposed an end-to-end multi-scale context information and attention network, called MSCIANet. The proposed network consists of multi-scale feature extraction (MSFE) and multi-receptive fields feature extraction (MRFFE). Firstly, the MSFE can pick up features of rain streaks in different scales and propagate deep features of the two layers across stages by skip connections. Secondly, the MRFFE can refine details of the background by attention mechanism and the depthwise separable convolution of different receptive fields with different scales. Finally, the fusion of these outputs of two subnetworks can reconstruct the clean background image. Extensive experimental results have shown that the proposed network achieves a good effect on the deraining task on synthetic and real-world datasets. The demo can be available at https://github.com/CoderLi365/MSCIANet.     

AMSFF-Net: Attention-Based Multi-Stream Feature Fusion Network for Single Image Dehazing

In this paper, an end-to-end convolutional neural network is proposed to recover haze-free image named as Attention-Based Multi-Stream Feature Fusion Network (AMSFF-Net). The encoder-decoder network structure is used to construct the network. An encoder generates features at three resolution levels. The multi-stream features are extracted using residual dense blocks and fused by feature fusion blocks. AMSFF-Net has ability to pay more attention to informative features at different resolution levels using pixel attention mechanism. A sharp image can be recovered by the good kernel estimation. Further, AMSFF-Net has ability to capture semantic and sharp textural details from the extracted features and retain high-quality image from coarse-to-fine using mixed-convolution attention mechanism at decoder. The skip connections decrease the loss of image details from the larger receptive fields. Moreover, deep semantic loss function emphasizes more semantic information in deep features. Experimental findings prove that the proposed method outperforms in synthetic and real-world images.     

一种有效融合多尺度特征的图像语义分割方法

卷积神经网络在高级计算机视觉任务中展现出强 大的特征学习能力,已经在图像语义 分割任务 中取得了显著的效果。然而,如何有效地利用多尺度的特征信息一直是个难点。本文提出一 种有效 融合多尺度特征的图像语义分割方法。该方法包含4个基础模块,分别为特征融合模块(feature fusion module,FFM)、空 间信息 模块(spatial information module,SIM)、全局池化模块(global pooling module,GPM)和边界细化模块(boundary refinement module,BRM)。FFM采用了注意力机制和残差结构,以提高 融合多 尺度特征的效率,SIM由卷积和平均池化组成,为模型提供额外的空间细节信息以 辅助定 位对象的边缘信息,GPM提取图像的全局信息,能够显著提高模型的性能,BRM以残差结构为核心,对特征图进行边界细化。本文在全卷积神经网络中添加4个基础模块, 从而有 效地利用多尺度的特征信息。在PASCAL VOC 2012数据集上的实验结 果表明该方法相比全卷积神 经网络的平均交并比提高了8.7%,在同一框架下与其他方法的对比结 果也验证了其性能的有效性。     

结合时序注意力机制的多特征融合行人序列图像属性识别方法

目前绝大多数的行人属性识别任务都是基于单张图像的,单张图像所含信息有限,而图像序列中包含丰富的有用信息和时序特征,利用序列信息是提高行人属性识别性能的一个重要途径.本文提出了结合时序注意力机制的多特征融合行人序列图像属性识别网络,该网络除了使用常见的空-时二次平均池化特征聚合和空-时平均最大池化特征聚合提取序列的特征外...     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

融合注意力机制的金属缺陷图像分割方法

由于金属表面缺陷图像的特性,有效精确分割是图像处理任务中的一大挑战.为了获得缺陷的类型、大小及位置信息,本文提出一种融合注意力机制的金属缺陷图像分割网络.该网络分为两条路径,语义信息路径主要由残差块构成的卷积网络获得特征图,采样过程中分步融合注意力机制以增强特征与背景对比度.旁路路径设计注意力机制模块获得位置信息的权重...     

Single image deraining with dual U-Net generative adversarial network

Most of the existing deraining methods cannot preserve the details of the image while removing the rain streaks. To solve this problem, we propose a single image de-raining method with dual U-Net generative adversarial network (DU-GAN). By using two U-Net with stronger learning ability as our generator DU-GAN can not only accurately remove more rain streaks but also preserve image details. The network can make full use of image information and extract complete image features. The adversarial loss function using the proposed dual U-Net generator is utilized to generate de-rained images which are close to the ground truth. Furthermore, to obtain the better visual effects of the generated image, The L1 and structure similarity loss functions which are consistent with the human visual effect are applied to generate the final output. The synthetic rainy image datasets and real rainy image datasets are used to evaluate the effectiveness of the proposed network in the experiments. The quantitative and visual experimental results show that the proposed single image deraining method achieves state-of-the-art compared with the other single image deraining methods. The source code can be found at https://github.com/LuBei-design/DU-GAN.

     

基于3D全卷积网络的腹部动脉CTA分割算法

目前卷积神经网络已成为腹部动脉血管分割领域的研究热点,但经典的卷积网络存在分割精度低和分割血管不连续的问题。为此,文中提出了基于改进3D全卷积网络的腹部动脉血管分割算法。该方法在网络的编码路径上构造不同尺度的侧输入,并将侧输入卷积后的图像与下采样卷积后的图像进行融合,提取更多的特征信息。同时,网络中嵌入了新的多尺度特征提取模块,该模块将通道注意力与密集扩张卷积进行了融合,有效地捕获了更高层次的特征信息。对腹部动脉血管进行分割的结果表明,与其他分割方法相比,所提方法在直观性和定量性上均有提高,证明了该方法能够提升血管分割精度。     

Image fusion based on discrete Chebyshev moments

Though deep learning-based methods have demonstrated strong capabilities on image fusion, they usually improve the fusion performance by increasing the width and depth of the network, increasing the computational effort and being unsuitable for industrial applications. In this paper, an end-to-end network based on fixed convolution module of discrete Chebyshev moments is proposed, which does not need any pre- or post-processing. The proposed network is roughly composed of three parts: feature extraction module, fusion module and feature reconstruction module. In the feature extraction module, a novel fixed convolution module based on discrete Chebyshev moments is proposed to obtain different frequency components in a short time. To improve the image sharpness and fuse more details, a spatial attention mechanism based on average gradient is proposed in fusion module. Extensive results demonstrate that the proposed network can achieve remarkable fusion performance, high time efficiency and strong generalization ability.