基于三分支对抗学习和补偿注意力的红外和可见光图像融合

针对现有深度学习图像融合方法依赖卷积提取特征,并未考虑源图像全局特征,融合结果容易产生纹理模糊、对比度低等问题,本文提出一种基于三分支对抗学习和补偿注意力的红外和可见光图像融合方法。首先,生成器网络采用密集块和补偿注意力机制构建局部-全局三分支提取特征信息。然后,利用通道特征和空间特征变化构建补偿注意力机制提取全局信息,更进一步提取红外目标和可见光细节表征。其次,设计聚焦双对抗鉴别器,以确定融合结果和源图像之间的相似分布。最后,选用公开数据集TNO和RoadScene进行实验并与其他9种具有代表性的图像融合方法进行对比,本文提出的方法不仅获得纹理细节更清晰、对比度更好的融合结果,而且客观度量指标优于其他先进方法。     

基于注意力机制的残差密集网络红外/可见光图像融合

针对弹载武器可见光图像与红外融合高层特征融合不足,目标细节表现不突出导致打击目标检测失败的问题,提出了一种基于注意力机制的残差密集网络的红外与可见光图像融合模型。受残差网络和密集网络的启发,设计了一种基于残差密集网络的图像融合算法解决融合图像细节纹理信息不足的问题。采用注意力机制有效提取目标特征区域的关键信息,通过局部残差融合和全局残差融合算法保留目标的纹理细节。此外,为了更好地保留可见光图像中的细节纹理,对目标细节特征发现时增强特征抑制。实验证明,该算法能够增强目标细节特征,同时有效保存了其轮廓信息,与不采用注意机制提高相比,融合精度提高了5%,运算量下降2%左右。     

基于边缘保持和注意力生成对抗网络的红外与可见光图像融合

由于红外与可见光图像特征差异大,并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系,深度学习在图像融合领域的应用受到了限制。针对此问题,提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架,应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想,将融合问题视为源图像和融合图像对抗的关系,并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系,增强了显著性目标特征表达。同时提出了一种边缘损失函数,将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明,该方法能有效融合红外目标和可见光纹理信息,锐化图像边缘,显著提高图像清晰度和对比度。     

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道-空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。     

基于双通道多尺度特征提取和注意力的SAR与多光谱图像融合

图像融合的根本任务是提取图像特征,由于合成孔径雷达（Synthetic Aperture Radar,SAR）图像和多光谱（Multi Spectral,MS）图像存在通道差异,针对现有算法难以充分提取和利用SAR图像的高频细节信息和多光谱图像的低频光谱信息,融合图像存在细节丢失和光谱失真问题。本文提出了一种基于双通道多尺度特征提取和混合注意力的图像融合算法。首先采用双通道网络提取SAR和多光谱图像的多尺度高频细节特征和低频光谱特征,并连续使用不同空洞率的扩张卷积扩大感受野。然后将提取的特征映射到混合注意力模块中进行特征增强,再将这些增强特征与上采样的多光谱图像叠加。同时构建了基于光谱角度距离的损失函数,可以进一步缓解细节丢失和光谱失真。最后通过解码网络重建图像,得到高分辨率的融合图像。实验结果表明,本文算法达到了领先水平,并且融合图像在细节和光谱上保持了较好的平衡。     

基于Contourlet系数局部特征的选择性遥感图像融合算法

为了使融合后的多光谱图像在显著提高空间分辨率的同时,尽可能多地保持原始多光谱特性,提出了一种基于Contourlet变换系数局部特征的选择性遥感图像融合方法。根据多光谱和全色图像融合过程中Contourlet变换后的低频和高频部分融合目的的不同,对得到的近似和各层各方向的细节分量分别运用窗口邻域移动模板逐一计算相应区域Contourlet系数阵的不同局部特征量,然后选择适当的准则,对图像的近似和细节分量分别应用不同的策略在Contourlet系数域内进行选择性融合,通过Contourlet和亮度-色调-饱和度(IHS)逆变换得到融合的高分辨率多光谱图像。采用Landsat TM多光谱和SPOT全色图像进行的融合实验结果表明:提出的算法在显著提高空间分辨率的同时,又能很好地保持原始图像的光谱特征,并优于传统的融合方法。     

融合压缩激活注意机制的图像去雾算法

针对非均匀带雾图像出现颜色失真和细节丢失的问题,提出一种融合压缩激活注意力机制的端到端感知去雾卷积神经网络。首先,根据非均匀雾图特征,在特征融合注意网络上引入压缩激活注意力机制,通过学习的方式自动获取每个特征通道的重要程度,并对其进行排序后去提升有用的特征权重,遏制对当前任务用途较小的特征比例;其次,在损失函数方面融入感知损失,使去雾网络模型学习到更多语义特征信息,从而加强被模糊的边缘细节,获取较好的去雾效果;最后,在非均匀带雾图像NH-HAZE数据集上进行定性和定量分析。实验结果表明,所提出的网络与经典方法相比在量化指标PSNR、SSIM分别提升了3.05 dB和0.08%,且主观视觉效果上保留了更多的边缘信息和纹理细节。     

联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法

为尽可能保持原始低分辨率多光谱(LRMS)图像光谱信息的同时,显著提高融合后的多光谱图像的空间分辨率,该文提出一种联合多流融合和多尺度学习的卷积神经网络遥感图融合方法.首先将原始MS图像输入频谱特征提取子网得到其光谱特征,然后分别将通过梯度算子处理全色图像得到的梯度信息和通过卷积后的全色图像与得到的光谱特征图在通道上拼...     

LPformer：基于拉普拉斯金字塔多级Transformer的红外小目标检测

红外小目标检测是指从红外图像中分割出小目标,在火灾探测系统和海上监视及救援系统应用中具有重要意义。然而,由于目标尺寸小、特征不明显、背景环境复杂等因素,导致目前红外小目标检测算法的检测性能通常受到限制。针对上述问题,设计了一种基于拉普拉斯金字塔多级Transformer的红外小目标检测算法。首先,由于红外小目标尺寸较小,容易在网络迭代过程中损失纹理细节信息,利用拉普拉斯金字塔从原始输入的红外图像中提取出不同层级的高频边界信息,进一步通过一种结构信息转换模块与主干网络中不同层级的特征进行融合,用于对损失的纹理信息进行补偿;接着为了进一步提升网络的判别能力,在提高检测准确率的同时抑制虚警率,还采用了一种基于通道维的Transformer结构,将每个通道特征图作为图像块,并沿着通道维进行自注意力的计算。实验结果表明,与目前先进的检测算法相比,本文所提出的算法具有更高的检测性能。     

多尺度CNN与高频信息融合的图像去雾算法

针对现有去雾算法在恢复图像边缘区域效果不佳以及存在薄雾残留等问题,本文提出了一种基于多尺度卷积神经网络(CNN)与高频信息融合的图像去雾算法(HF-MSNet),采用拉普拉斯算子分离高频信息作为额外先验,用于提高图像细节恢复。首先,采用多尺度CNN作为主干网络,提取图像的主要纹理特征;其次,采用高频特征融合分支对高频信息逐阶段地提炼,并融合了通道注意力模块,使用注意力机制对不重要的特征进行约束;最后,采用高频注意力模块对全局特征自适应地筛选,整合高频特征和纹理特征的分布,得到目标的无雾图像。实验结果表明,本文的算法可以生成更自然真实的去雾图像,并在峰值信噪比(PSNR)、结构相似度(SSIM)两种指标上都达到了理想的效果。