基于注意力密集网络的伪彩色红外与 可见光图像融合

针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问 题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩 色的可见光图像组成多通道数据输入融合网络。其次,设计了一种由卷积层和带有注意力模块的密集连接块组成的生成器 网络结构,关注源图像的关键信息,增强网络提取源图像信息的能力。最后,利用红外像素、可见光像素、可见光梯度和红外 梯度构建内容损失函数,以保持融合图像中红外目标和纹理细节的平衡。与5种具有代表性的融合方法进行定性和定量比 较。结果表明,该方法所获得融合图像的峰值信噪比、信息熵、平均梯度和互信息取得最优值,分别为31.6841、6.5581、 6.0096、3.0960。定量以及定性结果证明所提融合方法使融合图像具有更为丰富的纹理细节以及良好的视觉效果。     

基于深层次多分类生成对抗网络的红外与可见光图像融合方法

为了实现红外和可见光图像信息的良好平衡,本文利用生成对抗网络技术,提出了一种深层次多分类的生成对抗网络红外与可见光图像融合方法。该方法将主辅思想引入到生成器的梯度和强度信息提取中,并提高了生成器卷积层的深度及浅层网络信息提取能力。在鉴别器中使用多分类器同时估计可见光和红外区域的分布。经过连续的对峙学习,使融合结果中具有显著的对比度和丰富的纹理细节信息。实验获得的信息熵及香农熵值为6.86、互信息值为13.72、标准差值为34.82、结构相似性值为0.71。对比实验结果表明,在主客观评价中,本文提出的方法获得更好的红外与可见光图像融合性能。     

用于红外与可见光图像融合的注意力残差密集融合网络

为了解决当前红外与可见光图像融合算法中易出现场景信息缺失、目标区域细节模糊、融合图像不自然等问题,提出一 种用于红外与可见光图像融合的注意力残差密集融合网络(ARDFusion)。 本文整体架构是一种自编码器网络,首先,利用存在 最大池化层的编码器对源图像进行多尺度特征提取,然后,利用注意力残差密集融合网络分别对多个尺度的特征图进行融合, 网络中的残差密集块可以连续存储特征并且最大程度地保留各层特征信息,注意力机制可以突出目标信息并获取更多与目标、 场景有关的细节信息。 最后,将融合后的特征输入到解码器中,通过上采样和卷积层对特征进行重构,得到融合图像。 本文提 出了一种用于红外与可见光图像融合的注意力残差密集融合网络,实验结果表明,较已有文献的其他典型融合算法,具有较好 的融合效果,能够更好地保留可见光图像中的光谱特性且红外目标显著,并在主观评价和客观评价方面都取得了较好的融合 性能。     

基于拉普拉斯分解耦合亮度调节的可见光与红外图像融合算法

为了解决当前较多可见光与红外图像融合方法的融合结果中的目标信息不突出等问题,引入拉普拉斯分解机制,采用 图像的亮度特征来融合可见光与红外图像。 借助拉普拉斯分解方法,对输入图像进行分层,求取不同的图层信息。 并利用图像 的均值特征,计算图像的亮度信息,对低频图层的融合权值进行自适应调整,从而得到一个目标信息完整度较高的融合低频图 层。 基于图像的空间频率特征,对高频图层所含的细节丰富度进行评估,以获取一个细节丰富的融合高频图层。 再利用拉普拉 斯逆分解方法,对低、高频图层完成融合。 实验数据显示,较已有的融合算法而言,所提算法的融合结果更能突出目标信息,具 备更为丰富的细节特征。     

基于NSST图像融合的变电站开关状态识别

针对变电站中开关状态图像识别易发生误判的问题,提出了一种基于非下采样剪切波变换(NSST)图像融合的变电站开关图像识别方法。该方法采用可见光和红外光双摄像模式,得到开关可见光图像和红外图像,根据两者的特点与互补特性,采用基于NSST的图像融合算法对可见光图像和红外图像进行融合,生成含有两种开关图像丰富细节信息和特征量的融合图像,采用改进加速稳健特征(SURF)算法对融合图像进行目标特征量提取和匹配,再采用基于混沌布谷鸟(CCS)算法的多阈值图像分割技术进行处理,最后基于霍夫变换得到开关臂和触点所在直线的斜率,根据两者角度差判别开关状态。仿真实验表明:所提方法对闭合与断开状态隔离开关的识别率分别为94.4%和100%,验证了所提方法的有效性。     

基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。     

基于改进循环生成对抗网络实现红外图像生成

针对目前已有的可见光图像生成红外图像的算法不能感知图像的弱纹理区域而导致生成的图像细节信息不突出、图像质量低的问题，本文提出了一种适用于图像生成任务的改进循环生成对抗网络（CycleGAN）结构。首先，利用特征提取能力更强的残差网络构建CycleGAN的生成器网络结构，使图像特征可以充分被提取，解决图像因特征提取不充分导致图像质量低下的问题；其次，在生成器的网络结构中引入了通道注意力机制和空间注意力机制，利用注意力机制对图像感知能力较差的区域进行权重处理，解决图像纹理细节丢失的问题。在OSU数据集上，本文所提出的方法相较于CycleGAN方法在峰值信噪比(PSNR)以及结构相似性(SSIM)指标上分别提高了7.1%和10.9%，在Flir数据集上的PSNR和SSIM分别提高了4.0%和6.7%。经过多个数据集上的实验结果证明，本文改进的方法能够突出图像生成任务中的细节特征信息，并且能有效地提升图像生成的质量。     

基于显著性检测与权重映射的可见光与红外图像融合算法

为了解决当前可见光(VI)与红外(IR)图像融合中易出现信息丢失,以及存在伪影等问题,提出了一种显著性检测耦合权重映射结合的VI与IR图像融合算法。分别对VI和IR图像进行二尺度分解,得到基础层和细节层。为了提高VI和IR融合效果,定义了一种显著性特征检测方法,在每个源图像上应用均值滤波以减小像素与其相邻像素之间的强度变化,以完成平滑处理。再借助中值滤波来消除每个源图像中的噪声与伪影,较好地保留图像边缘。并通过取均值和中值滤波输出的差异来计算图像的显著性特征,以突出边缘和直线等显著性信息。然后,通过对显著性检测结果完成归一化处理,以构建权重映射,为细节层分配合适的权重。再将基础层和细节层采用不同的规则进行融合,其中,联合权重映射与细节层,得到最终的细节信息,并借助平均融合规则来完成基础层的融合。最后,利用最终基础层和细节层的线性组合来构造新图像。实验表明,与当前多尺度图像融合技术相比,所提算法仅采用两尺度分解,显著提高了融合效率,而且得到的融合图像具有更好融合质量,有效消除了伪影,在融合过程中的信息丢失量更少。     

基于显著性检测与权重映射的可见光与红外图像融合算法

为了解决当前可见光(VI)与红外(IR)图像融合中易出现信息丢失,以及存在伪影等问题,提出了一种显著性检测耦合权重映射结合的VI与IR图像融合算法。分别对VI和IR图像进行二尺度分解,得到基础层和细节层。为了提高VI和IR融合效果,定义了一种显著性特征检测方法,在每个源图像上应用均值滤波以减小像素与其相邻像素之间的强度变化,以完成平滑处理。再借助中值滤波来消除每个源图像中的噪声与伪影,较好地保留图像边缘。并通过取均值和中值滤波输出的差异来计算图像的显著性特征,以突出边缘和直线等显著性信息。然后,通过对显著性检测结果完成归一化处理,以构建权重映射,为细节层分配合适的权重。再将基础层和细节层采用不同的规则进行融合,其中,联合权重映射与细节层,得到最终的细节信息,并借助平均融合规则来完成基础层的融合。最后,利用最终基础层和细节层的线性组合来构造新图像。实验表明,与当前多尺度图像融合技术相比,所提算法仅采用两尺度分解,显著提高了融合效率,而且得到的融合图像具有更好融合质量,有效消除了伪影,在融合过程中的信息丢失量更少。     

基于多残差和多重特征融合的去雾算法

针对目前大多数图像去雾算法由于细节丢失导致去雾后的图像颜色失真,雾霾残留以及纹理细节模糊等问题,提出 一种基于多残差和多重特征融合端到端的去雾算法。首先通过设计浅层特征提取模块,为深层网络提高丰富信息的特征图; 其次设计多残差级联模块,提取多层次特征,帮助模型学习更加复杂的特征表示;然后设计局部-全局特征融合模块,捕获从最 细微到最广泛的特征;最后设计结合残差注意力的跨层特征融合模块,避免上下采样后的细节缺失,更好地提取图像中的局 部与全局信息特征。实验结果表明,所提算法在 SOTS 室内、室外测试集上峰值信噪比(PSNR) 分别取得了33.12、31.07 dB, 结构相似性(SSIM) 分别取得0.986、0.983,与当前大多数主流算法相比得到了明显的提升,且在合成雾图像和真实雾霾图像 均取得了不错的去雾效果,复原图像细节更加清晰,更符合人类视觉感知。     

基于双阶段多尺度生成对抗网络的图像复原方法

针对人脸图像复原任务中对图像尺度信息利用不足和眼镜结构复原错误的问题,提出一种基于双阶段多尺度生成对 抗网络复原模型。该模型第1阶段引入改进损失的U-Net 粗重构网络,利用跳连接减少原始图像信息的丢失,融合3种不同 的损失函数提高生成器的重构能力,采用双判别器考虑全局信息和局部信息,并提出一种混合域注意力机制用于关注图像的 空间和通道信息。第2阶段的精修复网络构建了全新的特征增强模块,增强网络对细节信息的提取能力和对结构的表达能 力,引入相对判别器,用于关注生成样本与真实样本之间的相对真实性,提高了生成质量和训练稳定性。实验结果表明,该方 法能够复原各类图像缺失的情况,并能够有效复原佩戴眼镜的人脸图像,与其他方法相比,该方法的峰值信噪比、结构相似性 和感知相似度评估等指标分别提升了3.81%、2.65%和0.45%。     

基于 FAMGAN 的轮胎 X 光图像缺陷检测

针对气泡缺陷特征和图像背景像素差异较小、检测困难的问题,以Skip-GANomaly为基础框架,提出了融合注意力机制生成对抗网络(FAMGAN),首先,生成器中编码器和解码器之间的跳连层由注意力特征融合模块(AFF)和注意力机制模块(CBAM)构成,提高了对目标特征的关注、减少了图像特征丢失;然后,在判别器中加入联合上采样模块(JPU),提高了模型检测图像缺陷的速度。最后,将本文提出的FAMGAN网络与近几年经典的生成对抗网络在自制的轮胎缺陷数据集上进行训练、测试和评估。实验结果表明,本文提出的网络对轮胎气泡缺陷检测的精度达到0.837,相比于Skip-GANomaly网络提高了近30%。     

基于非下采样 Contourlet 变换耦合特征选择 机制的可见光与红外图像融合算法

为了克服当下较多可见光与红外图像融合方法因忽略了光谱特征而导致融合图像存在光谱扭曲、目标内容显著度较差等不足,提出了非下采样Contourlet变换(nonsubsampled contourlet transform, NSCT)耦合特征选择机制的图像融合算法。首先,通过NSCT对可见光与红外图像计算,分离出其不同图像系数。然后,利用信息熵函数,度量图像所含信息量的丰富度,以形成低频系数的融合系数,得到富含红外目标等丰富信息的融合低频系数。采用像素点的邻点信息,度量图像的清晰度特征,并引入均值函数,度量图像的光谱特征,再联合图像的清晰度特征,构造特征选择机制,从图像中选择理想的高频系数融合函数,获取兼顾细节特征和光谱特征的融合高频系数。最后,通过实验结果发现,较现有的融合算法而言,所提算法拥有更好的融合质量,更好地保持了图像的光谱特征,且目标内容显著。     

基于地理信息的电力线全景图像信息融合方法

提出一种基于地理信息的电力线全景图像拼接方法。首先利用自动巡检机器人同步采集电力线的可见光图像和红外图像,采用尺度不变特征变换(SIFT)特征匹配算法分别拼接成全景图。其中红外全景图用于电力线的故障检测,可见光全景图对故障作进一步的可视化辅助检测,实现了故障信息、GPS信息和全景图像的融合,能够较精确地确定故障处的实际地理位置,提高了对电力线的维修效率。     

多特征选择与双向残差融合的无监督水下图像增强

如今,利用合成的成对数据集训练的有监督模型泛化能力弱,在多变的实际水下环境中表现不佳,而无监督模型虽摆脱 了成对数据集的依赖,但生成图像可能因缺少特征信息导致图像视觉质量较差。 故以循环生成对抗网络为架构,提出多特征选 择与双向残差融合的水下图像增强方法。 一方面,设计以混合注意力为基础的多特征选择模块对水下图像的多种特征进行选 择,再由双向残差融合对传统 U 型跳跃连接进行优化,使图像特征高效表达,有效恢复水下图像的纹理与色彩。 另一方面,在 判别器中引入混合注意力并提出内容感知损失和风格感知损失,保证增强图像在全局内容、局部纹理、风格特征等方面和清晰 图像一致。 与现有的无监督和有监督模型相比较,该模型 PSNR 分别提高了 6%和 2%,SSIM 分别提高了 4%和 3%,对水下图像 有着显著的增强效果,在色彩真实度和饱和度上相比其他现有方法更加优秀。