多路径生成对抗网络的红外与可见光图像融合

生成对抗网络在红外与可见光图像融合领域受到广泛关注,但单路径进行融合容易丢失浅层信息、分支路特征提取 融合能力有限。提出一种基于多路径生成对抗网络的红外与可见光图像融合方法。在生成器端,利用源图像与导向滤波结 果构建3条输入路径提取更多源图像特征信息,以获得细节更丰富的融合图像;然后,卷积层加入掩码注意力机制模块,提升 显著信息的提取效率,引入密集连接和残差连接,在提升特征传递效率的同时可获取更多源图像重要特征信息。在鉴别器 端,采用双鉴别器估计红外与可见光图像的区域分布,避免单鉴别器网络丢失对比度信息的模态失衡问题。在 TNO 数据集 上进行了实验,实验结果表明,所提算法在5个客观评估指标上4项取得了最好结果,优于多数主流算法,在主观评估方面,所 提算法保留了更多的纹理细节信息,具有更好的视觉效果。     

基于注意力密集网络的伪彩色红外与 可见光图像融合

针对现有红外与可见光图像融合算法中存在融合图像的纹理细节不清晰,红外信息和纹理细节的显示不平衡等问 题,提出了一种基于注意力密集网络的伪彩色红外与可见光图像融合方法。首先对灰度的红外图像进行伪彩色处理再与彩 色的可见光图像组成多通道数据输入融合网络。其次,设计了一种由卷积层和带有注意力模块的密集连接块组成的生成器 网络结构,关注源图像的关键信息,增强网络提取源图像信息的能力。最后,利用红外像素、可见光像素、可见光梯度和红外 梯度构建内容损失函数,以保持融合图像中红外目标和纹理细节的平衡。与5种具有代表性的融合方法进行定性和定量比 较。结果表明,该方法所获得融合图像的峰值信噪比、信息熵、平均梯度和互信息取得最优值,分别为31.6841、6.5581、 6.0096、3.0960。定量以及定性结果证明所提融合方法使融合图像具有更为丰富的纹理细节以及良好的视觉效果。     

基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。     

基于改进循环生成对抗网络实现红外图像生成

针对目前已有的可见光图像生成红外图像的算法不能感知图像的弱纹理区域而导致生成的图像细节信息不突出、图像质量低的问题，本文提出了一种适用于图像生成任务的改进循环生成对抗网络（CycleGAN）结构。首先，利用特征提取能力更强的残差网络构建CycleGAN的生成器网络结构，使图像特征可以充分被提取，解决图像因特征提取不充分导致图像质量低下的问题；其次，在生成器的网络结构中引入了通道注意力机制和空间注意力机制，利用注意力机制对图像感知能力较差的区域进行权重处理，解决图像纹理细节丢失的问题。在OSU数据集上，本文所提出的方法相较于CycleGAN方法在峰值信噪比(PSNR)以及结构相似性(SSIM)指标上分别提高了7.1%和10.9%，在Flir数据集上的PSNR和SSIM分别提高了4.0%和6.7%。经过多个数据集上的实验结果证明，本文改进的方法能够突出图像生成任务中的细节特征信息，并且能有效地提升图像生成的质量。     

用于红外与可见光图像融合的注意力残差密集融合网络

为了解决当前红外与可见光图像融合算法中易出现场景信息缺失、目标区域细节模糊、融合图像不自然等问题,提出一 种用于红外与可见光图像融合的注意力残差密集融合网络(ARDFusion)。 本文整体架构是一种自编码器网络,首先,利用存在 最大池化层的编码器对源图像进行多尺度特征提取,然后,利用注意力残差密集融合网络分别对多个尺度的特征图进行融合, 网络中的残差密集块可以连续存储特征并且最大程度地保留各层特征信息,注意力机制可以突出目标信息并获取更多与目标、 场景有关的细节信息。 最后,将融合后的特征输入到解码器中,通过上采样和卷积层对特征进行重构,得到融合图像。 本文提 出了一种用于红外与可见光图像融合的注意力残差密集融合网络,实验结果表明,较已有文献的其他典型融合算法,具有较好 的融合效果,能够更好地保留可见光图像中的光谱特性且红外目标显著,并在主观评价和客观评价方面都取得了较好的融合 性能。     

生成对抗网络扩充样本用于高光谱图像分类

高光谱图像包含着丰富的地理位置信息和光谱信息,高光谱图像分类是遥感领域的一个基础而又重要的研究方向。然而,高光谱图像样本数量不足仍然是限制分类精度进一步提升的主要问题。生成对抗网络中生成器和判别器的不断地对抗学习,最终理想状态为,生成器生成的伪样本判别器无法判别,生成与真实样本非常相似的伪数据样本。文章通过生成对抗网络来依据原有的少量样本,生成新的伪样本,解决样本获取困难、样本数量不足的问题。实验在两个高光谱图像数据集上分别选取200个和400个样本点进行实验,在生成对抗网络中生成新的伪样本,进行分类训练。与SVM、3DCNN等分类方法在同样是样本不足的情况下比较下,分类整体的平均精度得到明显定提升,实验证明文中分类方法的分类表现优于相比的其他分类方法。     

基于 FAMGAN 的轮胎 X 光图像缺陷检测

针对气泡缺陷特征和图像背景像素差异较小、检测困难的问题,以Skip-GANomaly为基础框架,提出了融合注意力机制生成对抗网络(FAMGAN),首先,生成器中编码器和解码器之间的跳连层由注意力特征融合模块(AFF)和注意力机制模块(CBAM)构成,提高了对目标特征的关注、减少了图像特征丢失;然后,在判别器中加入联合上采样模块(JPU),提高了模型检测图像缺陷的速度。最后,将本文提出的FAMGAN网络与近几年经典的生成对抗网络在自制的轮胎缺陷数据集上进行训练、测试和评估。实验结果表明,本文提出的网络对轮胎气泡缺陷检测的精度达到0.837,相比于Skip-GANomaly网络提高了近30%。     

基于NSST图像融合的变电站开关状态识别

针对变电站中开关状态图像识别易发生误判的问题,提出了一种基于非下采样剪切波变换(NSST)图像融合的变电站开关图像识别方法。该方法采用可见光和红外光双摄像模式,得到开关可见光图像和红外图像,根据两者的特点与互补特性,采用基于NSST的图像融合算法对可见光图像和红外图像进行融合,生成含有两种开关图像丰富细节信息和特征量的融合图像,采用改进加速稳健特征(SURF)算法对融合图像进行目标特征量提取和匹配,再采用基于混沌布谷鸟(CCS)算法的多阈值图像分割技术进行处理,最后基于霍夫变换得到开关臂和触点所在直线的斜率,根据两者角度差判别开关状态。仿真实验表明:所提方法对闭合与断开状态隔离开关的识别率分别为94.4%和100%,验证了所提方法的有效性。     

基于多注意力机制的生成对抗网络的遥感图像超分重建

针对现有超分辨算法重建后的遥感图像模糊,含有伪影和噪声等问题,提出一种基于多注意力机制的生成对抗网络。首先,在生成器的残差块中引入高效注意力机制,增强全局相关性,提高模型的特征提取能力;其次,利用迭代注意特征融合模块对输入的图像和经过生成器生成的高层语义特征图进行融合,代替长跳跃连接常用的相加操作,减少输入图像进行相加操作时导致的信息损失,使重建后的图像更加清晰;最后,基于WGAN网络优化模型训练,促进网络训练的稳定,加快损失函数的收敛。在不同数据集上验证上述方法,结果表明,相较次优算法,所提方法在峰值信噪比(PSNR)和结构相似度(SSIM)上分别提高了0.062～0.122 dB和0.03～0.08。     

基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法

针对现有红外图像分辨率低、清晰度差,易影响基于红外图像的电气设备故障检测效果的缺点,提出一种基于多尺度协作模型的电气设备红外图像超分辨率故障辨识方法.该文构建了基于多尺度协作模型的电气设备红外图像超分辨率重建网络,该网络以生成对抗网络为基础,通过引入多尺度协作模型和双通道结构,改善了超分辨率重建网络对红外图像的适应性,并优化了图像特征提取效果.在实现红外图像超分辨率重建基础上,结合深度学习目标检测方法,建立电气设备红外图像超分辨率故障辨识模型.针对所提方法进行了实验验证,实验结果表明:经该文所提超分辨率重建网络后,红外图像质量可明显提升,峰值信噪比(PSNR)、结构相似性(SSIM)值可分别提高至27.26dB、0.8283;采用该文所提红外图像超分辨率故障辨识模型可显著提高故障辨识效果,mAP、mAR、mAC和mAIOU值平均相对提高了19.34％、19.14％、11.83％和25.03％.     

基于非下采样 Contourlet 变换耦合特征选择 机制的可见光与红外图像融合算法

为了克服当下较多可见光与红外图像融合方法因忽略了光谱特征而导致融合图像存在光谱扭曲、目标内容显著度较差等不足,提出了非下采样Contourlet变换(nonsubsampled contourlet transform, NSCT)耦合特征选择机制的图像融合算法。首先,通过NSCT对可见光与红外图像计算,分离出其不同图像系数。然后,利用信息熵函数,度量图像所含信息量的丰富度,以形成低频系数的融合系数,得到富含红外目标等丰富信息的融合低频系数。采用像素点的邻点信息,度量图像的清晰度特征,并引入均值函数,度量图像的光谱特征,再联合图像的清晰度特征,构造特征选择机制,从图像中选择理想的高频系数融合函数,获取兼顾细节特征和光谱特征的融合高频系数。最后,通过实验结果发现,较现有的融合算法而言,所提算法拥有更好的融合质量,更好地保持了图像的光谱特征,且目标内容显著。     

基于拉普拉斯分解耦合亮度调节的可见光与红外图像融合算法

为了解决当前较多可见光与红外图像融合方法的融合结果中的目标信息不突出等问题,引入拉普拉斯分解机制,采用 图像的亮度特征来融合可见光与红外图像。 借助拉普拉斯分解方法,对输入图像进行分层,求取不同的图层信息。 并利用图像 的均值特征,计算图像的亮度信息,对低频图层的融合权值进行自适应调整,从而得到一个目标信息完整度较高的融合低频图 层。 基于图像的空间频率特征,对高频图层所含的细节丰富度进行评估,以获取一个细节丰富的融合高频图层。 再利用拉普拉 斯逆分解方法,对低、高频图层完成融合。 实验数据显示,较已有的融合算法而言,所提算法的融合结果更能突出目标信息,具 备更为丰富的细节特征。     

光伏电池电致发光偏振图像融合与缺陷检测

针对电致发光图像边缘模糊、纹理不清晰造成光伏电池缺陷难以定量化评估问题,提出一种基于电致发光偏振图像融合的晶硅光伏电池缺陷检测方法。首先,在分析晶硅光伏电池结构的基础上给出电致发光偏振成像的基本原理。然后,利用拉普拉斯金字塔对获取的红外光强图像与偏振度图像进行分解、引导滤波对高频细节成分进行增强,通过区域能量最大、区域能量加权平均规则对高低频部分进行融合。最后搭建短波红外偏振检测平台开展晶硅光伏电池缺陷检测实验。结果表明,偏振成像可以凸显光伏电池缺陷图像的轮廓边缘和纹理细节,融合图像 中光伏电池缺陷特征更加突出,信息熵、标准差等客观评价指标显著提高,验证了方法的有效性。     

基于显著性检测与权重映射的可见光与红外图像融合算法

为了解决当前可见光(VI)与红外(IR)图像融合中易出现信息丢失,以及存在伪影等问题,提出了一种显著性检测耦合权重映射结合的VI与IR图像融合算法。分别对VI和IR图像进行二尺度分解,得到基础层和细节层。为了提高VI和IR融合效果,定义了一种显著性特征检测方法,在每个源图像上应用均值滤波以减小像素与其相邻像素之间的强度变化,以完成平滑处理。再借助中值滤波来消除每个源图像中的噪声与伪影,较好地保留图像边缘。并通过取均值和中值滤波输出的差异来计算图像的显著性特征,以突出边缘和直线等显著性信息。然后,通过对显著性检测结果完成归一化处理,以构建权重映射,为细节层分配合适的权重。再将基础层和细节层采用不同的规则进行融合,其中,联合权重映射与细节层,得到最终的细节信息,并借助平均融合规则来完成基础层的融合。最后,利用最终基础层和细节层的线性组合来构造新图像。实验表明,与当前多尺度图像融合技术相比,所提算法仅采用两尺度分解,显著提高了融合效率,而且得到的融合图像具有更好融合质量,有效消除了伪影,在融合过程中的信息丢失量更少。     

基于显著性检测与权重映射的可见光与红外图像融合算法

为了解决当前可见光(VI)与红外(IR)图像融合中易出现信息丢失,以及存在伪影等问题,提出了一种显著性检测耦合权重映射结合的VI与IR图像融合算法。分别对VI和IR图像进行二尺度分解,得到基础层和细节层。为了提高VI和IR融合效果,定义了一种显著性特征检测方法,在每个源图像上应用均值滤波以减小像素与其相邻像素之间的强度变化,以完成平滑处理。再借助中值滤波来消除每个源图像中的噪声与伪影,较好地保留图像边缘。并通过取均值和中值滤波输出的差异来计算图像的显著性特征,以突出边缘和直线等显著性信息。然后,通过对显著性检测结果完成归一化处理,以构建权重映射,为细节层分配合适的权重。再将基础层和细节层采用不同的规则进行融合,其中,联合权重映射与细节层,得到最终的细节信息,并借助平均融合规则来完成基础层的融合。最后,利用最终基础层和细节层的线性组合来构造新图像。实验表明,与当前多尺度图像融合技术相比,所提算法仅采用两尺度分解,显著提高了融合效率,而且得到的融合图像具有更好融合质量,有效消除了伪影,在融合过程中的信息丢失量更少。