一种基于生成对抗网络与注意力机制的可见光和红外图像融合方法

针对低照度可见光图像中目标难以识别的问题,提出了一种新的基于生成对抗网络的可见光和红外图像的融合方法,该方法可直接用于RGB三通道的可见光图像和单通道红外图像的融合。在生成对抗网络中,生成器采用具有编码层和解码层的U-Net结构,判别器采用马尔科夫判别器,并引入注意力机制模块,使得融合图像可以更关注红外图像上的高强度信息。实验结果表明,该方法在维持可见光图像细节纹理信息的同时,引入红外图像的主要目标信息,生成视觉效果良好、目标辨识度高的融合图像,并在信息熵、结构相似性等多项客观指标上表现良好。     

基于图像退化模型的红外与可见光图像融合方法

基于深度学习的红外与可见光图像融合算法依赖人工设计的相似度函数衡量输入与输出的相似度,这种无监督学习方式不能有效利用神经网络提取深层特征的能力,导致融合结果不理想。针对该问题,该文首先提出一种新的红外与可见光图像融合退化模型,把红外和可见光图像视为理想融合图像通过不同退化过程后产生的退化图像。其次,提出模拟图像退化的数据增强方案,采用高清数据集生成大量模拟退化图像供训练网络。最后,基于提出的退化模型设计了简单高效的端到端网络模型及其网络训练框架。实验结果表明,该文所提方法不仅拥有良好视觉效果和性能指标,还能有效地抑制光照、烟雾和噪声等干扰。     

联合信息增强与生成对抗网络的红外与可见光图像融合

为克服红外与可见光图像的融合结果图边缘模糊、细节信息表征不足及亮度较低的问题,提出了联合信息增强与生成对抗网络(Generative Adversarial Network, GAN)的红外与可见光图像融合方法。基于自适应直方图划分和亮度校正算法被用来增强红外图像的显著对比度。多尺度Retinex算法(MSR)被用来增强可见光图像的纹理细节,同时调整可见光图像的亮度。增强后的红外与可见光图像被输入GAN进行训练,训练好的模型可以完成端到端图像融合任务。仿真实验结果表明所提算法在EN (信息熵)和SD(标准差)指标上具有明显优势。     

基于可见光图像的红外场景仿真

针对景象匹配系统对红外图像的迫切要求,提出了一种利用可见光图像仿真生成红外图像的方法.首先,设计了红外场景仿真的总体方案;其次,对其中的基于可见光图像的材质信息分类、目标表面温度模型的建立及红外特征图像的生成3个关键技术做了初步实现;最后,结合红外场景仿真算法完成了典型电厂目标红外场景序列图的生成.实验结果表明:该方法生成的24 h序列图像与实拍红外图像的变化规律基本一致,从而为可见光图像制备红外基准图提供了一种有效途径.     

基于光纤阵列图像转换器的可见光生成系统

红外图像转换器技术是红外成像目标仿真技术的关键,用于研究如何在红外成像制导半实物仿真试验时模拟产生复杂场景的红外辐射。光纤阵列图像转换器是一种新型的红外图像转换器,该类转换器需要设计研制与之相匹配的可见光生成系统共同构成红外成像目标模拟器。针对某红外成像目标模拟器总体要求,给出了一种基于光纤阵列图像转换器的可见光生成系统设计实现方法,并对其关键性能指标进行了分析和测试。结果表明:该系统能够应用于红外成像半实物仿真,分析和测试方法为该类可见光生成系统的性能评估和优化设计提供了依据,具有一定的适用性。     

基于海天背景的红外图像生成方法

在对采用红外成像技术的武器进行内场仿真试验的过程中,针对红外图像的计算机生成问题,提出了一种基于 Vega软件的红外图像仿真方法.该方法首先通过Creator软件建立目标的三维几何模型,然后通过Vega软件的TMM与MAT工具和Sensor Vision与SensorWorks模块,综合考虑天气、距离和探测器等因素后得到目标的红外图像,再将这些图像与探测器实拍的海天背景红外图像进行合成,从而实现目标与背景红外图像的快速生成,提高了场景的可靠性.该方法对采用红外成像技术的武器的测试和评价具有一定的参考价值.     

基于渐进式生成对抗网络的舰船红外图像仿真

红外图像仿真在红外导引头设计、仿真训练中起到十分关键的作用。针对如何生成高分辨率、视觉特征可控的红外图像,提出了一种基于渐进式生成对抗网络的红外图像仿真方法。本文利用舰船模型的红外图像数据集训练了图像合成网络,输入随机特征向量,输出高分辨率的红外仿真图像;设计了图像编码网络,实现红外图像到特征向量的转换;利用Logistic回归方法,在特征向量域找到了控制红外图像角度特征的方向向量,并据此生成了不同角度的舰船模型仿真图像;最后通过均值哈希算法和平均结构相似性算法来定量评价仿真图像和真实图像的差异,实验结果表明仿真的红外图像和真实图像的相似度很高,可以为真实舰船的可控化红外图像仿真提供参考。     

基于图像合成的红外点目标图像生成方法研究

本文提出了一种红外图像仿真方法.首先对目标在探测波段内的辐射强度的组成和光谱分布特点进行了分析,并对目标的辐射强度、光谱分布和运动等特征量进行了模拟.然后根据大气和成像系统的调制传递函数建立了相应的大气效应模型和成像系统效应模型.最后根据红外成像原理并结合探测器参数,将目标的仿真模型与实拍的背景红外图像通过图像合成算法进行融合,从而实现了目标与场景的快速生成.该方法通过理论数据和实验数据的结合,提高了场景的可靠性,对于测试和评价红外搜索跟踪系统具有一定的参考价值.     

基于可见光图像的红外图像生成方法及其细节调制

为了拓展红外图像获取方式,提出了一种基于可见光衍生生成红外图像的方法。利用脉冲耦合神经网络与人工微调相结合的方式,将可见光图像分割成不同区域并标定为不同材质,通过材质热特征建模预测不同材质在不同环境中的温度值,并计算其热辐射以及大气传输效应,最终通过细节调制的方法增加了仿真结果的真实性。实验表明,通过可见光图像生成红外图像有其可行性,并且图像分割结果直接影响了仿真结果的好坏,分割越精细仿真结果越好,利用细节调制可增强仿真结果的真实性。     

基于ResNet的红外与低照度可见光图像融合方法

针对传统红外与低照度可见光图像融合后,容易造成目标模糊不清、细节信息缺失等问题,本文提出一种低照度可见光图像预增强与残差网络(Residual Network,ResNet)相结合的图像融合方法。该方法首先利用单尺度Retinex(Single Scale Retinex,SSR)算法对低照度可见光图像进行增强预处理,得到增强的可见光图像。其次,利用ResNet-50分别从增强后的可见光图像和红外图像中提取深度特征。然后,采用L1范数对生成的深度特征进行正则化处理,并通过上采样操作将其分辨率恢复至输入图像大小,得到权重图。最后,使用加权平均策略获取融合图像。实验结果表明,本文算法能更好地保留输入图像的纹理细节和结构信息;使用TNO数据集与现有的三种典型算法对比,该算法融合结果的离散余弦特征互信息(FMIdct)、小波特征互信息(FMIw)、基于噪声评估的融合性能(Nabf)、结构相似度测量(SSIM)四种客观指标总体优于对比算法。     

基于深度学习的电力设备红外与可见光图像配准

针对现有电力设备红外与可见光图像配准难度大、配准时间长等问题,提出一种基于深度学习的电力设备红外与可见光图像配准融合的方法。本文将特征提取与特征匹配联合在深度学习框架中,直接学习图像块对与匹配标签之间的映射关系,用于后续的配准。此外为了缓解训练时红外图像样本不足的问题,提出一种利用红外图像及其变换图像学习映射函数的自学习方法,同时采用迁移学习来减少训练时间,加速网络框架。实验结果表明:本文方法与其他4种配准算法相比性能指标均有显著提升,本文平均准确率为89.909,同其余4种算法相比分别提高了2.31%、3.36%、2.67%、0.82%,本文平均RMSE（Root Mean Square Error）为2.521,同其余4种配准算法相比分别降低了14.68%、15.24%、4.90%、1.04%,算法平均用时为5.625 s,较其余4种算法分别降低了5.57%、6.82%、2.45%、1.75%,有效提高了电力设备红外与红外可见光图像配准的效率。     

基于迁移学习的红外图像多目标检测技术

针对用传统方法难以解决城市背景下红外图像多目标检测的问题,采用迁移学习技术把深度学习中可见光域的目标检测框架迁移到红外域中。利用该方法建立的模型的小目标检测性能非常好,在制作的测试集上平均精度mAP（IoU=0.50）为0.858。还对训练数据与模型检测性能之间的关系进行了初步研究。制作了大数据量和小数据量2个训练集,对模型进行训练,然后在相同的测试集上进行测试。通过小数据量训练的模型在制作的测试集上的平均精度mAP(IoU=0.50)为0.615。实验结果表明,数据的多样性、数量、质量等都会影响模型的好坏。     

基于轮廓特征的红外与可见光图像配准方法研究

红外光与可见光处于不同波段,其图像间的相关性较小.传统的基于特征的图像配准方法(如利用角点、边缘点等),在特征点选择时容易造成误匹配,这是由于有时特征点间的距离比较近造成的.针对此问题,本文提出了一种基于图像轮廓特征的红外与可见光图像配准方法.首先通过设置目标过滤器来提取明显的轮廓,再利用部分Hausdorff距离对轮廓进行匹配,计算出匹配轮廓对的面积和质心,并以此作为配准依据来对两种不同的图像进行配准.然后通过实验证明该方法的配准精度更高且克服了特征点误匹配的难点,这就可以解决刚性变换中红外与可见光图像间的配准问题.     

一种基于蚁狮最大熵算法与引导滤波的图像融合算法

传统红外与可见光图像融合算法中易出现目标提取不够充分、细节丢失等问题,导致融合效果不理想,从而无法应用于目标检测、跟踪或识别等领域。因此,该文提出一种基于蚁狮优化算法(ALO)改进的最大香农(Shannon)熵分割法结合引导滤波的红外与可见光图像融合方法。首先,使用蚁狮最大熵分割法(ALO-MES)对红外图像进行目标提取,然后,对红外和可见光图像使用非下采样剪切波变换(NSST),并对获得的低频和高频分量进行引导滤波。由提取的目标图像与增强后的红外和可见光低频分量通过低频融合规则得到低频融合系数,增强后的高频分量通过双通道脉冲发放皮层模型(DCSCM)得到高频融合系数,最后经NSST逆变换得到融合图像。实验结果表明,所提算法能够得到目标明确、背景信息清晰的融合图像。     

可见光与红外图像结构组双稀疏融合方法研究

传统的可见光与红外稀疏表示融合方法,采用图像块构造解析字典或者学习字典,利用字典的原子表征图像的显著特征。这类方法存在两个问题,一是没有考虑图像块与块之间的联系,二是字典的适应能力不够并且复杂度高。针对这两个问题,本文提出可见光与红外图像结构组双稀疏融合方法。该方法首先利用图像的非局部相似性,将图像块构建成图像相似结构组,然后对图像相似结构组进行字典训练,采用双稀疏分解模型,有效结合解析字典和学习字典的优势,降低了字典训练的复杂度,得到的结构字典更加灵活,适应性提高。该方法能够有效提高红外与可见光融合图像的视觉效果,经对比实验分析,在主观和客观评价上都优于传统的稀疏表示融合方法。     

基于DeepLabv3+网络的电流互感器红外图像分割方法

红外图像智能分析是变电设备故障诊断的一种有效方法,目标设备分割是其关键技术。本文针对复杂背景下电流互感器整体分割难的问题,采用基于ResNet50的DeepLabv3+神经网络,用电流互感器的红外图像训练语义分割模型的方法,对收集到的样本采用限制对比度自适应直方图均衡化方法实现图像轮廓增强,构建样本数据集,并运用图像变换扩充样本数据集,搭建语义分割网络训练语义分割模型,实现电流互感器像素与背景像素的二分类。通过文中方法对420张电流互感器红外图像测试,结果表明,该方法的平均交并比（Mean Intersection over Union, MIoU）为87.5%,能够从测试图像中精确分割出电流互感器设备,为后续电流互感器的故障智能诊断做铺垫。     

基于联合低秩稀疏分解的红外与可见光图像融合

为进一步提高红外与可见光融合图像的细节信息和整体对比度,降低伪影和噪声,考虑了红外与可见光图像的相关性,提出了一种基于联合低秩稀疏分解的红外与可见光图像融合方法。首先,利用联合低秩稀疏分解方法将红外和可见光源图像分别分解成共同低秩分量、特有低秩分量和特有稀疏分量;其次,利用非下采样Shearlet变换方法对特有低秩分量进行融合;然后,采用区域能量融合策略实现特有稀疏分量融合;最后,共有低秩分量与融合后的特有低秩分量和特有稀疏分量相加得到最终融合图像。在Nato-camp、Bristol Eden Project和TNO公共测试数据集上进行的实验测试了所提算法性能。实验结果表明,与其他9种融合方法相比,所提方法能够有效地提取红外图像中的目标信息和保留可见光图像的背景信息,熵、互信息、标准差、视觉信息保真度、差异相关系数之和和 Qy 客观评价指标明显优于对比方法。      

基于改进高斯卷积核的变电站设备红外图像检测方法

在无锚点算法CenterNet模型的基础上,针对基于红外图像的目标检测算法检测精度低、耗时长的问题,给出了一种基于改进高斯卷积核的变电站设备红外图像检测方法,该目标检测方法模型网络结构精简,模型计算量较小。通过现场变电站巡检机器人设备收集数据样本,进行算法模型的训练及验证,实现红外图像变电站设备精准识别及定位。本文以变电站巡检机器人搭配红外热成像仪采集到的红外图像库为基础,用深度学习方法对数据集进行训练和测试,研究变电站红外图像的目标检测技术。通过深度学习技术判断设备中心点位实现目标分类和回归。实验结果表明,该方法提高了变电站目标检测方法的识别定位精度,为变电站设备红外图像智能检测提供了新的思路。     

基于无监督学习的单样本红外图像生成方法

针对当前可见光-红外图像数据集匮乏导致的模型特征学习能力不够以及生成图像质量低下等问题,提出了单样本的无监督学习方法来训练红外图像生成模型。首先,在数据集难以获取、匮乏的情况下,仅采用一对可见光-红外图像作为模型训练的数据,降低了数据获取的难度,解决了数据匮乏的问题。其次,为了在训练模型时充分提取图像特征,改进了网络结构。实验数据表明,本文方法能够在单样本图像生成中取得较好的效果。在艾睿光电数据集中,本文方法的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)与结构相似性(Structural Similarity, SSIM)指标分别达到了26.5588 dB和0.8846;在俄亥俄州立大学(Ohio State University, OSU)数据集上的PSNR和SSIM分别达到了30.3528 dB和0.9182。与基于风格的生成对抗网络(Style-based Generative Adversarial Network, StyleGAN)方法相比,本文方法在艾睿光电数据集上的PSNR和SSIM指标分别提高了16.07%和23.78%;在OSU数据...