基于红外与可见光图像的目标检测算法

针对现有基于可见光的目标检测算法存在的不足,提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合,构建并列的高效率特征提取网络,分别提取红外和可见光图像目标信息;同时,引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征,使两类图像信息互补;最后,利用特征金字塔结构将深层特征逐层与浅层融合,提升网络对不同尺度目标的检测精度。实验结果表明,所提网络能够充分融合红外和可见光图像中的有效信息,并在保障精度与效率的前提下实现目标识别与定位;同时,在实际变电站设备检测场景中,该网络也体现出较好的鲁棒性和泛化能力,可以高效完成检测任务。     

融合红外特征的可见光图像目标检测算法研究

为提升复杂场景下基于可见光图像的目标检测性能,将深层卷积神经网络与多源信息融合技术相结合,提出了一种自适应融合红外特征的可见光目标检测算法.该算法以红外和可见光图像作为输入,通过卷积、激活结合残差结构的方式分别提取目标红外和可见光特征,并利用空间和通道注意力机制提升目标所属类别以及所在图像区域的特征权重.其次,将提取的红外特征以自适应加权的方式融入对应维度的可见光特征中,充分弥补目标在单模态模型下的局限.最后,针对多尺度目标,设计了金字塔采样结构,通过交替上采样和下采样方式来充分融合目标全局及局部特征,增强网络尺度不变性.通过实验验证,所提注意力机制、特征自适应融合以及金字塔采样结构都能有效提升目标检测效果,相比于同类型红外-可见光目标检测方法,该方法可以充分融合目标多模态特征,并有效降低噪声干扰,使网络具有更高的检测性能.同时,在实际电网设备检测中,所提方法也表现出较高泛化能力和鲁棒性,可以准确高效的实现目标设备的识别及定位.     

基于自适应注意力机制的红外与可见光图像目标检测

针对红外和可见光目标检测方法存在的不足,将深度学习技术与多源目标检测相结合,提出了一种基于自适应注意力机制的目标检测方法。该方法首先以深度可分离卷积为核心构建双源特征提取结构,分别提取红外和可见光目标特征。其次,为充分互补目标多模态信息,设计了自适应注意力机制,以数据驱动的方式加权融合红外和可见光特征,保证特征充分融合的同时降低噪声干扰。最后,针对多尺度目标检测,将自适应注意力机制结合多尺度参数来提取并融合目标全局和局部特征,提升尺度不变性。通过实验表明,所提方法相较于同类型目标检测算法能够准确高效地在复杂场景下实现目标识别和定位,并且在实际变电站设备检测中,该方法也体现出更高的泛化性和鲁棒性,可以有效辅助机器人完成目标检测任务。     

基于显著性检测的不同视角下红外与可见光图像融合

融合红外图像的热源目标和可见光图像的清晰背景可以实现低照度条件下与场景关联的异常行为识别。现有以特征匹配为主的融合方法,受监控场景下可见光与红外成像的尺度、视角、目标特性等差异影响,配准及融合效率及准确性受限。针对该问题,本文提出了基于显著性检测的不同视角下红外与可见光图像融合方法。通过预设热敏感目标,计算可见光与红外的视场转换模型,预先配准红外与可见光视场。使用Mask R-CNN网络提取红外图像中的行人目标显著性区域,根据视场转换模型点将每个目标区域与可见光图像局部融合。最后,通过违规入侵行为辨识为目标进行实验验证。实验表明,论文提出的融合方法能够有效地将红外图像的热敏目标信息与可见光的场景进行融合,可以准确地判断是否发生违规入侵行为。     

基于双模态特征增强的目标检测算法研究与应用北大核心CSCD

为提升目标检测算法在复杂环境下的精确性和实用性,将多源信息和深度学习技术相结合,提出了一种基于双模态特征增强的目标检测方法。该方法以红外和可见光图像作为输入,利用颜色空间转换、边缘提取、直方图均衡化等传统图像处理方法丰富图像信息,达到数据增强效果;特征提取部分采用卷积神经网络结构分别提取目标红外及可见光信息,并设计混合注意力机制分别从通道和空间位置角度提升有效特征权重;同时,针对目标双模态信息,引入了自适应交叉融合结构,提高特征多样性;最后,利用交替上下采样将目标全局和局部特征充分融合,并以自主选择方式提取目标相关特征实现检测。通过在标准数据集以及实际场景数据集上的实验结果表明,所提方法有效融合并增强了目标多模态特征,提升了目标检测效果,并能较好的应用于电网场景中,辅助机器人完成目标设备检测。     

红外与可见光图像多特征自适应融合方法

由于成像机理不同,红外图像以像素分布表征典型目标,而可见光图像以边缘和梯度描述纹理细节,现有的融合方法不能依据源图像特征自适应变化,造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此,本文提出红外与可见光图像多特征自适应融合方法。首先,构建了多尺度密集连接网络,可以有效聚合所有不同尺度不同层级的中间特征,利于增强特征提取和特征重构能力。其次,设计了多特征自适应损失函数,采用VGG-16网络提取源图像的多尺度特征,以像素强度和梯度为测量准则,以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练,可以均衡提取源图像各自的特征信息,从而获得更优的融合效果。公开数据集的实验结果表明,该方法在主、客观评价方面均优于其他典型方法。     

基于VGG网络的双波段图像融合方法

针对红外与可见光图像中物体信息具有各自优点的情况,提出了基于VGG网络的红外与可见光图像融合方法来提高对夜间或复杂背景情况下的物体检测识别能力。首先将图像分别输入到一个经过训练得到的VGG网络中,经过不同的卷积层提取各自的特征图;然后将特征图经过ZCA白化处理,去除冗余信息;再通过归一化处理,将特征图的维度降到二维,并通过双三次插值法将其缩放到与源图像尺寸一致;最后通过加权取平均得到融合后的图像。实验结果表明,本文的方法在第四和第五层卷积得到的融合结果优于前三层的融合结果。同时,本文融合方法与其他3种融合方法相比视觉效果较好,在标准差、平均梯度、相关系数、熵值等评价指标上分别平均提升了12.79 %、11.04 %、9.94 %和2.54 %,并且在融合时间上保持在1秒以内。这说明该方法融合效果较好,速度较快,能够较多地保留红外与可见光图像信息和较好地提升目标的显著性。     

基于帧差检测技术与区域特征的红外与可见光图像融合算法

为了提高红外图像的融合质量并降低复杂度,提出一种基于帧差检测技术与区域特征的红外与可见光图像融合算法。首先,设计帧差法对红外图像中的目标完成检测,从而进行目标分簇与图像分割;并借助帧之间的信息完成目标的准确定位;再根据目标区域的特征设计不同的融合规则,充分利用可见光和红外图像的有效信息进行互补,完成图像融合,并对融合算法的复杂度进行理论分析。同时,在可见光和红外图像中目标不可动可观察及目标可运动可观察两种条件下进行融合实验,实验结果表明,与当前图像融合技术相比,所提技术具有更高的融合质量,其融合图像能够准确反映目标和背景。     

基于改进YOLO网络的双通道显著性目标识别算法

由于缺乏目标的先验信息,实时预警检测系统存在虚警率高、实时性偏低等问题,限制了实战环境下的广泛应用。为了提升目标检测识别的性能,本文提出了一种基于改进YOLO网络的双通道显著性目标识别算法,该算法利用红外图像与可见光互补特性进行多尺度融合,并在融合图像上采用显著性检测获取疑似目标区域,最后利用改进的识别网络对疑似区域进行多层次目标识别。改进的YOLO识别网络增加了一路辅助网络,改善整个特征提取网络的性能,并采用注意机制对辅助网络和骨干网络的特征信息融合,增强有效信息通道,抑制无效信息通道,提高网络识别效率。仿真实验结果表明,本文提出的模型可以有效地提高目标检测与识别精度,其实时性得到了大大增强。     

夜视环境下红外与可见光图像真彩色快速融合方法研究

为解决红外图像和可见光图像在夜视环境下成像效果不理想的问题,搭建一种由红外相机与RGB相机组合而成的具有结构简单、实时性高等特点的双目异型成像系统。利用双线程方式实时采集红外与可见光图像,针对非局部均值滤波(Non Local Mean,NLM)提出了一种基于熵的自适应h求解方法,能够较好的消除红外图像的噪声；之后将红外图像与可见光图像的特征点匹配后,引入基于斜率一致性的方法进行图像配准,最后采用改进基础图像融合规则的双尺度融合算法(Twoscale Image Fusion,TIF)以及多种融合算法将红外与可见光图像进行融合,获得目标明显、信息丰富且真实色彩的(Infrared Radiation and RGB,IR RGB)融合图像。TIF算法能够高效快速地将红外图像与可见光图像融合,在保留了可见光图像对周围环境的真实颜色信息特征的同时,又保留了红外图像温度提取的特点。分析数据可知,TIF算法的IR RGB图像的熵值提升了约514；其边缘强度均达到最大39991、 22433、 52880；相比普通的像素级融合规则,该方法的运行速度提升了10倍的量级。该研究在夜视环境下通过红外与可见光的实时成像在目标识别和监测等实际应用中具有非常重要的意义。     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于红外目标特征提取的图像融合方法

为有效突出红外目标,同时尽可能多地保留可见光图像中的纹理细节信息,使得最终的融合图像更符合人类视觉感知效果,本文提出一种新的基于红外目标特征提取的红外与可见光图像融合方法。首先,利用高斯滤波器将源图像分解为粗略尺度信息和边缘纹理细节信息;对红外图像的边缘纹理细节信息进行去“光晕”分解,在此基础上进一步利用OTSU多阈值分割算法将红外图像分割为目标区域、过渡区域和背景区域;最后,依据分割结果确定各分解子信息的融合权重,以有效地将红外目标信息注入到可见光图像中,同时尽可能多地保留可见光图像中重要的场景细节信息。实验结果表明,本文方法无论从主观视觉还是客观评价指标上,都要优于目前常用的有代表性的图像融合方法。      

基于多尺度和注意力模型的红外与可见光图像融合

针对红外与可见光图像在融合后容易出现伪影,小目标轮廓不清晰等问题,提出一种基于多尺度特征与注意力模型相结合的红外与可见光图像融合算法。通过5次下采样提取源图像不同尺度的特征图,再将同一尺度的红外与可见光特征图输入到基于注意力模型的融合层,获得增强的融合特征图。最后把小尺度的融合特征图进行5次上采样,再与上采样后同一尺度的特征图相加,直到与源图像尺度一致,实现对特征图的多尺度融合。实验对比不同融合框架下融合图像的熵、标准差、互信息量、边缘保持度、小波特征互信息、视觉信息保真度以及融合效率,本文方法在多数指标上优于对比算法,且融合图像目标细节明显轮廓清晰。     

基于深度空时域特征融合的高动态空中多形态目标检测方法(特邀)

针对复杂背景下,依靠高超声速飞行器搭载的红外探测器对高动态空中目标的可靠探测和精确识别问题,提出了一种基于深度空时域特征融合的空中多形态目标检测方法。设计了加权双向循环特征金字塔结构提取多形态目标静态特征,并引入可切换空洞卷积,增大感受野的同时减少空域信息损失。对于时序运动特征的提取,为了抑制复杂背景噪声的同时将角点信息集中到运动区域中,通过特征点匹配法生成掩膜图,之后进行光流计算,根据计算结果设计稀疏光流特征图,利用3D卷积提取多个连续帧图像中包含的时序特征,生成三维时序运动特征图。最后,通过对图像静态特征与时序运动特征进行通道维度的拼接,实现深度空时域特征融合。大量的对比实验表明,文中方法可明显减少复杂背景下的虚假识别概率,具备高实时性的同时目标识别准确率达89.87%,满足高动态下的红外目标智能检测识别需求。