局部鉴别分析驱动的红外与可见光图像协同目标跟踪

针对红外图像所含信息量少、可见光图像易受环境影响的问题,提出一种基于局部鉴别分析的红外与可见光图像多源信息协同跟踪的目标跟踪方法.从评估图像信息对目标和背景间的可区分性能角度出发引入线性鉴别分析理论,建立了局部区域目标背景间的可区分度函数;以此为基础实现了多源图像在特征层次上的自适应融合;最后将该融合理论嵌入到粒子滤波跟踪框架中,实现对目标的跟踪.实验结果表明,与采用单一图像信息的目标跟踪系统相比,该方法可对红外和可见光图像进行有效融合,实现对目标的稳健跟踪.     

基于粒子滤波的双模图像融合自适应跟踪

针对视频跟踪中仅利用目标的单特征容易导致跟踪失败的问题,提出一种基于粒子滤波的可见光与红外序列图像相融合的自适应目标跟踪算法;该算法在粒子滤波跟踪算法框架下,根据单一信源运动目标序列图像的品质因子,利用自适应加权融合策略重构双模序列图像的特征选择机制,建立了基于自适应融合算法的系统观测概率模型和状态空间层次采样多特征融合跟踪算法,实现了对双模序列图像的融合以及对运动目标的稳健跟踪;跟踪试验结果表明,该算法可以有效实现对运动目标的稳健、准确跟踪。     

基于双模态输入的孪生网络目标跟踪算法

主流的目标跟踪算法只使用可见光(RGB)图像进行跟踪任务,当跟踪场景的光照条件较差时,表征颜色和纹理特征的可见光图像会严重限制跟踪器的跟踪性能.针对单一模态目标信息存在缺失的问题,在Siam-FC网络模型以及红外—可见光图像融合思想的基础上提出了双模态权值自更新孪生网络目标跟踪方法.根据红外图像可以采集运动目标热信息的特点,有效利用了红外和可见光图像在目标跟踪领域的互补优势;使用较浅的特征提取网络AlexNet即可提取到运动目标具有鲁棒性的特征,在保证跟踪精度的同时提高了跟踪模型的跟踪速度.在公开数据集OTB2015和红外—可见光数据集RGB-T210进行实验,结果表明提出的目标跟踪算法在各种跟踪场景下都取得了较好的跟踪效果.     

空间目标融合识别算法及实验研究

提出了基于红外与可见光图像的空间目标融合识别算法。算法针对空间目标的物理特征,利用红外和可见光图像提供的互补信息进行空间目标融合识别。方法以空间卫星为识别目标,采用不变矩和仿射不变矩来描述目标特征,提出了基于红外和可见光的特征级和决策级融合识别方案,并进行了半物理仿真实验和分析。实验证明这两种基于红外和可见光的融合识别算法可明显改善目标识别的精度和可靠性。     

基于目标提取的红外与可见光图像融合算法

在可见光图像融合算法优化问题的研究中,针对现有红外与可见光图像融合算法的融合图像中背景模糊和目标不清晰等问题,提出了一种结合红外目标分割的红外与可见光图像融合算法,根据红外与可见光图像的信息分布特点,先采用目标分割算法对红外图像中的目标图像进行提取,再与可见光图像进行融合,其中在其融合过程中,结合能量函数与边缘优化函数,来提高图像的融合效果.实验结果表明,改进算法所测得的实验结果与预期目标基本相符,具有图像细节保留能力强与目标清晰度高的融合优势.     

实时双模图像跟踪系统技术研究

利用一种可用于红外成像G可见光成像实时双模图像跟踪系统的硬件设计原理和软件设计特色,讨论了 基于分割的质心跟踪算法G基于提边的差分跟踪算法和特征匹配跟踪算法的特点,在此基础上,提出并分析了双模 置信度与融合跟踪算法"最后简述了伺服系统控制策略及实验结果.     

基于红外和可见光融合的目标跟踪

针对单一图像源下目标跟踪精度不高和当目标存在部分遮挡时目标跟踪丢失的问题,本文提出了一种结合红外图像和可见光图像特征进行融合的方法. 首先在进行目标跟踪时,提取可见光图像的颜色信息作为目标模型的参数,提取红外图像的灰度信息作为目标模型的参数,并分别得到目标位置及其子图. 然后再利用目标子图和目标模型分别进行Bhattacharyya系数的计算,根据权值函数来计算各自系数的权值,最后用Mean Shift算法对加权后的目标进行跟踪. 该方法充分利用了红外图像与可见光图像的优点,提高了目标跟踪的精度,解决了当目标存在部分遮挡时目标跟踪丢失的问题.     

可见光–红外特征交互与融合的YOLOv5目标检测算法

目标检测是自动驾驶系统的关键技术, 普通RGB目标检测算法在夜间和恶劣气候等场景往往表现一般, 融合可见光和红外信息的目标检测算法因而受到诸多研究关注. 现有方法通常融合结构复杂, 且忽视了模态间信息交流的重要性. 对此, 本文以YOLOv5为基本框架, 提出一种可见光–红外特征交互与融合的目标检测算法, 使用一种新的主干网络跨阶段局部(CSPDarknet53-F), 采用双分支结构分别提取可见光和红外特征. 然后, 通过特征交互模块重构各模态的信息成分和比例, 提升模态间信息交流, 使可见光和红外特征进行更充分的融合. 在FLIR-aligned和M$^3$FD数据集上的大量实验证明, 本文算法使用的CSPDarknet53-F在协同利用可见光和红外信息方面更加出色, 提升了模型精度, 同时, 拥有对抗光照强度骤变的鲁棒性     

可见光与红外融合目标跟踪技术研究进展综述

目标跟踪是计算机视觉领域中的一个重要的问题,自从被提出以来逐渐发展出了不同类型的技术方法。由于可见光与红外光在目标跟踪方面存在互补性,两者融合的目标跟踪技术在性能和鲁棒性上比传统目标跟踪方法更具有优势。近年来,人工智能技术的发展推动了可见光与红外融合目标跟踪技术的快速进步。面向可见光与红外融合目标跟踪技术的发展历程,首先针对可见光与红外融合领域经典方法和近年来出现的技术进行梳理和总结,特别是对近两年的研究进展进行了归纳整理,具体包括基于Transformer、基于注意力机制、基于时间序列、自适应融合和基于多模态编解码器的可见光与红外融合目标跟踪方法;然后介绍了可见光与红外融合数据集及目标跟踪的评价指标;最后对未来的发展方向作了展望。     

可预测的动态联盟协同跟踪机制研究

针对无线传感器网络单目标跟踪系统,分析了基于任务触发的动态联盟协同跟踪机制中目标丢失率产生的根本原因,即目标到来后才开始组建联盟.为减小目标丢失率,为提高预测精度,提出在动态联盟跟踪机制中加入预测算法,提前预知目标下一周期将到达的位置,从而提前组建动态联盟,可有效减小目标的丢失率.并设计了一种基于自回归滑动平均模型,即混合模型的预测算法,进行仿真实验,并与理论上分析比较,算法预测精度高、耗能小、计算量适中的优点.仿真证明,加入预测算法对动态联盟协同跟踪过程进行的有效性和必要性.