汽车驾驶辅助系统红外与可见光融合算法综述

红外与可见光融合图像融合是汽车高级驾驶辅助系统核心功能之一,能够较好地理解光线条件较差时车辆外部环境目标,对无人驾驶车辆和智能车辆识别环境具有重要作用,其中基于深度学习的神经网络算法在图像特征提取和分类中优势显著。针对汽车领域红外与可见光图像融合算法进行综述,分析了现代车辆对图像融合技术的需求;总结了基于数学方法框架的红外与可见光图像融合算法和最新发展;概述了基于神经网络结构的红外与可见光图像融合算法;最后讨论了车载红外与可见光图像融合技术的发展趋势。     

局部鉴别分析驱动的红外与可见光图像协同目标跟踪

针对红外图像所含信息量少、可见光图像易受环境影响的问题,提出一种基于局部鉴别分析的红外与可见光图像多源信息协同跟踪的目标跟踪方法.从评估图像信息对目标和背景间的可区分性能角度出发引入线性鉴别分析理论,建立了局部区域目标背景间的可区分度函数;以此为基础实现了多源图像在特征层次上的自适应融合;最后将该融合理论嵌入到粒子滤波跟踪框架中,实现对目标的跟踪.实验结果表明,与采用单一图像信息的目标跟踪系统相比,该方法可对红外和可见光图像进行有效融合,实现对目标的稳健跟踪.     

多模态视觉跟踪方法综述

目标跟踪是计算机视觉研究中的前沿和热点问题,在安全监控、无人驾驶等领域中有着重要的应用价值。然而,目前基于可见光数据的视觉跟踪方法,在光照变化、恶劣天气下因数据质量受限难以实现鲁棒跟踪。因此,一些研究者提出了多模态视觉跟踪任务,通过引入其他模态数据,包括红外模态、深度模态、事件模态以及文本模态,在一定程度上弥补了可见光模态在恶劣天气、遮挡、快速运动和外观歧义等条件下的不足。多模态视觉跟踪旨在挖掘可见光和其他模态数据的互补优势,在视频中实现鲁棒的目标定位,对全天时全天候感知有着重要的价值和意义,受到越来越多的研究和关注。由于主流的多模态视觉跟踪方法针对可见光—红外跟踪展开,因此,本文以阐述可见光—红外跟踪方法为主,从信息融合的角度将现有方法划分为结合式融合和判别式融合,分别进行了详细介绍和分析,并对不同类方法的优缺点进行了分析和比较。然后,本文对其他多模态视觉跟踪任务的研究工作进行了介绍,并对不同多模态视觉跟踪任务的优缺点进行了分析和比较。最后,本文对多模态视觉跟踪方法进行了总结并对未来发展进行展望。     

基于像素级图像融合的Mean Shift目标跟踪

针对可见光、红外单模图像序列进行Mean Shift目标跟踪时存在的问题,提出了先对可见光、红外图像序列进行像素级动态图像融合,采用加权平均融合和基于区域目标检测的图像序列融合框架,再对融合结果进行Mean Shift目标核函数直方图建模,然后进行匹配跟踪。实验采用了实际图像序列。实验结果表明,针对目标进行跨背景区域的运动,该方法较采用单模图像序列进行跟踪具有更好的鲁棒性,并且满足实时性的要求。     

红外和可见光图像融合算法的研究进展

红外图像便于识别热源目标，可见光图像包含丰富的纹理信息。红外和可见光的融合图像兼顾了两个波段传感器的优势，可以清楚地显示热源目标及其背景，在军事侦察、安防监控、遥感监测等领域有着广泛的应用，已成为图像融合领域的重点研究方向。近年来，国内外学者对红外和可见光图像融合算法开展了大量研究。文中首先对现有的图像融合算法进行了详细介绍，包括多尺度变换、稀疏表示的传统图像处理方法和基于CNN,GAN,AE这3种常见网络结构的深度学习图像融合算法。接着综述了融合图像的评价方法，对常见的多种客观评价指标进行了归类分析。然后开展对比实验，对各种方法进行了主观评价和定量分析，指出不同方法的优势和不足。最后，对红外和可见光图像融合技术的未来发展趋势进行展望。     

一种扩展VIFB的红外与可见光图像融合基准

红外与可见光图像融合是机器视觉的一个重要领域,在日常生活中应用广泛。近年来,虽然红外与可见光图像融合领域已有多种融合算法,但目前该领域还缺乏能够衡量多种融合算法性能的算法框架和融合基准。在简要概述了红外与可见光图像融合的最新进展后,提出了一种扩展VIFB的红外与可见光图像融合基准,该基准由56对图像、32种融合算法和16种评价指标组成。基于该融合基准进行了大量实验,用来测评所选取的融合算法的性能。通过定性和定量结果分析,确定了性能优良的图像融合算法,并对红外与可见光图像融合领域的未来前景进行了展望。     

基于L1-APG的红外与可见光目标实时融合跟踪

针对复杂背景下采用单个传感器跟踪性能差的问题,提出一种基于稀疏表示和L1-APG的红外可见目标融合跟踪算法。对红外与可见光目标分别进行稀疏表示,并以它们的联合重构误差最小为目标构建最优化问题,采用L1-APG算法求解该优化问题,运用最小误差边界约束条件降低算法的计算复杂度,并实现红外与可见光目标模板的动态更新。测试结果表明,该融合跟踪算法在处理目标遮挡、目标旋转移动、目标交叉和夜间光照不均等方面要优于传统的单源跟踪方法。     

基于双模态输入的孪生网络目标跟踪算法

主流的目标跟踪算法只使用可见光(RGB)图像进行跟踪任务,当跟踪场景的光照条件较差时,表征颜色和纹理特征的可见光图像会严重限制跟踪器的跟踪性能.针对单一模态目标信息存在缺失的问题,在Siam-FC网络模型以及红外—可见光图像融合思想的基础上提出了双模态权值自更新孪生网络目标跟踪方法.根据红外图像可以采集运动目标热信息的特点,有效利用了红外和可见光图像在目标跟踪领域的互补优势;使用较浅的特征提取网络AlexNet即可提取到运动目标具有鲁棒性的特征,在保证跟踪精度的同时提高了跟踪模型的跟踪速度.在公开数据集OTB2015和红外—可见光数据集RGB-T210进行实验,结果表明提出的目标跟踪算法在各种跟踪场景下都取得了较好的跟踪效果.     

红外可见光目标的空间直方图表示与联合跟踪

目的 针对融合跟踪中的实时性和准确性问题,提出一种基于二阶空间直方图联合的红外与可见光目标融合跟踪算法。方法 该算法以二阶空间直方图为目标表示模型,通过将红外的目标相似度和可见光的目标相似度进行加权融合,来构建新的目标函数;并依据核跟踪推理机制导出目标的联动位移公式;最后使用均值漂移程序实现目标的自动搜索。此外,算法还实现了融合权值的自适应调节和目标模型的在线更新。结果 实验中选取了4组典型的红外可见光视频对进行跟踪,测试了算法在夜间环境、背景阴影、目标交汇与拥簇,以及目标遮挡等场合下的跟踪性能,并与L₁跟踪器（L1T）、基于区域模糊动态融合的跟踪器（FRD）,以及基于联合直方图的跟踪器在平均中心误差、平均重叠率、成功率以及平均跟踪时间等指标上进行了定量比较,得到各算法在这4组视频上的对应性能指标数据分别为本文算法（6.664,0.702,0.921,0.009）、L1T跟踪红外目标（25.53,0.583,0.742,0.363）、L1T跟踪可见光目标（31.21,0.359,0.459,0.293）、FRD（10.73,0.567,0.702,0.565）、JHT（15.07,0.622,0.821,0.001）,发现本文算法的平均准确率比其他跟踪算法分别高约23%、14%和8%,而平均成功率分别高约32%、46%和10%。结论 本文算法在处理场景拥簇、光照变化以及空间信息保持等方面要优于传统的单源跟踪方法,适用于夜间环境、背景阴影以及背景拥簇等场景下目标跟踪,对帧频为30 帧/s的视频数据,算法可同时在线跟踪到4个目标。     

光电载荷下的红外和可见光图像融合综述

随着机载光电平台在军事、民用等领域的应用，红外与可见光图像的增强和融合技术逐渐成为研究的热点方向。红外设备主要依靠物体本身的热辐射进行成像，适用于恶劣自然环境和隐秘场所等特殊场景，但存在成像质量不佳、图像对比度较低、纹理细节不丰富等缺点；可见光图像的纹理细节和对比度更适合人类的视觉感知，但可见光图像在烟雾、夜间等条件下的成像效果差，不适用于隐秘的场所。因此，研究人员提出了既有可见光图像边缘、细节信息又有红外热辐射目标信息的互补图像融合方法。结合红外与可见光图像特点，对目前适用于机载平台的传统红外与可见光图像融合方法进行整理和综述，给出了现有红外与可见光融合算法中弱小目标、纹理信息缺失和计算效率问题的改进思路，并对光电载荷背景下传统红外与可见光图像融合技术未来的发展进行了展望。     

粒子滤波目标跟踪算法综述

随着人工智能科学的发展,目标跟踪成为中外学者研究的热点,近年来很多目标跟踪算法相继被提出,其中,经典的卡尔曼滤波算法常被用于目标跟踪领域。然而,在实际情况中,目标跟踪过程常涉及到非线性非高斯问题,由于粒子滤波算法在非线性非高斯系统中有较好的性能,因此将其引入目标跟踪研究领域。针对粒子滤波算法存在的跟踪精度差、实时性不高等问题,近年来国内外学者提出很多改进方法。从特征融合、算法融合和自适应粒子滤波三个方面介绍了相关改进方法的基本思想,展望了粒子滤波算法在目标跟踪领域的发展方向。     

视觉目标跟踪方法研究综述

目的 随着军事侦察任务设备的发展,红外与可见光侦察技术成为军事装备中的主要侦察手段。研究视觉目标跟踪技术对提高任务设备的全天候目标侦察、目标跟踪、目标定位等战场情报获取能力具有重要意义。目前,对视觉目标跟踪技术的研究越来越深入,目标跟踪的方法和种类也越来越丰富。本文对目前应用较为广泛的4种视觉目标跟踪方法进行研究综述,为后续国内外研究者对目标跟踪相关理论及发展研究工作提供基础。方法 通过对视觉目标跟踪技术难点问题进行分析,根据目标跟踪方法建模方式的不同,将视觉目标跟踪方法分为生成式模型方法与判别式模型方法。分别对生成式模型跟踪算法中的均值漂移目标跟踪方法和粒子滤波目标跟踪方法,判别式模型跟踪算法中的相关滤波目标跟踪方法和深度学习目标跟踪方法进行研究。首先分别对4种跟踪算法的基本原理进行介绍,然后针对4种跟踪算法基本原理的不足和对应目标跟踪中的难点问题进行分析,最后针对目标跟踪的难点问题,给出对应算法的主流改进方案。结果 针对视觉目标跟踪相关技术研究进展,结合无人机侦察任务需求,对跟踪算法实际应用中存在的重点解决问题与相关目标跟踪的难点问题进行分析,给出目前的解决方案与不足,探讨研究未来无人机目标侦察跟踪技术的发展方向。结论 视觉目标跟踪技术已经取得了显著的进展,在侦察任务中的应用越来越广泛。但目标跟踪技术仍然是非常具有挑战性的问题,目标跟踪中的相关理论有待进一步完善和改进,由于实际应用中的场景复杂,目标跟踪的难点问题的挑战性更大,因此容易导致跟踪效果不佳。针对不同的应用环境,结合具体不同军事装备的特点,研究相对精确和鲁棒并且满足实时性要求的视觉目标跟踪算法,对提升装备的全天候侦察目标信息获取能力具有重要意义。     

基于深度学习的目标视频跟踪算法综述

深度学习理论在计算机视觉中的应用日趋广泛,在目标分类、检测领域取得了令人瞩目的成果,但是深度学习理论在目标跟踪领域的早期应用中,由于存在跟踪时只有目标为正样本,缺乏数据支持,对位置信息依赖程度高等问题,因而应用效果并不理想,传统方法仍占据主流地位.近年来,随着技术的不断发展,深度学习在目标跟踪方向取得了长足的进步.本文首先介绍了目标跟踪技术的基本概念和主要方法,然后针对深度学习在目标跟踪领域的发展现状,从基于深度特征的目标跟踪和基于深度网络的目标跟踪两方面重点阐述了深度学习在该领域的应用方法,并对近期较为流行的基于孪生网络的目标跟踪进行了详细介绍.最后对近年来深度学习在目标跟踪领域取得的成果,以及未来的发展方向作了总结和展望.     

注意力增强和目标模型更新的红外目标跟踪算法

目的 多数以深度学习为基础的红外目标跟踪方法在对比度弱、噪声多的红外场景下,缺少对目标细节信息的利用,而且当跟踪场景中有相似目标且背景杂乱时,大部分跟踪器无法对跟踪的目标进行有效的更新,导致长期跟踪时鲁棒性较差。为解决这些问题,提出一种基于注意力和目标模型自适应更新的红外目标跟踪算法。方法 首先以无锚框算法为基础,加入针对红外跟踪场景设计的快速注意力增强模块以并行处理红外图像,在不损失原信息的前提下提高红外目标与背景的差异性并增强目标的细节信息,然后将提取的特征融合到主干网络的中间层,最后利用目标模型自适应更新网络,学习红外目标的特征变化趋势,同时对目标的中高层特征进行动态更新。结果 本文方法在 4 个红外目标跟踪评估基准上与其他先进算法进行了比较,在 LSOTB-TIR(large-scale thermalinfrared object tracking benchmark)数据集上的精度为 79.0%,归一化精度为 71.5%,成功率为 66.2%,较第 2 名在精度和成功率上分别高出 4.0%和 4.6%;在 PTB-TIR(thermal infrared pedestrian tracking benchmark)数据集上的精度为85.1%,成功率为 66.9%,较第 2 名分别高出 1.3% 和 3.6%;在 VOT-TIR2015(thermal infrared visual object tracking)和VOT-TIR2017 数据集上的期望平均重叠与精确度分别为 0.344、0.73 和 0.276、0.71,本文算法在前 3 个数据集的测评结果均达到最优。同时,在 LSOTB-TIR 数据集上的消融实验结果显示,本文方法对基线跟踪器有着明显的增益作用。结论 本文算法提高了对红外目标特征的捕捉能力,解决了红外目标跟踪易受干扰的问题,能够提升红外目标长期跟踪的精度和成功率。     

Mean Shift和粒子滤波实现红外人体跟踪算法综述

红外摄像仪能够全天候工作且不会受限于像光线不足、漆黑夜晚等外界环境的干扰,但是红外图像成像质量差、分辨率低、信息单一等特点导致研究人体目标跟踪出现许多难点问题。主要贡献表现在以下三个方面：（1）对少有的公开的红外数据集进行详细归纳;（2）重点阐述了国内外在红外人体跟踪方面对Mean Shift算法和粒子滤波算法的改进方案;（3）重点介绍了融合红外成像与可见光成像实现红外人体跟踪的研究进展。     

针对融合图像的均值位移跟踪方法

提出一种针对融合图像的均值位移跟踪方法。运用加权平均融合和基于动态目标检测的多源动态图像融合体系,对可见光与红外图像进行像素级动态图像融合,利用Mean Shift算法进行目标跟踪。采用真实数据进行实验,并对实验结果进行稳态的位置均方根误差评价。结果表明,在跨背景区域及复杂背景下,采用该方法对目标进行运动跟踪,能满足鲁棒性及实时性要求。     

基于红外和可见光融合的目标跟踪

针对单一图像源下目标跟踪精度不高和当目标存在部分遮挡时目标跟踪丢失的问题,本文提出了一种结合红外图像和可见光图像特征进行融合的方法. 首先在进行目标跟踪时,提取可见光图像的颜色信息作为目标模型的参数,提取红外图像的灰度信息作为目标模型的参数,并分别得到目标位置及其子图. 然后再利用目标子图和目标模型分别进行Bhattacharyya系数的计算,根据权值函数来计算各自系数的权值,最后用Mean Shift算法对加权后的目标进行跟踪. 该方法充分利用了红外图像与可见光图像的优点,提高了目标跟踪的精度,解决了当目标存在部分遮挡时目标跟踪丢失的问题.