基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

基于最优可免域神经免疫网络的深度模糊红外目标提取算法

深度模糊是模糊红外图像的一类表现特征,准确提取红外图像的深度模糊区域是提取模糊红外目标的基础。基于生物免疫系统在抗原检测、提取和消除上表现出识别、学习、记忆、耐受和协调配合等优异特性,结合生物免疫中神经系统与免疫系统相互作用的关系,提出了一种基于最优可免域神经免疫网络的深度模糊红外目标提取算法。该算法通过设计神经网络能给进行模糊红外图像目标与背景分类的免疫网络以指导作用。依靠独立于免疫系统神经网络先验知识的作用,设计了最优可免域神经免疫网络,实现了针对深度模糊红外目标的准确提取。实验结果证明,相对于其他传统目标提取算法,该算法能更有效和更准确地提取模糊红外目标图像中的目标。     

基于KCF算法的空中目标跟踪模拟

机器学习可以从图像数据中学习到强大的特征表征。如果将目标检测跟踪技术与机器学习技术结合,能够在目标快速检测、准确识别和精准跟踪的性能上有显著提升,符合现实需求。本文将基于深度学习的YOLOv4目标检测算法应用于该场景的目标检测中;然后基于相关滤波的KCF目标跟踪算法,利用相关滤波方法将计算转化到频域,减少计算量,提高目标跟踪的实时性,通过深度学习得到的深度特征和深度学习训练的分类器,对比人工特征,目标跟踪的准确性会有大幅提升。相关滤波器通过多层网络进行训练,将相关滤波和深度学习相结合,以平衡目标跟踪的实时性和准确性,并应用到该场景的目标跟踪中。模拟实验结果表明,本文提出的空中目标检测跟踪技术的目标检测准确率达到95,跟踪精度达到99,能够实现对空中目标的实时跟踪。     

融合相关滤波和CNN的点状目标跟踪技术研究

在研究点状目标跟踪的基础上,该算法利用多层卷积特征和相关滤波技术进行目标跟踪.为解决目标因淹没在杂波中丢失的问题,该算法使用重检测机制实现目标的长期跟踪.首先,使用V GG模型提取红外点状目标的多层卷积特征,然后在每一层上经过相关滤波计算最大响应值,最后通过权重融合获得最终响应值,实现点状目标跟踪.当目标丢失时,利用重...     

基于不变矩特征的红外成像制导跟踪算法研究

随着红外成像制导技术的发展,它对制导跟踪算法的精度和实时性的要求越来越高。制导系统已被要求在20 ms的时间内输出跟踪结果。某些跟踪算法虽然效果较好,但达不到实时输出。经典的制导算法-相关跟踪算法主要基于像素灰度特征进行跟踪,无法解决跟踪过程中由于目标的旋转、膨胀以及仿射变换带来的跟踪点漂移问题。为了解决经典相关跟踪算法无法解决图像旋转时的跟踪稳定性问题以及目标图像急剧膨胀时的跟踪点漂移问题,研究了图像不变矩的特征。利用图像不变矩的旋转-伸缩-平移不变性,选择合适的不变矩特征用于跟踪。通过用归一化的乘法相关函数以及基于相关系数值的模板更新策略设计跟踪算法,解决了复杂背景及强噪声条件下不能对尺寸和形状发生变化的目标进行稳定跟踪的问题。     

一种新的红外目标提取算法

针对红外热图像普遍存在的目标与背景对比度差、边缘模糊等特点,提出了一种结合图像统计特征和模糊聚类的红外图像目标提取方法对红外图像进行迭代分块,通过计算统计特征度量函数的极值来确定种子区域,进而获得红外目标约束区域。利用模糊聚类对该约束区域进行有效的聚类划分,最终实现红外图像目标提取。实验结果表明,该方法能够准确的对红外目标进行提取,便于下一步的红外目标识别与跟踪。     

多层深度特征的目标跟踪算法研究

现有的目标跟踪算法大多采用传统的手工特征或神经网络的某一层特征描述目标的外观,不利于跟踪,文中提出一种基于多层深度特征的自适应更新目标跟踪算法。采用经过预训练的深层卷积神经网络分别提取低层和高层信息用以描述目标的空间特征和语义特征,通过对两层特征信息的学习得到两个滤波模板,对应求得两个滤波响应,这两个滤波响应以不同的权重决定最后的跟踪结果。算法中还设计了对目标外观模型和滤波模板的自适应更新方案,能更好地适应目标的外观变化以及遮挡问题。采用多层深度特征描述目标外观,并且利用提取的特征训练两个滤波模板,求滤波响应时采用核相关的方法,增强了跟踪结果的准确性并加快了跟踪的速度。实验结果表明,所提算法与现有跟踪算法相比,可以更好地应对多种挑战因素,跟踪速度也完全能满足实时跟踪任务的需求。     

基于模型互更新的多模图像融合跟踪算法

针对复杂环境下引起的目标失跟问题,提出了一种基于模型互更新的可见光与红外图像融合跟踪算法。基于把视觉跟踪问题视为"中心-周围"分类的思想,首先从可见光与红外图像中分别提取目标及周围像素点的特征,然后采用Boosting算法训练得到跟踪模型。基于分类结果计算像素点的置信度,采用决策级融合方法得到似然图像,通过均值漂移算法估计目标位置。最后在Co-Training框架下结合目标跟踪结果进行模型的互更新。实验结果表明,该算法提高了跟踪的鲁棒性,有效利用了多模图像的信息。     

复合翼无人机平台的下视红外船舶识别算法

由于复合翼飞行器在飞行过程中速度快,对红外目标识别算法的实时性有着更高的要求。针对快速目标识别的迫切需求,本文提出了一种基于改进YOLOv4的红外船舶识别算法YOLOv4 Gd。该算法首先将空间注意力机制与通道注意力机制相结合作用在主干网络CSPDarknet提取出有效特征层上,使得船舶目标的特征占据更大的权重,以此增强神经网络对特征的学习能力。其次,使用深度可分离卷积替换主干网络CSPDarknet的传统卷积,在确保不丢失大量信息的同时极大降低网络的模型参数,提高网络的实时性。引入可学习权重的双向特征融合BiFPN模块,增加网络对不同输入特征层的学习能力及多尺度特征融合能力,最后对主干网络层数进行优化。实验结果表明,优化后的算法在复杂背景、小尺度目标及多目标等应用场景的平均准确率提升了222,同时FPS达到489,为在移动边缘计算平台上实现红外舰船目标识别提供了飞行试验基础。     

自适应位置切换相关滤波目标跟踪

为解决卷积特征目标跟踪算法精确度和速度相互制约的问题,文中提出了一种基于峰值旁瓣比的自适应位置切换的相关滤波目标跟踪算法。将Pool4和Conv5-3层作为特征提取层,通过特征能量均值比获取有效的卷积特征,提高算法的速度;然后利用不同样本分布训练多个相关滤波器,并根据峰值旁瓣比筛选出最适分类器进行位置预测,提高了跟踪器的泛化能力;最后利用稀疏模型更新策略更新滤波器模板,减小过拟合现象的同时进一步提高算法的速度。在OTB100标准数据集上测试该算法,实验结果表明,文中所提算法的精确度为88.8%,较原分层卷积跟踪算法提高了6.1%;跟踪速度为47.5帧/s,是原算法的5倍,显示了良好的实时性能。     

融合灰度与显著性特征的空中红外目标跟踪

针对红外目标特征简单且信息量少导致跟踪精度不高,提出一种基于灰度和显著性特征融合的核相关滤波算法用于空中红外目标跟踪。首先,在保证目标足够特征信息量的前提下对较大的目标进行不同等级压缩。然后将提取的二维灰度特征与显著性特征按页方式进行拼接扩展成三维特征,再将融合的特征用于核相关滤波。实验表明所提算法能够适应多种环境下的空中红外目标跟踪,跟踪精度和成功率典型值分别达到84.8%和63.9%,较大部分算法有很大提高,平均跟踪速度高达125 f/s,体现出了良好的实时性。因此,本文提出的算法在保证实时性的同时提高了跟踪的可靠性,具有一定的实用意义。     

基于改进纹理特征的红外目标跟踪算法

针对红外图像背景复杂、杂波干扰严重、相似目标混淆导致的目标跟踪丢失问题,本文提出了一种改进的低维度纹理特征OCS-LBP(Oriented Center Symmetric Local Binary Patterns,即方向中心对称的局部二值模式)。首先,利用此特征可以高效地获取目标图像中每个像素块的梯度方向和幅值信息,提高了跟踪过程的鲁棒性;其次,利用核相关滤波算法结合提取的OCS-LBP特征对目标图像区域进行模型训练;最后,根据训练好的模型检测下一帧图像中目标的具体位置。本文在10组红外视频序列上进行了测试,实验结果表明,本文算法的精确度和成功率相比于第二名算法分别获得了2.9%和9.9%的提升,同时在实验设备上算法的平均跟踪速度相比于第二名算法提升了14.15 frame/s。从实验结果可以看出本文提出的算法在红外目标跟踪上表现出较好的鲁棒性、准确性和实时性,具有一定的研究和实用价值。     

基于自适应响应融合的相关滤波红外目标跟踪

红外目标跟踪在军事和民用视频监控领域有重要的研究意义,但受热成像原理限制,红外目标分辨率低、对比度低、纹理信息缺失。针对红外目标特征信息量少导致跟踪性能较低的问题,提出一种基于自适应响应融合的相关滤波跟踪算法。该算法基于连续卷积运算的相关滤波跟踪框架,通过构造视觉显著性特征来增强目标外观描述,并结合对冲决策理论对由不同特征计算得到的多个滤波响应进行自适应融合,最终根据融合响应预测目标中心位置。此外,通过尺度滤波器来实现目标的尺度预测,得到完整的跟踪结果。在公开的红外视频数据集VOT-TIR2016进行测试,实验结果表明:与同类算法相比,该算法表现出更高的跟踪精确度和鲁棒性。     

基于二阶池化网络的鲁棒视觉跟踪算法

针对低分辨率、遮挡以及相似物体干扰等复杂场景下目标易丢失的问题,本文提出了基于二阶池化网络的视觉跟踪算法.已有的方法大多采用一阶池化网络,使得对低分辨目标和相似目标间的区分性不足.对此,本文首先在VGG16网络结构的基础上,将网络最后的一阶池化层替换为二阶协方差池化层,接着在ImageNet和CUB200-2011数据集上对网络进行重新训练.在跟踪阶段,为了减少运算负担,仅提取预训练网络的第四层卷积特征作为目标的外观表征.最后将提取的特征与已有的相关滤波算法进行结合.实验结果表明,本文算法在跟踪精度和成功率上均取得了优异的性能表现.     

多尺度语义信息融合的目标检测

针对当前目标检测算法对小目标及密集目标检测效果差的问题,该文在融合多种特征和增强浅层特征表征能力的基础上提出了浅层特征增强网络(SEFN),首先将特征提取网络VGG16中Conv4_3层和Conv5_3层提取的特征进行融合形成基础融合特征;然后将基础融合特征输入到小型的多尺度语义信息融合模块中,得到具有丰富上下文信息和空间细节信息的语义特征,同时把语义特征和基础融合特征经过特征重利用模块获得浅层增强特征;最后基于浅层增强特征进行一系列卷积获取多个不同尺度的特征,并输入各检测分支进行检测,利用非极大值抑制算法实现最终的检测结果。在PASCAL VOC2007和MS COCO2014数据集上进行测试,模型的平均精度均值分别为81.2%和33.7%,相对于经典的单极多盒检测器(SSD)算法,分别提高了2.7%和4.9%;此外,该文方法在检测小目标和密集目标场景上,检测精度和召回率都有显著提升。实验结果表明该文算法采用特征金字塔结构增强了浅层特征的语义信息,并利用特征重利用模块有效保留了浅层的细节信息用于检测,增强了模型对小目标和密集目标的检测效果。     

基于多特征融合相关滤波的红外目标跟踪

针对红外目标分辨率低、对比度差、信噪比低、纹理信息缺失等特点,提出一种融合多特征的红外目标跟踪算法。利用背景感知相关滤波器生成大量真实样本,对红外目标提取HOG特征和运动特征,通过线性求和方式进行特征融合,更好地发挥各自特征优势,实现对红外目标运动的精准跟踪。另外,提出使用空间加权窗代替传统相关滤波器中的余弦窗,可以更加突出目标的中心位置,同时也能很好地抑制边缘效应。采用VOT-TIR 2016数据集对算法性能进行评估,同时和15种流行算法进行比较。结果表明,本文算法在精确度和成功率上的得分分别为0.751和0.697,在精确度和成功率指标方面分别提高了8.8%和15.4%,具有一定的研究价值。     

非参数岸岛背景红外舰船目标识别算法研究

由于战场环境复杂且瞬息万变,针对岸岛背景引入了一种快速 的检测/定位算法。该算法能够搜索出感兴趣的红外舰船目标,比如停靠在港口的舰船,而且无需 预先训练。这种方法仅仅使用一幅单一的目标物体样例图片来发现视场中相似的匹配舰 船,而无需对要搜索的物体进行预先学习。从查询图像中提取局部方向核 作为描述器,用于度量一个像素与其邻域间的相似度。然后从这个描述器中提取出显著 特征,并将其与目标图像中的类似特征进行比较。这些比较是使用一个余弦相似度度量矩阵 来实现的。实验结果表明,这个算法表现优异,成功地识别出了复杂背景条件下的舰船目标。     

基于粒子滤波的系数编码车辆跟踪方法

传统基于生成式的车辆跟踪方法仅考虑了目标信息,忽略了车辆背景信息,降低了目标与背景的表征能力.针对复杂背景条件下视觉导航对车辆跟踪精度的需求,提出了一种基于粒子滤波的系数编码车辆跟踪方法.该方法首先对获取的帧图像进行仿射变换归一化处理,并采用深度去噪自编码器对变换后的图像进行完备特征字典的生成;接着,采用稀疏编码对完备特征字典进行降维处理,消除网络高层目标特征的冗余信息,保留网络底层的高效关联特征;最后,将提取的深度稀疏编码特征应用到粒子滤波的框架内实现车辆的有效跟踪,有效克服了判别式跟踪方法无法处理遮挡问题的缺陷.实验结果表明,在尺度变化、光照变化以及遮挡等复杂环境下,本文方法将跟踪精度提升了17％,每秒处理的帧图像速度提升了64％.     

基于多尺度特征融合的红外小目标检测方法

红外小目标检测因其探测距离远、抗干扰能力强等特点,在空中目标探测与跟踪系统中得到了广泛的应用.针对目前红外小目标检测算法在复杂背景下检测准确率低、虚警率高等缺点.提出了一种基于多尺度特征融合的端到端红外小目标检测模型(multi-scale feature fusion single shot multibox det...