融合跟踪器:融合图像特征和事件特征的单目标跟踪框架

目标跟踪是计算机视觉领域的一项基本研究问题。作为主流目标跟踪方法传感器,传统相机可以提供丰富的场景信息。但是由于受到采样原理的限制,传统相机在极端光照条件下会出现过曝光或欠曝光的问题,且在高速运动场景中存在运动模糊的现象。而事件相机是一种仿生传感器,它能够感知光照强度变化输出事件流,具有高动态范围、高时间分辨率等优点,但难以捕捉静态目标。受传统相机和事件相机的特性启发,提出了一种双模态融合的单目标跟踪方法,称为融合跟踪器(Fusion Tracker)。该方法通过特征增强的方式自适应地融合来自传统相机和事件相机数据中的视觉线索,同时设计一种基于注意力机制的特征匹配网络,将模板帧的目标线索与搜索帧相匹配,建立长期特征关联,使跟踪器关注目标信息。融合跟踪器可以解决特征匹配过程中相关性运算导致的语义丢失问题,提升目标跟踪的性能。在两个公开数据集上的实验展示了所提方法的优越性,并且通过消融实验验证了融合跟踪器中关键部分的有效性。融合跟踪器可以有效提升在复杂场景中目标跟踪任务的鲁棒性,为下游应用提供可靠的跟踪结果。     

融合运动和颜色特征的视频目标粒子滤波跟踪北大核心CSCD

研究可见光的视频运动目标跟踪问题。运用粒子滤波进行视频图像的目标跟踪时,目标特征的选择较为重要。传统的基于颜色特征的粒子滤波跟踪,在背景与目标的颜色分布相同时容易出现目标丢失现象。运动和颜色的融合信息为特征,在包含目标的局部区域内进行光流计算,并定义运动观测为粒子的运动像素数量。在粒子滤波框架下将运动观测融入到重要性抽样函数中,扩大预测样本与观测似然峰值的重叠区域;以运动和颜色的融合信息形成联合观测似然函数,并根据它们单独观测的质量自适应地确定各自权重。实验结果表明,改进的跟踪算法在背景存在颜色干扰时的鲁棒性和目标发生机动时的准确性均有提高。     

基于多尺度特征融合的小目标行人检测

针对SSD当前存在的小目标漏检以及误检问题,结合反卷积与特征融合思想,提出hgSSD模型。将原SSD特征层反卷积后与较浅层特征结合,实现复杂场景下小目标行人检测。为了保留浅层网络特征,提高算法实时性,节省计算资源,hgSSD模型基础网络使用VGG16,而非更深层的ResNet101。为了加强对小目标的检测,将VGG16中的Conv3_3改进为特征层加入训练。融合后的网络相对于SSD较为复杂,但基本保证实时性,且成功检测到大部分SSD网络漏检的小目标,检测精度相比于SSD模型也有提升。在选择框置信度得分阈值为0.3的情况下,基本检测到SSD漏检小目标。在VOC2007+2012中相对于SSD行人检测的Average Precision值从0.765提升为0.83。     

基于自适应多特征融合的mean shift目标跟踪

经典mean shift目标跟踪算法简单快速,具有较好的跟踪效果,但是它用单个特征描述目标,易受相似目标与背景的干扰,鲁棒性较差.针对此不足,推导出多特征融合mean shift目标定位公式;为了适应跟踪过程中目标与背景的变化,提出利用概率分布可分性判据动态评价特征对目标与背景的区分能力,并自适应地计算特征融合权重.在上述两个方面的基础上,对mean shift目标跟踪算法进行了改进,提出一种多特征融合mean shift目标跟踪算法.实验结果表明：提出的算法比经典mean shift目标跟踪算法具有更强的抗干扰性能和较高的跟踪精度.     

融合特征的卫星视频车辆单目标跟踪

目的 卫星视频作为新兴遥感数据,可以提供观测区域高分辨率的空间细节信息与丰富的时序变化信息,为交通监测与特定车辆目标跟踪等应用提供了不同于传统视频视角的信息。相较于传统视频数据,卫星视频中的车辆目标分辨率低、尺度小、包含的信息有限。因此,当目标边界不明、存在部分遮挡或者周边环境表观模糊时,现有的目标跟踪器往往存在严重的目标丢失问题。对此,本文提出一种基于特征融合的卫星视频车辆核相关跟踪方法。方法 对车辆目标使用原始像素和方向梯度直方图（histogram of oriented gradient,HOG）方法提取包含互补判别能力的特征,利用核相关目标跟踪器分别得到具备不变性和判别性的响应图;通过响应图融合的方式结合两种特征的互补信息,得到目标位置;使用响应分布指标（response distribution criterion,RDC）判断当前目标特征的稳定性,决定是否更新跟踪器的表征模型。本文使用的相关滤波方法具有计算量小且运算速度快的特点,具备跟踪多个车辆目标的拓展能力。结果 在8个卫星视频序列上与主流的6种相关滤波跟踪器进行比较,实验数据涵盖光照变化、快速转弯、部分遮挡、阴影干扰、道路颜色变化和相似目标临近等情况,使用准确率曲线和成功率曲线的曲线下面积（area under curve,AUC）对车辆跟踪的精度进行评价。结果表明,本文方法较好地均衡了使用不同特征的基础跟踪器（性能排名第2）的判别能力,准确率曲线AUC提高了2.9%,成功率曲线AUC下降了4.1%,成功跟踪车辆目标,不发生丢失,证明了本文方法的先进性和有效性。结论 本文提出的特征融合的卫星视频车辆核相关跟踪方法,均衡了不同特征提取器的互补信息,较好解决了卫星视频中车辆目标信息不足导致的目标丢失问题,提升了精度。     

基于特征融合的改进LCT跟踪算法

为解决LCT算法在目标形变与快速移动情况下跟踪效果差的问题,提出一种基于特征融合的跟踪算法。在梯度方向直方图特征相关滤波的基础上,提取目标与背景颜色直方图特征,得到颜色特征的目标预测位置。在此基础上,根据跟踪置信度确定特征融合权重,综合考虑梯度特征与颜色特征得到跟踪结果。实验结果证明,与LCT算法相比,该算法的距离精度和重叠精度分别提高了11.5%和21.2%,平均中心位置误差减少了15.3像素。     

基于自适应背景的多特征融合目标跟踪

针对基于单一特征的目标跟踪算法,在复杂情形下,很难准确跟踪目标的问题,提出一种基于自适应背景的多特征融合目标跟踪算法。该算法利用颜色和基于灰度共生矩阵纹理特征表征目标,在粒子滤波的框中,通过分析在不同特征下,粒子空间分布、权值分布,以及特征对背景的区分性,提出一种有效的融合系数计算方法; 根据在跟踪过程中目标外观的变化情况,自适应更新目标模板。在不同场景下的实验结果表明:该算法在不降低实时性的前提下,抗背景干扰能力大幅度提高; 在各种场景下,均具有良好的稳定性和鲁棒性。     

浅层特征融合引导的深层网络行人检测

行人检测是目标检测中的一个重要研究方向。针对行人检测算法在复杂场景和目标太小情况下漏检的问题,在Faster R-CNN检测算法的基础上,提出一种基于浅层特征融合引导的深层网络行人检测。通过HOG特征、改进的LBP特征与深度网络特征融合获得准确的行人特征,在国际上广泛使用的行人数据集上进行一系列实验。结果表明,所提出的改进方法在检测准确率和速率方面都有所提高。     

基于多粒度特征的行人跟踪检测结合算法

对于一些较为流行的应用,例如视频场景监控,对行人的长期有效跟踪是应用的基础.尽管对目标检测与跟踪的相关技术研究已经有了很长的历史,但是如何实时并较为准确地实现目标行人跟踪目前仍然是一个活跃的研究领域.基于多粒度的思想,提出了一种改进的行人跟踪算法,将卷积特征与底层颜色特征结合,对基于深度学习的跟踪算法GOTURN(generic object tracking using regression networks)得到的跟踪结果进行判断决策,结合目标检测对跟踪结果进行修正.实验结果表明：与单一的跟踪算法相比,多粒度决策的跟踪算法能够更加准确地对目标行人进行跟踪,可以显著提高跟踪精度.     

一种融合粒子滤波的多特征特定行人追踪方法

针对特定行人目标跟踪,提出了一种融合粒子滤波的多特征特定行人检测追踪方法。该方法借鉴空间金字塔匹配模型将行人在空间上进行划分,然后融合颜色特征和局部三值模式（LTP）纹理特征,提取目标行人各子区域信息,最后结合粒子滤波来综合判断目标行人的位置。实验结果显示,本文方法能够有效区分目标与背景,同时在目标行人被遮挡的情况下,算法能够有效跟踪。      

特征金字塔融合的多模态行人检测算法

针对单模态行人检测在光照条件较差、目标部分遮挡、目标多尺度时检测效果较差的问题，提出了一种基于可见和红外双模态特征金字塔融合的行人检测算法。使用深度卷积神经网络代替传统的手工设计特征方式分别自动从可见模态及红外热模态的图片中提取单模态特征，根据ResNet（Residual Net）的阶段性特征图谱搭建特征金字塔网络，生成每个模态的特征金字塔，并将两个模态的特征金字塔进行逐层融合。选择深度学习通用目标检测算法--Faster R-CNN作为后续的目标定位与分类算法来解决多模态行人检测问题。在特征金字塔融合阶段，针对级联融合和较大值融合容易忽略弱特征，无法有效融合互补特征的问题，提出了一种锐化特征的特征金字塔融合方法，根据阈值强化突出强特征，互补叠加弱特征，有效利用每个模态的特征，进一步提高模型的检测效果。实验结果表明，特征金字塔聚合的多模态行人检测算法可以有效解决多模态行人检测问题，在KAIST数据集上的检测效果超过了目前该数据集上的最佳模型。     

基于特征融合的粒子滤波在红外小目标跟踪中的应用

针对红外图像序列中的小目标跟踪问题,在分析红外小目标特点的基础上,提出了一种基于特征融合的粒子滤波目标跟踪算法。该方法利用粒子滤波支持目标特征融合的优点,提出将灰度特征和分形特征相融合,并将融合后的信息用于粒子权值的计算,从而大大提高了跟踪算法的稳健性。实验结果表明,和传统的粒子滤波算法相比,该算法能够更加准确、有效地跟踪红外序列中的小目标。     

强化深度特征融合的行人搜索系统

针对行人图像的深度特征缺乏对局部细节的描述，及不完全具备对尺度、旋转、平移及光照变化等各种因素的不变性而导致行人搜索准确率低的问题，本文提出一种具有强化深度特征融合的行人搜索系统。该系统将行人候选网络和行人识别网络两部分整合优化成统一框架。其中，行人候选网络实现行人框的获取及标定，而行人识别网络在获取深度学习特征的基础上融入具有几何不变性的传统特征，建立一个强化深度特征融合网络模型。实验结果表明，本文采用强化深度特征融合的网络模型，在SSM数据集上检测并框出图片中的行人，其Top-1识别正确率高达80.7%，比单纯采用深度特征模型更具优越性。     

基于时间序列模型的粒子滤波行人跟踪算法研究

针对行人运动的随机性导致运动状态模型适应性差和人在行走过程中可能发生短时全部或局部遮挡导致行人跟踪算法精度较低的问题,提出基于时间序列模型的粒子滤波行人跟踪算法;建立了行人运动时间序列模型;给出了基于对视频序列初始帧的检测,确定行人的位置、宽高等作为跟踪先验信息的方法;由先验信息计算加权颜色直方图构建初始粒子群分布,并利用时间序列运动模型预测粒子在下一时刻的状态分布,并更新粒子权值;根据有效粒子的个数判断是否进行重采样;最后由所有粒子的加权和估计行人的运动状态;仿真实验表明:文中提出根据行人的运动轨迹时间序列运动模型可使行人的状态估计更准确,预测误差进一步减小,预测精度得到了提高.     

基于深度学习与特征融合的恶意网页识别方法研究

互联网环境的高度开放性和无序性导致了网络安全问题的普遍性和不可预知性, 网络安全问题已成为当前国际社会关注的热点问题。基于机器学习的恶意网页识别方法虽然卓有成就, 但随着对恶意网页识别需求的不断提高, 在识别效率上仍然表现出较大的局限性。本文提出一种基于深度学习与特征融合的识别方法, 将图卷积神经网络(Generalized connection network,GCN)与一维卷积神经网络(Convolution neural network, CNN)、支持向量机(Support vector machine, SVM)相结合。首先, 考虑到传统神经网络只适用于处理结构化数据以及无法很好的捕获单词间非连续和长距离依赖关系, 从而影响网页识别准确率的缺点,通过 GCN 丰富的关系结构有效捕获并保持网页文本的全局信息; 其次, CNN 可以弥补 GCN 在局部特征信息提取方面的不足,通过一维 CNN 对网页 URL(Uniform resource locator, URL)进行局部信息提取, 并进一步将捕获到的 URL 局部特征与网页文本全局特征进行融合, 从而选择出兼顾 CNN 模型和 GCN 模型特点的更具代表性的网页特征; 最终, 将融合后的特征输入到 SVM分类器中进行网页判别。本文首次将 GCN 应用于恶意网页识别领域, 通过组合模型有效兼顾了深度学习与机器学习的优点, 将深度学习网络模型作为特征提取器, 而将机器学习分类算法作为分类器, 通过实验证明, 测试准确率达到 92.5%, 高于已有的浅层的机器学习检测方法以及单一的神经网络模型。本文提出的方法具有更高的稳定性, 以及在精确率、召回率、 F1 值等多项检测指标上展现出更加优越的性能。     

基于置信度的加权特征融合相关滤波跟踪

目前机器视觉应用广泛，视频目标跟踪的过程中会遇到各种挑战。为解决单一特征鲁棒性差，模型和尺度更新机制不健全的问题，提出了一种将自适应加权特征融合方法与置信度模型及尺度更新机制相结合的相关滤波目标跟踪算法。算法将互补的梯度和颜色特征进行融合，通过计算各特征滤波响应来决定下一帧在融合特征中各自所占的权重，凸显优势特征，使目标与背景更具区分度。同时引入置信度更新机制，防止模型更新引入遮挡物、相似干扰，提高正确率。最后提出一种新的尺度更新策略，简化冗余代码，使跟踪更精确的同时降低时间代价。实验结果证明，该算法在精度和正确率上都比几种现有相关滤波算法更优，应对相似目标干扰和遮挡情况具有更高鲁棒性。对相关滤波算法进行了改进，加入了特征融合和更新机制，使算法提高了跟踪效果，具有一定的应用价值。     

特征融合自适应目标跟踪

经典视觉单目标跟踪方法通常以单特征描述被跟踪的目标。但在实际场景中,目 标因受外界因素如光照或自身变化如形变的影响而发生变化。为了更好地描述目标,首先引入 HOG 特征和 CN 特征,利用传统的特征提取方法,训练得到各自的相关滤波器;然后与各自特 征相关滤波得到各自的响应图;最后采用实际响应与期望响应的差值法求得各自响应图的权重, 将其与各响应图自适应融合得到目标的最终位置,并自适应更新各自的模型。实验选取公共数 据集 OTB2013 的 34 个彩色视频帧序列对不同算法进行定性和定量地分析和论证。相比效果最 好的 DSST 算法,平均中心误差减少了 7.8 像素,成功率提高了 1.2%,精度提高了 2.3%。实验 结果表明该算法具有较好的跟踪鲁棒性和准确性。