基于孪生检测网络的实时视频追踪算法

目前,在视频追踪领域中,大部分基于孪生网络的追踪算法只能对物体的中心点进行定位,而在定位快速形变的物体时会出现定位不准确的问题。为此,提出基于孪生检测网络的实时视频追踪算法——SiamRFC。SiamRFC算法可直接预测被追踪物体位置,来应对快速形变的问题。首先,通过判断相似性来得到被追踪物体的中心点位置;然后,运用目标检测的思路,通过选取一系列的预选框来回归最优的位置。实验结果表明,所提SiamRFC算法在VOT2015|16|17的测试集上均有很好的表现。     

基于无锚点机制与在线更新的目标跟踪算法

SiamRPN这种基于锚点机制的跟踪算法对目标尺度变化、剧烈形变以及旋转等问题鲁棒性不强,针对此问题提出了一种基于无锚点机制与在线更新的目标跟踪算法。提出了一种多层融合的特征提取网络,该网络能充分利用图像的结构与语义信息;采用了一种无锚点机制,使网络能够直接预测出目标区域内采样点到目标区域边界的值,有效避免了锚点机制的相关缺点;在主干网络的基础上添加了在线更新模块,利用最新的跟踪结果进行在线训练,使算法能更好地预测未在训练集中出现的目标,并进一步适应目标的变化。相较于SiamRPN算法,改进算法在OTB100数据集上,成功率与准确率分别提高了0.062与0.065,对目标的尺度变化,剧烈形变以及旋转等问题表现出了更好的鲁棒性。     

基于状态表决的大规模数据库在线更新算法

目前,数据库为了保证运行安全需要进行在线更新,由于大量的数据要在短时间之内完成加载,那么计算机很难直接对其表决。针对这种问题,我们提出针对数据库的实时状态表决,而不是对数据库直接表决,并基于这种表决方法设计出相应的算法,有效解决数据量过大的问题。     

基于孪生卷积神经网络的图像融合

传统的图像融合算法多有计算复杂程度高、不能有效提取图像纹理等不足,为了弥补以上传统算法,提出了一种基于孪生卷积神经网络（Siamese Convolutional Neural Network,Siamese CNN）的图像融合方法.首先,用孪生卷积神经网络生成一个权重图,该权重图包含了来自两个待融合图像的全部像素信息.然后,用图像金字塔对像素以多尺度的方式进行融合,并且采用了局部相似性策略自适应调整分解系数的融合模式.最后,和现存的几种图像融合的方法进行了对比.实验证明,该方法有较好的融合效果,具有一定的可实用性.     

动态的加权孪生网络跟踪算法

为提升快速在线目标跟踪与分割算法的跟踪精度,提出了一种动态的加权孪生网络跟踪算法。首先,对初始帧提取的模板特征与每帧提取的模板特征进行学习融合,提高跟踪器的泛化能力;其次,在掩膜分支产生目标掩膜的过程中用加权的方式融合特征,减少冗余特征带来的干扰,提高跟踪的精度。在数据集VOT2016和VOT2018上进行测试,所提算法的预期平均重叠率分别为0.450和0.390,精确性分别为0.649和0.618,鲁棒性分别为0.205和0.267,均高于基准算法,跟踪速度为34帧/s,达到了实时跟踪的要求。所提算法有效地提高了跟踪的准确性,能在复杂的跟踪环境下较好地完成跟踪任务。     

高质量模板在线更新的孪生网络目标跟踪算法

为降低孪生网络跟踪器中预定义锚框对模板更新和跟踪精度的影响,提出一种采用高质量模板在线更新的孪生网络目标跟踪算法。在孪生网络跟踪框架的基础上引入一个基于区域建议网络的重检测模块,获得质量更高的回归边界框,利用初始帧、累计帧和当前帧的特征模板训练一个更新网络实现更高质量的模板更新。在OTB100和GOT-10k数据集上的对比实验结果表明,提出算法具有更好的成功率和精度,在具有各种复杂属性的场景中表现出更优秀的性能。     

一种结合时空上下文的在线卷积网络跟踪算法

基于卷积神经网络提取抽象特征缺乏时空信息的问题,结合时空上下文模型作为卷积神经网络的各阶滤波器,提出一种在线卷积神经网络的视觉跟踪算法.首先对初始目标进行归一化处理并提取目标置信图,跟踪过程中结合时空信息更新得到时空上下文模型,第1层使用更新后的模型对输入进行卷积,并对卷积结果进行滑动窗口取片,第2层再使用时空模型分别对取片结果进行卷积,提取目标简单抽象特征,然后叠加简单层的卷积结果得到目标的深层次表达,最后结合粒子滤波跟踪框架实现目标跟踪.实验表明:结合时空上下文模型的在线卷积网络结构提取的深度抽象特征,保留相关时空信息,提高复杂背景下的跟踪效率.     

基于视频的高速公路车辆检测和跟踪算法

采用一种基于像素的新方法来更新背景，同时将工作区域分为车辆检测和车辆跟踪两个部分，在车辆检测区建立跟踪对象，在车辆跟踪区仅仅对跟踪对象进行预测跟踪，从而减少了跟踪的盲目性和算法的计算量，提高算法精度。根据该算法设计的视频检测器已用于实际交通参数的采集，统计的结果表明该算法检测和跟踪的正确率分别高于96%和97%，并具有很好的实时性，能满足管理部门的需求。     

基于正则化的乘更新在线分类算法

大样本集上在线预测算法时间空间复杂度小、预测准确性高,与批处理学习算法相比,有明显的优势。自从Jivinen和M.Warmuth提出权衡正确性与保守性的在线学习框架后,在线学习框架已被广泛引用。但是在Jivinen和M.Warmuth提出的梯度下降和指数梯度下降算法中,对目标函数中的损失函数求导过程中使用近似步骤会引起在线学习结果恶化。运用对偶最优化理论,提出了非近似的基于不同距离和损失函数的乘更新分类算法,一系列的实验显示算法提高了预测准确率。     

注意力增强和目标模型更新的红外目标跟踪算法

目的 多数以深度学习为基础的红外目标跟踪方法在对比度弱、噪声多的红外场景下,缺少对目标细节信息的利用,而且当跟踪场景中有相似目标且背景杂乱时,大部分跟踪器无法对跟踪的目标进行有效的更新,导致长期跟踪时鲁棒性较差。为解决这些问题,提出一种基于注意力和目标模型自适应更新的红外目标跟踪算法。方法 首先以无锚框算法为基础,加入针对红外跟踪场景设计的快速注意力增强模块以并行处理红外图像,在不损失原信息的前提下提高红外目标与背景的差异性并增强目标的细节信息,然后将提取的特征融合到主干网络的中间层,最后利用目标模型自适应更新网络,学习红外目标的特征变化趋势,同时对目标的中高层特征进行动态更新。结果 本文方法在 4 个红外目标跟踪评估基准上与其他先进算法进行了比较,在 LSOTB-TIR(large-scale thermalinfrared object tracking benchmark)数据集上的精度为 79.0%,归一化精度为 71.5%,成功率为 66.2%,较第 2 名在精度和成功率上分别高出 4.0%和 4.6%;在 PTB-TIR(thermal infrared pedestrian tracking benchmark)数据集上的精度为85.1%,成功率为 66.9%,较第 2 名分别高出 1.3% 和 3.6%;在 VOT-TIR2015(thermal infrared visual object tracking)和VOT-TIR2017 数据集上的期望平均重叠与精确度分别为 0.344、0.73 和 0.276、0.71,本文算法在前 3 个数据集的测评结果均达到最优。同时,在 LSOTB-TIR 数据集上的消融实验结果显示,本文方法对基线跟踪器有着明显的增益作用。结论 本文算法提高了对红外目标特征的捕捉能力,解决了红外目标跟踪易受干扰的问题,能够提升红外目标长期跟踪的精度和成功率。     

自适应权重更新的轻量级视频目标分割算法

目的 针对现有视频目标分割（video object segmentation,VOS）算法不能自适应进行样本权重更新,以及使用过多的冗余特征信息导致不必要的空间与时间消耗等问题,提出一种自适应权重更新的轻量级视频目标分割算法。方法 首先,为建立一个具有较强目标判别性的算法模型,所提算法根据提取特征的表征质量,自适应地赋予特征相应的权重;其次,为了去除冗余信息,提高算法的运行速度,通过优化信息存储策略,构建了一个轻量级的记忆模块。结果 实验结果表明,在公开数据集DAVIS2016 （densely annotated video segmentation）和DAVIS2017上,本文算法的区域相似度与轮廓准确度的均值J&F分别达到了85.8%和78.3%,与对比的视频目标分割算法相比具有明显的优势。结论 通过合理且无冗余的历史帧信息利用方式,提升了算法对于目标建模的泛化能力,使目标掩码质量更高。     

基于VGG网络的鲁棒目标跟踪算法

针对传统目标跟踪算法中当目标被遮挡和受光照强度变化等多种因素干扰时,相关滤波器模板更新不准确,误差逐帧累积最终导致目标跟踪失败,提出了一种基于VGG网络的鲁棒目标跟踪算法。首先通过VGG网络对第1帧输入图像中的局部上下文区域提取平均特征图来建立相关滤波器模板;然后通过VGG网络对后续帧输入图像中的局部上下文区域提取平均特征图和仿射变换平均特征图;其次与核相关滤波跟踪算法相结合,自适应确定目标位置和最终目标位置;最后自适应更新最终平均特征图和最终相关滤波器模板。实验结果表明,本文算法在目标被遮挡和受光照强度变化等多种因素干扰时,仍具有较高的目标跟踪精度和较强的鲁棒性。     

基于特征跟踪和网格路径运动的视频稳像算法

针对手持移动设备拍摄的抖动视频问题,提出了一种基于特征跟踪和网格路径运动的视频稳像算法。通过SIFT算法提取视频帧的特征点,采用KLT算法追踪特征点,利用RANSAC算法估计相邻帧间的仿射变换矩阵,将视频帧划分为均匀的网格,计算视频的运动轨迹,再通过极小化能量函数优化平滑多条网格路径。最后由原相机路径与平滑相机路径的关系,计算相邻帧间的补偿矩阵,利用补偿矩阵对每一帧进行几何变换,从而得到稳定的视频。实验表明,该算法在手持移动设备拍摄的抖动视频中有较好的结果,其中稳像后视频的PSNR平均值相比原抖动视频PSNR值大约提升了11.2 dB。与捆绑相机路径方法相比约提升了2.3 dB。图像间的结构相似性SSIM平均值大约提升了59%,与捆绑相机路径方法相比约提升了3.3%。     

直方图在线更新的肤色识别方法研究

提出了一种基于直方图在线更新的肤色识别方法,在使用Adaboost算法提取出人的脸部区域后,计算出该区域YCrCb色彩空间的颜色直方图,构建肤色区域的概率模型。使用该模型对图像中所有的像素点进行计算区分,并根据实时识别结果在线更新,达到较好的识别率。     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络（SiamFC）跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题，提出了一种双重注意力机制孪生网络（DASiam）去调整网络模型并且不需要在线更新。首先，主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络；然后，在网络的中间层加入一个新的双重注意力机制去动态地提取特征，这种机制由通道注意机制和空间注意机制组成，分别对特征图的通道维度和空间维度进行变换得到双重注意特征图；最后，通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库（VOT2017）实时挑战上进行实验，实验结果表明，以40 frame/s的速度运行时，所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点，并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC，验证了所提出算法的有效性。     

基于深度学习的视频跟踪研究进展综述

近年来深度学习迅猛发展，颠覆了语音识别、图像分类、文本理解等领域的算法设计思路。深度学习因其具备强大的特征提取能力，在图像识别领域的成绩尤为突出。然而深度学习与视频监控领域的结合并不多，由于深度模型具有多层网络结构，算法复杂度大，训练和更新模型时比较耗时，很难满足实时性要求。回顾了深度学习的发展史，介绍了最近10年来国内外深度学习主要模型，论述了基于深度学习的目标跟踪算法，指出了各算法的优缺点，最后对当前该领域存在的问题和发展前景进行了总结和展望。