基于视频的运动人脸检测与跟踪算法研究

提出了一种自适应调整帧间时间差的方法来检测运动目标,并结合采用YCbCr空间及非线性分段色彩变换的肤色检测模型,对视频图像中的运动目标检测候选肤色区域,采用人脸的特征检测方法检测候选人脸区域.最后,根据在前后几帧中采用融合运动目标与肤色模型的人脸检测算法启动跟踪,获得初始运动信息,后继帧中提出一种新的运动区域预测与肤色边缘拟合椭圆匹配的算法,试验表明该算法实时、有效.     

一种视频文本自动定位、跟踪和识别的方法

视频数据中的文本能提供重要的语义信息。本文提出了一种视频文本自动定位、跟踪和识别的方法，首先用基于小波和LH检测视频帧文本所在的位置，然后用运动估计的方法，跟踪后继帧文本的位置，再用多帧平均的方法增强文本区域，最后经过二值化处理和连通分量分析，将文本字符送入OCR软件进行识别。实验结果表明，该方法简单易行，能快速地定位和跟踪文本区域，定位精度和识别效果良好。     

一种视频多运动目标跟踪方法研究

图像运动目标跟踪是自动监控、道路导航、交通监控等重要系统的核心技术。为了解决视频中多个运动目标的跟踪,利用帧间差分、Kalman滤波器以及少量特征匹配来自动提取各个运动目标并进行跟踪。针对灰度图像序列,采用一种基于图像序列的梯度信息,使用帧间差分法自动提取运动目标,利用Kalman滤波器预测目标位置,在估计目标在下一帧的位置范围后,根据目标直方图特征来缩小搜索范围实现目标对象的准确跟踪。实验结果表示,该方法具有较小的运算量和较好的实时性,同等条件下具有较高准确性。     

摄像机运动的视频图像分割

通常所研究的视频图像序列是由摄像机对真实场景的拍摄形成的.在拍摄过程中摄像器件会发生缩放、旋转、平移等运动,当视频中的分割目标也在运动时,就会导致运动目标在图像上造成的变化与背景本身的变化混淆在一起,很难区分出哪个是前景,哪个是背景.在这种情况下如何精确地实时分割出运动目标成为研究的重点.采用时空联合的分割方法,先对视频图像进行空域单帧分割,采用形态学重建对图像进行处理,通过分水岭算法,得到精确的分割效果;根据图像序列间的运动信息,采用背景运动估计和补偿技术,以6参数仿射模型为运动模型,通过超松弛迭代获得仿射模型参数,取得了较准确的运动估计结果.通过全局运动补偿,对当前帧与补偿帧进行差分运算显露出局部运动区域.在此基础上对已有的分割结果进行区域合并,分割出运动目标.实验证明,本算法能准确实时地分割出运动目标.     

一种移动机器人对运动目标的检测跟踪方法

从序列图像中有效地自动提取运动目标区域和跟踪运动目标是自主机器人运动控制的研究热点之一.给出了连续图像帧差分和二次帧差分改进的图像HIS差分模型,采用自适应运动目标区域检测、自适应阴影部分分割和噪声消除算法,对无背景图像条件下自动提取运动目标区域.定义了一些运动目标的特征分析和计算,通过特征匹配识别所需跟踪目标的区域.采用Kalman预报器对运动目标状态的一步预测估计和两步增量式跟踪算法,能快速平滑地实现移动机器人对运动目标的跟踪驱动控制.实验结果表明该方法有效.     

基于SIFT特征跟踪匹配的视频拼接方法

针对不同摄像头的监控视频序列,提出了一种基于视频帧SIFT（Scale Invariant Feature Transform,即尺度不变特征变换）特征跟踪的拼接方法。通过SIFT算法提取帧图像的特征,并在跟踪的估计区域搜索匹配特征,从而确定待整合帧之间的变换参数。实验结果表明,该方法较好实现视频快速拼接,且对重叠区域小、形变大、有运动物体遮挡的视频具有较强的鲁棒性。     

基于水平集方法的弱边界运动人体目标跟踪与轮廓提取

针对图像中目标和背景灰度偏差较小、目标边缘轮廓弱的特点,提出了一种快速收敛并具有较强捕获弱边缘能力的水平集曲线演化方法。该方法采用指数函数作为边缘指示函数,运用归一化的Gauss分布函数改进传统的正则化Dirac函数。在目标跟踪过程中,采用卡尔曼滤波获取视频相应帧图像的运动人体目标最小外接矩形框,对外接矩形框内运动人体进行水平集曲线演化,实现对人体目标的跟踪和轮廓提取。分别对可见光下的运动目标和红外运动视频序列进行仿真实验。结果表明,相对于传统方法,其在跟踪速度上有很大的提高,对于红外图像中的弱边界目标及凸凹度较大的区域,也具有快速准确的收敛效果。     

基于改进的tMHI的实时视频运动目标检测及跟踪

提出了一种对视频图像进行实时目标分割及跟踪的新方法。该方法利用基于时间片的运动历史图像（tMHI）的灰度阶梯轮廓,对存在的子运动区域进行包围划分并予以标记,实现视频图像中运动目标的实时分割,进而将每帧tMHI图像中各个运动区域同场景中运动目标连续关联起来,实现对多运动目标的轨迹跟踪。为了提高分割质量,对tMHI进行了改进处理,去除了大部分噪声干扰,取得了明显的改善效果。实验表明,该方法可以有效地分割并跟踪视频中的多个运动目标,鲁棒性好,检出率较高,并且处理速度较快,达到了实时性的要求,还解决了局部粘连的问题。     

基于视觉的无人飞艇地面目标检测

针对无人飞艇地面目标检测中细节信息缺失的问题,提出一种静态目标和运动目标的检测方法。利用Lucas-Kanade方法跟踪目标区域内特征点,从而实现静态目标的连续检测。通过图像特征点的跟踪估计相邻帧图像间的全局运动,进而对图像进行运动补偿,利用补偿后的帧差图实现运动目标的检测。采用上海交通大学“致远一号”无人飞艇采集的实际视频数据进行实验与分析,结果验证了该方法的有效性。     

基于改进活动轮廓的视频对象自动分割及跟踪算法

为了能够从视频序列图像中准确地提取出运动视频对象,提出了一种基于改进活动轮廓的视频对象自动分割及跟踪方法。该方法首先采用连续帧间差的4次统计量假设检验来确定视频对象的运动区域,并使用形态滤波消除残余噪声和空洞;然后根据3帧序列图像得到的前后运动区域的相与运算来有效地解决运动视频对象前后帧的遮挡问题,以获得视频对象模板,当提取出视频对象模板的边缘轮廓后,再用梯度向量流场作为外力的改进活动轮廓算法来获得视频对象的精确轮廓;最后以此视频对象的轮廓为基础进行运动补偿,以得到下一帧图像的初始曲线,再使用改进的活动轮廓算法对下一帧图像进行分割,即可实现视频对象的跟踪。该方法不仅能够消除差分图像中的显露背景,得到运动视频对象精确的轮廓,并且可进行多目标的分割与跟踪。     

视频中运动目标的实时检测和跟踪

基于视频的自动目标检测和跟踪是计算机视觉中一个重要的研究领域，特别是基于视频的智能车辆监控系统中的运动车辆的检测和跟踪。提出了一种自适应的背景相减法来分割运动物体，为了准确地定位运动车辆的区域，采用差分图像投影和边缘投影相结合的方法来定位车体，同时利用双向加权联合图匹配方法对运动车辆区域进行跟踪，即将对运动车辆区域跟踪问题转化为搜索具有最大权的联合图的问题。该算法不仅能实时地定位和跟踪直道上运动的车辆，同时也能实时地定位和跟踪弯道上运动的车辆，从实验结果看，提出的背景更新算法简单，并且运动车辆区域的定位具有很好的鲁棒性，从统计的检测率和运行时间来看，该算法具有很好的检测效果，同时也能满足基于视频的智能交通监控系统的需要。     

背景估计与运动目标检测跟踪

基于视频的自动目标检测和跟踪是计算机视觉中一个重要的研究领域,特别是基于视频的智能车辆监控系统中的运动车辆的检测和跟踪。提出一种自适应的背景估计方法来实时获得当前背景图像,从而分割出运动物体。为了准确地定位运动车辆的区域,采用差分图像投影和边缘投影相结合的方法来定位车体,同时利用双向加权联合图匹配方法对运动车辆区域进行跟踪,即将对运动车辆区域跟踪问题转化为搜索具有最大权的联合图的问题。该算法不仅能实时地定位和跟踪直道上运动的车辆,同时也能实时地定位和跟踪弯道上运动的车辆,从实验结果看,提出的背景更新算法简单,并且运动车辆区域的定位具有很好的鲁棒性,从统计的检测率和运行时间来看,该算法具有很好的检测效果,同时也能满足基于视频的智能交通监控系统的需要。     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

联合YOLO和Camshift的目标跟踪算法研究

为了解决传统目标跟踪算法在有遮挡后无法准确跟踪的问题,提出了将YOLO和Camshift算法相联合的目标跟踪算法.基于YOLO网络结构来构建目标检测的模型,在模型构建之前,采用图像增强的方法对视频帧进行预处理,在保留视频帧中足够图像信息的同时,提高图像质量,降低YOLO算法的时间复杂度.用YOLO算法确定出目标,完成对目标跟踪的初始化.根据目标的位置信息使用Camshift算法对后续的视频帧进行处理,并对每一帧的目标进行更新,从而可以保证不断调整跟踪窗口位置,适应目标的移动.实验结果表明,所提的方法能够有效地克服目标被遮挡后跟踪丢失的问题,具有很好的鲁棒性.     

基于KCF和SIFT特征的抗遮挡目标跟踪算法

为了解决KCF目标跟踪中由于目标遮挡和目标尺度的变化造成跟踪目标丢失的问题,对核相关滤波器(KCF)目标跟踪的框架进行了研究,提出了一种基于KCF和SIFT特征的抗遮挡目标跟踪算法,引入了一种目标跟踪丢失后重新搜索定位目标的策略。利用尺度金字塔估计出目标的尺度,实现跟踪框自适应目标尺度大小,通过核相关滤波器(KCF)跟踪算法对目标进行跟踪。跟踪过程中对目标遮挡情况进行判断,当目标遮挡时,对当前帧跟踪框内的目标提取SIFT特征,生成模板特征。提取下一帧视频图像的SIFT特征并与模板特征进行匹配,框出与模板特征相匹配的目标,对目标继续进行跟踪。通过TB数据库标准视频序列和实际环境拍摄的视频序列进行测试。实验结果表明,跟踪框能适应目标的大小,在目标发生遮挡的情况下,能够重新找到目标并进行准确跟踪。     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架。利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器。在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU（Intersection-Over-Union）值自动确定目标的位置,并利用跟踪器的响应输出判断目标消失,从而自动停止当前目标标注。采用一种基于目标显著性的关键帧提取算法选择关键帧。采用自建舰船目标数据集进行了改进YOLO v3检测性能对比实验,并采用舰船视频序列验证了提出的视频目标半自动标注方法的有效性。实验结果表明,该方法可以显著提高标注效率,能够快速生成标注数据,适用于海上舰船等场景的视频目标标注任务。     

Deep Learning and Preference Learning for Object Tracking: A Combined Approach

Object tracking is one of the most important processes for object recognition in the field of computer vision. The aim is to find accurately a target object in every frame of a video sequence. In this paper we propose a combination technique of two algorithms well-known among machine learning practitioners. Firstly, we propose a deep learning approach to automatically extract the features that will be used to represent the original images. Deep learning has been successfully applied in different computer vision applications. Secondly, object tracking can be seen as a ranking problem, since the regions of an image can be ranked according to their level of overlapping with the target object (ground truth in each video frame). During object tracking, the target position and size can change, so the algorithms have to propose several candidate regions in which the target can be found. We propose to use a preference learning approach to build a ranking function which will be used to select the bounding box that ranks higher, i.e., that will likely enclose the target object. The experimental results obtained by our method, called \( DPL ^{2}\) (Deep and Preference Learning), are competitive with respect to other algorithms.     

Consistent color and detail transfer from multiple source images for video and images

In this paper, we propose a method to jointly transfer the color and detail of multiple source images to a target video or image. Our method is based on a probabilistic segmentation scheme using Gaussian mixture model (GMM) to divide each source image as well as the target video frames or image into soft regions and determine the relevant source regions for each target region. For detail transfer, we first decompose each image as well as the target video frames or image into base and detail components. Then histogram matching is performed for detail components to transfer the detail of matching regions from source images to the target. We propose a unified framework to perform both color and detail transforms in an integrated manner. We also propose a method to maintain consistency for video targets, by enforcing consistent region segmentations for consecutive video frames using GMM-based parameter propagation and adaptive scene change detection. Experimental results demonstrate that our method automatically produces consistent color and detail transferred videos and images from a set of source images.     

动态背景运动目标的快速锁定跟踪算法

为改善动态背景运动目标跟踪的精度和计算性能,提出一种Hu_Fourier特征描述子的目标识别算法和固定模板滑动置信度最佳线性逼近法的目标锁定跟踪算法。依据提出的Hu_Fourier特征描述子,快速准确地提取出识别区域运动目标的轮廓特征,结合加权距离目标识别算法,识别出图像中所有目标,计算目标的质心坐标。利用提出的固定模板滑动置信度准则,结合识别目标的质心,锁定目标,更新目标模板。依据最佳线性逼近法,确定下一帧图像的目标搜索区域。理论分析和实验结果验证了该目标锁定跟踪算法的鲁棒性和有效性。     

前景划分下的双向寻优跟踪方法

目的 基于目标模型匹配方法被广泛用于运动物体的检测与跟踪。针对传统模型匹配跟踪方法易受局部遮挡、复杂背景等因素影响的问题,提出一种前景划分下的双向寻优BOTFP （Bidirectional optimization tracking method under foreground partition）跟踪方法。方法 首先,在首帧中人工圈定目标区域,提取目标区域的颜色、纹理特征,建立判别外观模型。然后,利用双向最优相似匹配方法进行目标检测,计算测试图像中的局部特征块与建立的外观模型之间的相似性,从而完成模型匹配过程。为了避免复杂背景和相似物干扰,提出一种前景划分方法约束匹配过程,得到更准确的匹配结果。最后,提出一种在线模型更新算法,引入了距离决策,判断是否发生误匹配,避免前景区域中相似物体的干扰,保证模型对目标的描述更加准确。结果 本文算法与多种优秀的跟踪方法相比,可以达到相同甚至更高的跟踪精度,在Girl、Deer、Football、Lemming、Woman、Bolt、David1、David2、Singer1以及Basketball视频序列下的平均中心误差分别为7.43、14.72、8.17、13.61、24.35、7.89、11.27、13.44、12.18、7.79,跟踪重叠率分别为0.69、0.58、0.71、0.85、0.58、0.78、0.75、0.60、0.74、0.69。与同类方法L1APG （L1 tracker using accelerated proximal gradient approach）,TLD （tracking-learning-detection）,LOT （local orderless tracker）比较,平均跟踪重叠率提升了20%左右。结论 实验结果表明,在前景区域中,利用目标的颜色特征和纹理特征进行双向最有相似匹配,使得本文算法在部分遮挡、目标形变、复杂背景、目标旋转等条件下具有跟踪准确、适应性强的特点。