A fast and accurate moving object tracker in active camera model

Detecting and tracking moving objects within a scene is an essential step for high-level machine vision applications such as video content analysis. In this paper, we propose a fast and accurate method for tracking an object of interest in a dynamic environment (active camera model). First, we manually select the region of the object of interest and extract three statistical features, namely the mean, the variance and the range of intensity values of the feature points lying inside the selected region. Then, using the motion information of the background’s feature points and k-means clustering algorithm, we calculate camera motion transformation matrix. Based on this matrix, the previous frame is transformed to the current frame’s coordinate system to compensate the impact of camera motion. Afterwards, we detect the regions of moving objects within the scene using our introduced frame difference algorithm. Subsequently, utilizing DBSCAN clustering algorithm, we cluster the feature points of the extracted regions in order to find the distinct moving objects. Finally, we use the same statistical features (the mean, the variance and the range of intensity values) as a template to identify and track the moving object of interest among the detected moving objects. Our approach is simple and straightforward yet robust, accurate and time efficient. Experimental results on various videos show an acceptable performance of our tracker method compared to complex competitors.     

OPTICS聚类与目标区域概率模型的多运动目标跟踪

目的 针对多运动目标在移动背景情况下跟踪性能下降和准确度不高的问题,本文提出了一种基于OPTICS聚类与目标区域概率模型的方法。方法 首先引入了Harris-Sift特征点检测,完成相邻帧特征点匹配,提高了特征点跟踪精度和鲁棒性;再根据各运动目标与背景运动向量不同这一点,引入了改进后的OPTICS加注算法,在构建的光流图上聚类,从而准确的分离出背景,得到各运动目标的估计区域;对每个运动目标建立一个独立的目标区域概率模型(OPM),随着检测帧数的迭代更新,以得到运动目标的准确区域。结果 多运动目标在移动背景情况下跟踪性能下降和准确度不高的问题通过本文方法得到了很好地解决,Harris-Sift特征点提取、匹配时间仅为Sift特征的17%。在室外复杂环境下,本文方法的平均准确率比传统背景补偿方法高出14%,本文方法能从移动背景中准确分离出运动目标。结论 实验结果表明,该算法能满足实时要求,能够准确分离出运动目标区域和背景区域,且对相机运动、旋转,场景亮度变化等影响因素具有较强的鲁棒性。     

结合单高斯与光流法的无人机运动目标检测

针对无人机场景下运动目标检测对实时性要求高,运动背景、环境光照易变化等问题,提出一种结合单高斯与光流法的运动目标检测算法.首先,对运动相机捕捉的图像采用改进的单高斯模型进行背景建模,并融合前一帧图像的多个高斯模型来进行运动补偿,然后,将得到的前景图像作为掩模来提取特征点和进行光流跟踪,并对稀疏特征点的运动轨迹进行层次聚类.实验结果表明,该算法能有效地处理运动相机造成的前景对背景模型的干扰,背景建模速度快,对光照变化不敏感,检测出的目标接近真实目标.     

基于改进光流特征的运动目标跟踪

在城市智能视频监控中需要对运动目标进行实时跟踪,针对传统的运动目标检测中出现的跟踪目标易丢失、跟踪率低、实时性差等问题,提出一种基于改进光流特征的运动目标跟踪检测方法,对运动行人目标进行跟踪。该方法首先采用改进的Vibe运动背景建模法对视频中存在的运动行人进行检测,再将Shi-Tomasi角点检测与LK光流法进行结合,将角点检测结果融入到LK光流法中,并对检测到的角点进行运动光流特征提取,最后通过卡尔曼滤波对出现的行人进行预测跟踪,采用匈牙利最优匹配算法实现对运动目标的持续匹配以及对运动目标的跟踪。仿真结果表明,本文提出的方法能够对视频中出现的运动目标进行检测跟踪,具有较好的识别效果,且检测效率得到提高。      

混合视觉系统的运动物体检测和静态地图重建

复杂动态背景环境下的运动物体检测和静态地图重建中容易出现运动物体检测不完整的问题。针对上述问题,提出了一种混合视觉系统下点云分割辅助的运动物体检测方法。首先,提出了直通滤波+随机采样一致性（PassThrough+RANSAC）方法来克服大面积墙壁干扰以实现点云地面点的识别;其次,将非地面点数据作为特征点投射到图像上,并估计其光流运动向量和人工运动向量,从而对动态点进行检测;然后,采用动态阈值策略对点云进行欧氏聚类;最后,整合动态点检测结果与点云分割结果来完整地提取出运动物体。此外,通过八叉树地图（Octomap）工具将点云地图转换为三维栅格地图以完成地图的构建。通过实验结果和数据分析可知,所提方法可以有效提高运动物体检测的完整性,同时重建出低损耗、高实用性的静态栅格地图。     

基于改进光流法的旋转运动背景下对地运动目标实时检测

针对战机对地侦查视频图像中地面旋转运动背景下运动目标检测高虚警、低实时性的问题,提出了一种基于改进光流法的旋转运动背景下对地运动目标实时检测算法。首先提取图像的特征点,在特征点处计算光流运动矢量,并通过光流矢量场估算背景运动矢量。根据战机飞行高度自适应计算目标像素尺寸,网格化分块待检测图像;然后将各个特征点光流矢量与背景运动矢量相比较,获得备选目标特征点。最后统计分块备选目标特征点密度,判断目标位置区域。对2组实验视频中央360像素×432像素区域进行目标检测实验,结果表明该算法能够准确地检测出地面运动目标,虚警率低。平均每帧检测耗时分别为29.460 ms和31.505 ms,满足战机对地运动目标检测的实时性。     

基于视觉的无人飞艇地面目标检测

针对无人飞艇地面目标检测中细节信息缺失的问题,提出一种静态目标和运动目标的检测方法。利用Lucas-Kanade方法跟踪目标区域内特征点,从而实现静态目标的连续检测。通过图像特征点的跟踪估计相邻帧图像间的全局运动,进而对图像进行运动补偿,利用补偿后的帧差图实现运动目标的检测。采用上海交通大学“致远一号”无人飞艇采集的实际视频数据进行实验与分析,结果验证了该方法的有效性。     

适用于旋转摄像下目标检测的图像补偿

目的 摄像机旋转扫描条件下的动目标检测研究中,传统的线性模型无法解决摄像机旋转扫描运动带来的图像间非线性变换问题,导致图像补偿不准确,在动目标检测时将引起较大误差,造成动目标虚假检测。为解决这一问题,提出了一种面阵摄像机旋转扫描条件下的图像补偿方法,其特点是能够同时实现背景运动补偿和图像非线性变换补偿,从而实现动目标的快速可靠检测。方法 首先进行图像匹配,然后建立摄像机旋转扫描非线性模型,通过参数空间变换将其转化为线性求解问题,采用Hough变换实现该方程参数的快速鲁棒估计。解决摄像机旋转扫描条件下获取的图像间非线性变换问题,从而实现图像准确补偿。在此基础上,可以利用帧间差分等方法检测出运动目标。结果 实验结果表明,在摄像机旋转扫描条件下,本文方法能够同时实现图像间的背景运动补偿和非线性变换补偿,可以去除大部分由于立体视差效应（parallax effects）产生的匹配错误。并且在实验中,本文方法处理速度可以达到50帧/s,满足实时性要求。结论 在面阵摄像机旋转扫描的条件下,相比于传统的基于线性模型的图像补偿方法,本文方法能够快速、准确地在背景补偿的基础上同时解决图像间非线性变换问题,从而更好地提取出运动目标,具有一定的实用价值。     

动摄像机下基于SIFT特征匹配和MHI的目标检测

摄像机的运动使得复杂背景下动目标的检测复杂化。为了应对动态变化的背景,本文提出基于SIFT特征匹配和运动历史图的目标检测算法。首先用SIFT算法提取特征点,采用RANSAC方法求得仿射变换模型参数并实现图像的全局运动补偿,最后利用运动历史图的方法检测出动目标。SIFT特征点匹配的准确性和RANSAC方法去除异常点的有效性使得仿射变换模型参数计算准确,运动历史图则给出了动目标清晰的轮廓,并指明了动目标的运动方向。与Ninad Thakoor实验结果对比说明:该算法能够准确地检测出动目标,并且显示了动目标的运动方向。     

摄像机运动下基于背景匹配的运动目标检测

提出一种摄像机运动下的运动目标检测技术。首先获取相邻两帧图像上的对应特征点的坐标后应用到仿射变换模型得到全局运动参量来描述背景图像的运动变化。然后根据估计出的全局运动参量通过双线性内插法完成背景匹配。最后采用背景匹配后的两帧图像差进行目标检测。实验证明本算法在提高处理的精确度和时效性的同时还可以处理摄像机发生较大幅度旋转运动情况下的目标检测。     

基于角点跟踪的光流场计算

在综合视觉运动分析中的两类处理方法，选取图像中的角点作为特征点，并检测和跟踪图像序列中的角点。记录检测到的角点在图像序列中的位移，在理论上证明了时变图像的光流场可以近似地用角点的位移场代替，同时给出这种替代的两个前提条件。本文用真实图像序列验证提出的算法，实验结果表明该算法取得了较好的效果。     

基于运动显著性的移动镜头下的运动目标检测

针对移动镜头下的运动目标检测中的背景建模复杂、计算量大等问题,提出一种基于运动显著性的移动镜头下的运动目标检测方法,在避免复杂的背景建模的同时实现准确的运动目标检测。该方法通过模拟人类视觉系统的注意机制,分析相机平动时场景中背景和前景的运动特点,计算视频场景的显著性,实现动态场景中运动目标检测。首先,采用光流法提取目标的运动特征,用二维高斯卷积方法抑制背景的运动纹理;然后采用直方图统计衡量运动特征的全局显著性,根据得到的运动显著图提取前景与背景的颜色信息;最后,结合贝叶斯方法对运动显著图进行处理,得到显著运动目标。通用数据库视频上的实验结果表明,所提方法能够在抑制背景运动噪声的同时,突出并准确地检测出场景中的运动目标。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

海量监控视频快速回放与检索技术

为解决海量监控视频的快速浏览和检索,介绍了一种基于目标索引的视频摘要和检索方法。该方法在光流分析的基础上,在画面的静止区域更新背景,运动的区域利用差分法分割出运动目标图像。经过优化的快速特征匹配和建立运动跟踪模型后,根据目标运动轨迹,按照时空距离进行聚类。在目标图像数据和运动参数进行XML结构化存储为索引的基础上,最后在检索时将符合条件的所有目标图像,按照其原有时间顺序逐帧贴到同一个背景图像中,形成动态的摘要视频。由于该方法剔除了背景中大量的时空冗余信息,可在较短回放时间内浏览全部有用目标,显著提高海量监控视频的查阅效率。     

动态环境下基于增强分割的RGB-D SLAM方法

目前视觉SLAM（同步定位与地图创建）方法在动态环境下易出现漏剔除动态物体的问题,影响相机位姿估计精度以及地图的可用性。为此,本文提出一种基于增强分割的RGB-D SLAM方法。首先结合实例分割网络与深度图像聚类的结果,判断当前帧是否出现漏分割现象,若出现则根据多帧信息对分割结果进行修补,同时,提取当前帧的Shi-To...     

角点检测技术研究进展

角点是图像目标的重要的局部特征,角点检测是低层次图像处理的一个重要方法。角点检测在光流计算、运动估计、形状分析、相机标定和3D重建、视觉的定位和测量等方面都有重要的应用;根据实现方法不同可将角点检测算法分为基于模板的方法、基于边缘的方法、基于亮度变化的方法,并将现有的角点检测方法作了较为详细的分析、比较。     

Real-time motion detection based on SW/HW-codesign for walking rescue robots

In a rescue operation walking robots offer a great deal of flexibility in traversing uneven terrain in an uncontrolled environment. For such a rescue robot, each motion is a potential vital sign and the robot should be sensitive enough to detect such motion, at the same time maintaining high accuracy to avoid false alarms. However, the existing techniques for motion detection have severe limitations in dealing with strong levels of ego-motion on walking robots. This paper proposes an optical flow-based method for the detection of moving objects using a single camera mounted on a hexapod robot. The proposed algorithm estimates and compensates ego-motion to allow for object detection from a continuously moving robot, using a first-order-flow motion model. Our algorithm can deal with strong rotation and translation in 3D, with four degrees of freedom. Two alternative object detection methods using a 2D-histogram based vector clustering and motion-compensated frame differencing, respectively, are examined for the detection of slow- and fast-moving objects. The FPGA implementation with optimized resource utilization using SW/HW codesign can process video frames in real-time at 31 fps. The new algorithm offers a significant improvement in performance over the state-of-the-art, under harsh environment and performs equally well under smooth motion.     

Motion segmentation using occlusions

We examine the key role of occlusions in finding independently moving objects instantaneously in a video obtained by a moving camera with a restricted field of view. In this problem, the image motion is caused by the combined effect of camera motion (egomotion), structure (depth), and the independent motion of scene entities. For a camera with a restricted field of view undergoing a small motion between frames, there exists, in general, a set of 3D camera motions compatible with the observed flow field even if only a small amount of noise is present, leading to ambiguous 3D motion estimates. If separable sets of solutions exist, motion-based clustering can detect one category of moving objects. Even if a single inseparable set of solutions is found, we show that occlusion information can be used to find ordinal depth, which is critical in identifying a new class of moving objects. In order to find ordinal depth, occlusions must not only be known, but they must also be filled (grouped) with optical flow from neighboring regions. We present a novel algorithm for filling occlusions and deducing ordinal depth under general circumstances. Finally, we describe another category of moving objects which is detected using cardinal comparisons between structure from motion and structure estimates from another source (e.g., stereo).     

基于光流法的定点监控虚拟预置位图像提取方法

大范围定点监控存在摄像头预置位不足以覆盖全部监控区域的问题，而依靠摄像头本身的三维定位功能抓取监控点图像速度太慢，且可能存在定位误差。针对上述问题，提出了一种用于土地违法与违章建筑大范围定点监控的虚拟预置位图像提取及配准方法。对前后两帧图像进行灰度转化和中值滤波去除噪声点，使用基于金字塔的Lucas-Kanade光流算法计算前一帧图像强角点的光流，通过计算仿射变换得到帧间运动矢量；对相邻帧间运动矢量进行积分，得到每一帧图像总的运动矢量；通过提取出运动矢量与虚拟预置位运动矢量最接近的那一帧，得到所需的新时相虚拟预置位图像。实验结果表明，本文算法可以更快速地提取出同一监控点不同时相的监控对比图像，图像重叠率优于95%，不论是重叠率还是图像质量都可以很好地满足日常监控的需求。