Learning-based spatio-temporal vehicle tracking and indexing for transportation multimedia database systems

One key technology of intelligent transportation systems is the use of advanced sensor systems for on-line surveillance to gather detailed information on traffic conditions. Traffic video analysis can provide a wide range of useful information to traffic planners. In this context, the object-level indexing of video data can enable vehicle classification, traffic flow analysis, incident detection and analysis at intersections, vehicle tracking for traffic operations, and update of design warrants. In this paper, a learning-based automatic framework is proposed to support the multimedia data indexing and querying of spatio-temporal relationships of vehicle objects in a traffic video sequence. The spatio-temporal relationships of vehicle objects are captured via the proposed unsupervised image/video segmentation method and object tracking algorithm, and modeled using a multimedia augmented transition network model and multimedia input strings. An efficient and effective background learning and subtraction technique is employed to eliminate the complex background details in the traffic video frames. It substantially enhances the efficiency of the segmentation process and the accuracy of the segmentation results to enable more accurate video indexing and annotation. The paper uses four real-life traffic video sequences from several road intersections under different weather conditions in the study experiments. The results show that the proposed framework is effective in automating data collection and access for complex traffic situations.     

一种基于嵌入空间的防遮挡的多目标跟踪算法

在视频监控中准确识别发生遮挡的目标是视频监控系统中面临一个难点,现在流行的运动目标跟踪算法由于基于检测之上,无法准确判断相互重叠之间的关系。提出一种基于基于嵌入空间识别遮挡关系的方法,在此基础上实现多目标的跟踪。具体的方法是构建遮挡关系函数明确表示发生遮挡目标之间的关系,并将之合并到跟踪算法框架内。同时,对联合状态预测函数进行分步处理,使得多目标的跟踪问题变成在嵌入空间中的分类问题。实验结果表明算法能在有遮挡情景下有效实施目标跟踪,并且,定量分析表明与其他算法相比提高一个数量级。     

基于帧间差和肤色特征人脸检测与跟踪算法

在类似于电视会议这样的应用中，实现人脸的准确检测及跟踪是关键的任务。在文中，我们提出一种人脸检测和跟踪算法，本算法基于帧间差和肤色特征。实验结果表明，文中提出的方法能够在复杂背景下有效地实现人脸的检测和跟踪。     

基于局域熵值分布图的目标分割及质心计算

图像分割的质量直接决定了目标检测及跟踪等一系列工作的好坏。传统的局域熵对于简单背景下的小目标检测较为有效,但对于目标较大的情况分割效果则不甚理想。致力于统计图像每一像素点的局域熵值,绘制局域熵值分布图。对局域熵值分布图进行迭代阈值分割,以求得最佳分割阈值并实现二值化。在二值化熵值分布图的基础上,统计像素分布,求取目标质心。在下一帧的视频图像中,根据前一帧求取的目标质心来设定波门,以减少非目标以及噪声的干扰。对多个视频序列进行实验后证明,本文提供的方法能够有效减少杂波干扰,提高系统的鲁棒性。     

基于FPGA的实时视频运动背景补偿校正技术

从视频运动背景中检测与跟踪运动目标通常需要对背景进行补偿校正.本文提出了一种利用高性能FPGA实时实现的技术方案.该方法基于仿射参数模型求取视频图像的全局运动参数,利用块匹配的方法得到特征点的运动位移估计,利用匹配加权函数的方法剔除目标点和噪声点对全局运动参数估计的影响.在系统实现上采用多分辨率和并行流水线的处理结构,使系统资源占用和运算效率得到了较好的统一.     

Visual tracking in HEVC compressed videos

We present a robust visual tracking algorithm to track a rigid object in high efficiency video coding (HEVC) compressed‐domain. Based on a Markov random field model, we estimate the target object state by using motion vector extracted from compressed bitstream. Especially, we employ residual discrete cosine transform (DCT) coefficient (RDC) in the bitstream as the shape information of the target object to prevent the drift problem. The measurements of motion vector and RDC are adaptively reflected through our potential functions for the target state. Our experiments on test sequences compressed by an HEVC encoder show that it is robust to track rigid objects. © 2016 Institute of Electrical Engineers of Japan. Published by John Wiley & Sons, Inc.     

基于改进Hausdorff距离的运动目标自动跟踪算法

针对视频运动目标的跟踪问题,提出了一种基于改进Hausdorff距离的运动目标自动跟踪算法。首先对视频图像作预处理,使用Canny算子进行边缘提取;然后采用对称差分算法建立运动目标的初始模板;接着采用改进的Hausdorff距离和新的匹配搜索策略,实现后续帧中运动目标与初始模板的匹配;最后,采用一种新的模板更新算法———4步法对模板进行更新。实验结果表明,该算法不仅能准确跟踪运动目标,而且能有效提高目标跟踪效率。     

采用局部线性嵌入的稀疏目标跟踪方法

目标跟踪是从复杂的背景中辨认出运动目标,并且对目标进行准确且连续的追踪。如何在遮挡、形变、背景复杂的条件下鲁棒性跟踪目标仍是亟待解决的问题。针对遮挡和形变问题,提出一种局部线性嵌入(LLE)和稀疏表示的算法来有效的学习外观模板。其中LLE是流形学习的一种典型算法。在该算法中每个点的近邻权值在平移、旋转、伸缩变化下是保持不变的,因此可以用来提取目标的本质特征,发现数据的内在规律。算法首先采用局部线性嵌入提取低维特征,提取后的特征作为基向量与琐碎模板组成稀疏原型,稀疏原型用于模板的更新。算法保持了原有稀疏跟踪方法对遮挡处理的优势,同时对目标形变有较好的稳健性。实验结果表明,跟踪算法比其他7个常用的算法在9个视频序列中有较好的鲁棒性能。     

A look at... shape and function from motion in medical imaging: Part I

Image sequence analysis has been an active research area for many years. It brought new insights into a lot of distinct applications, ranging from site securing (intrusion detection) to image coding and video indexing as well as path determination or object handling in robotics. The pioneering contributions provided in the 1980s (e.g., the works of Hildreth, Nagel, and Horn and Schunck) aimed at two-dimensional (2-D) image sequence analysis through motion field estimation have benefited from major technological and methodological advances. New capabilities in capturing three-dimensional scenes have opened the road for emerging applications and have therefore led to more demanding solutions for object feature extraction, reconstruction, and interpretation. This column revisits some up-to-date problems in digital imaging. A future column will point out some of the challenges that should be considered in medical imaging. Topics covered include motion estimation; motion based image segmentation; and tracking.     

基于循环相关滤波算法的复杂背景目标跟踪方法研究

为了实现在复杂情况中对特定目标的路线跟踪,主要研究了基于循环相关滤波器的目标跟踪算法,并针对复杂环境情况下影响跟踪性能的条件进行分析比较。该算法是一种基于线性分类器的监督学习算法,通过添加空间正则化分量减少边界效应,提取准确目标。在OTB-50和OTB-100数据集上进行算法验证,实验表明,该算法的跟踪结果优于其他算法,在快速移动、背景杂乱、光照变化、遮挡、移出视线和运动模糊6种复杂情况下跟踪准确度比传统算法均高出0.1以上。     

基于特征点的3D人脸姿态跟踪

针对视频序列中的人脸跟踪问题,提出一种单摄像头的人脸3D姿态跟踪方法。利用SIFT特征点匹配算法来得到可靠的帧间特征匹配。将前帧与所选的关键帧特征匹配信息及融入到对当前的姿态估计中,利用SIFT特征点匹配算法来得到可靠的帧间特征匹配。最后通过利用RANSAC随机选取特征点对,并用POSIT和最小化误差组合的3D投影方法以迭代的方式得到精确的当前帧人脸姿态估计。通过多组实验数据对比,表明了该算法在严重遮挡、头部摆动幅度较大、匹配点较少的复杂情况干扰下仍具有鲁棒性,并且解决了3D人脸跟踪的漂移问题,实现对目标人脸的稳定跟踪,对比以往2D跟踪算法在复杂环境下具有明显的改善。     

基于一致性特征点匹配的目标跟踪算法实现

在复杂背景环境下针对自由模型目标在随机速度时的跟踪技术是计算机视觉研究领域的一项重要课题。其难点在于在复杂背景和运动方式中如何准确且合理的提取既定目标的特征点。本文提出一种基于一致性特征点匹配跟踪算法,通过长效自由模型目标跟踪,实现对于地面刚性目标物体在随机速度时,通过光线变化区域、部分遮挡区域、目标自身转弯或旋转、采集设备对目标尺度缩放情况下的稳定跟踪问题。该算法经数据集测试结果表明,其能够在上述情况下,实现对标定目标的稳定跟踪,并具有一定的实时性。     

Detection of moving object by mobile stereo omnidirectional system (SOS)

Moving object detection with a mobile image sensor is an important task in robotics and computer vision, when considering the practical use of robotics in human environments. In this paper, we propose a robust method that detects moving objects in the environment using the omnidirectional depth information obtained by a mobile Stereo Omnidirectional System (SOS). In order to detect only the moving objects within the depth image that are obtained by a sensor in motion, we first estimate the ego‐motion of the sensor, and generate a predicted depth image for the current time from the depth obtained at the previous time by only considering the ego‐motion of the sensor. Then the predicted depth image is compared with the actual one obtained at the current time, and the inconsistent regions are detected as moving objects. When the sensor moves, occlusions will occur in the scene and they will cause false detections. However, these false detections can be suppressed by estimating the occlusion regions using the ego‐motion parameters of the sensor and the jump edges in the depth image. The effectiveness of the method is shown with experimental results for a real environment. © 2005 Wiley Periodicals, Inc. Electr Eng Jpn, 152(3): 29–38, 2005; Published online in Wiley InterScience ( www.interscience. wiley.com ). DOI 10.1002/eej.20155     

基于多特征自适应融合的目标跟踪算法

针对目标跟踪中部分遮挡及漂移问题,提出了一种基于多特征自适应融合和在线学习的目标跟踪算法。首先针对原始特征提取的相对简易性,提出了改进的特征提取方法,提高了特征的表达能力和判别能力,然后将多种特征自适应融合,最后进行在线学习。实验采用了具有挑战性的公共测试数据集PETS 2012,并用MOTP评测了跟踪性能。实验结果验证了提出算法的有效性,大大提高了复杂场景下的跟踪鲁棒性,有效地解决了部分遮挡和跟踪漂移问题。     

基于特征点集群目标跟踪与检测

目标跟踪与检测技术是计算机视觉研究领域一个热点和难点问题,该技术广泛应用在制导、导航、监控等方面。尤其在复杂背景下,准确的跟踪既定目标,在遮挡情况下稳定跟踪,是近年来研究的热点。利用一种特征点集群方法,通过提取特征点方式,以及对目标的运动估计等方式,解决针对地面目标在光线变化、缩放、旋转3个变化量下的跟踪与检测问题。该方法对于地面运动目标的限制较小,同时图像序列中每一帧图像间运动目标的位移量较小。运用本文所提出算法,能够解决针对地面目标在光线变化、缩放以及旋转情况下跟踪与检测的问题。     

一种基于算法融合的运动目标跟踪算法

视频目标跟踪的重点和难点在于如何快速、准确的匹配目标.针对复杂背景下,单一模式的跟踪算法不能准确跟踪目标的问题,提出了一种基于算法融合的运动目标跟踪方法.该算法综合运用去均值相关跟踪算法（normalized cross correlation,NCC）和均值漂移算法（MeanShift）2种基本模式对输入输入视频进行处理,结果送入Kalman滤波器进行滤波与预测,最后根据最小总均方误差准则进行自适应融合.试验证明,该算法能够较好地实现复杂场景条件下的目标跟踪,提高了跟踪的鲁棒性.     

一种自适应运动目标检测方法

在基于视频的智能交通系统中,由于公交车驶近摄像头时车顶强烈反光和对路面的遮挡,直接影响着背景更新和目标检测的质量。针对这个问题,本文对常用的背景更新和背景差分技术的不足进行了分析,提出了一种自适应运动目标检测方法。利用直方图统计各像素点处的最大概率灰度提取了彩色背景图像;结合帧间差分法和灰度平均法进行了自适应背景更新,并对被遮挡的背景进行了可靠预测;利用背景减法计算当前帧各像素点灰度对背景的逼近程度设置自适应阈值进行了目标提取,并根据景深参数设置多尺度面积阈值进行滤波去除了噪声影响。实验部分给出了几种背景更新方法下的检测效果比较,验证了本文提出的方法能够有效提高背景更新效果,降低更新频率,高质量的提取动态目标。     

面向多源异构数据源的实际范围索引树索引方法

在发电、输配电、新能源接入及新型能源消费等各个环节产生的大数据需要高效、可靠的数据存储和管理。文中以能源互联网作为虚拟应用场景,提出了集群式多源异构数据存储方案。为满足集群存储中高效查询需求,构建了实际范围索引树(AR-tree)分层索引模型,并提出了面向多源异构数据源的AR-tree索引方法,该方法针对在双层索引模型的基础上,以局部数据索引的实际索引范围为对象,建立全局索引。同时,对所提AR-tree索引方法操作开销进行了综合分析。最后,仿真结果表明AR-tree索引方法能提高查询命中率并提升查询等操作效率。     

基于数字水印的形状错误隐藏

MPEG-4编码是一种基于对象内容的第二代视频编码方案,将视频根据内容分割成前景对象和背景.视频对象的信息分为形状信息、纹理信息和运动信息,而形状信息是正确解码视频对象的基础.本文针对MPEG-4编码标准中Ⅰ-VOP形状信息的错误进行错误隐藏,有别于传统的曲线插值方法,采用基于鲁棒盲水印的新算法,主要将形状信息作为水印信息进行Arnold置乱变换后嵌入到背景区域中.实验证明,本文提出的方法对于形状信息严重丢失的修复效果较好.     

基于高速DSP的实时运动目标识别跟踪系统

研究了实时视频采集和高速目标识别检测、跟踪系统模型,分析了功能状态.在对检测、跟踪系统任务流和算法分析的基础上研究了基于高速DSP、大规模可编程器件和高速PCI通信总线架构的可行性系统实现方案.该系统采用复用总线设计,提高了系统资源利用率和系统可靠性.实验结果表明,该系统具有实时监测场景和在复杂背景下实时检测识别和跟踪运动目标的能力.