Real-time video object segmentation in H.264 compressed domain

In this study the authors proposed a real-time video object segmentation algorithm that works in the H.264 compressed domain. The algorithm utilises the motion information from the H.264 compressed bit stream to identify background motion model and moving objects. In order to preserve spatial and temporal continuity of objects, Markov random field (MRF) is used to model the foreground field. Quantised transform coefficients of the residual frame are also used to improve segmentation result. Experimental results show that the proposed algorithm can effectively extract moving objects from different kinds of sequences. The computation time of the segmentation process is merely about 16 ms per frame for CIF size frame, allowing the algorithm to be applied in real-time applications.     

一种动态场景下基于时空信息的视频对象提取算法

在实际应用中,许多视频序列具有运动背景,使得从其中提取视频对象变得复杂,为此提出了一种基于运动估计和图形金字塔的动态场景下的视频对象提取算法。该算法首先引入了相位相关法求取运动向量,因避免了视频序列中光照变化的影响,故可提高效率和稳健性;接着再根据参数模型进行全局运动估计来得到最终运动模板;然后利用图形金字塔算法对当前模板内图像区域进行空间分割,最终提取出语义视频对象。与现有算法相比,对于从具有动态场景的视频流中提取运动对象的情况,由于使用该算法能有效地避开精准背景补偿,因而不仅节省了计算量,而且提取出来的语义对象精度较高。实验表明,无论是对动态场景中刚性还是非刚性运动物体的分割,该算法都具有较好的效果。     

立体视频对象分割及其三维重建算法研究*

为更加有效分析立体视频对象,本文提出了一种基于离散冗余小波变换的立体视频对象分割算法,首先采用离散冗余小波变换提取特征点结合DT网格技术的视差估计方法,获得了可靠的视差场,再利用视差信息对立体视频中静止对象进行分割。对于立体视频序列中的运动对象,采用离散冗余小波提取运动区域的方法进行分割。实验结果表明,本算法对有重叠的多视频对象具有较好的分割效果,可同时分割静止物体和运动物体,具有较好的精确性和鲁棒性。对于分割出的立体视频对象,结合深度信息对其进行三维重建,得到较好的三维效果。     

基于区域分割的小波分解运动补偿编码算法

为了提高视频运动估值的速度和运动矢量编码的效率，提出了一种基于区域分割的小波分解运动补偿的视频编码算法，该算法的几个核心部分的特点如下：（1）运动估值部分，在基本的可变块多分辨率运动估值算法的基础上，充分利用了小波分解后各子带所表征的运动结构相关性，因而提高了运动矢量的编码效率，同时提出了基于区域分割的多分辨率运动估值算法，因而在有效减少运动估值时间消耗的同时，进一步提高了运动矢量的编码效率；（2）在量化部分，提出了一种基于人的视觉系统的量化方法；（3）采用改进的高效的零树小波编码算法对帧内和帧间信息进行编码，实验结果表明，所提出的算法是有效的。     

基于视差和阈值分割的立体视频对象提取

视频对象分割和提取是编码、通信以及视频检索等基于内容视频处理中的关键问题，为了从只有单一全局运动、含有重叠多对象的立体视频序列中提取对象，提出了一种基于视差分析和阈值分割的对象提取方法。该方法首先用改进的区域匹配法进行立体视差估计，并通过合理减少匹配窗的运算量及根据视差特性设定搜索路径来加快匹配速度；然后针对图像中不同的对象分别采用迭代阈值法和自适应阈值法进行二次分割；最后从阈值分割结果中提取出各个对象。实验提取出的各深度层视频对象效果良好，表明该方法是一种有效的适用于全局运动的立体视频序列对象提取方法。     

Automatic object extraction and reconstruction in active video

A new method of video object extraction is proposed to automatically extract the object of interest from actively acquired videos. Traditional video object extraction techniques often operate under the assumption of homogeneous object motion and extract various parts of the video that are motion consistent as objects. In contrast, the proposed active video object extraction (AVOE) approach assumes that the object of interest is being actively tracked by a non-calibrated camera under general motion and classifies the possible movements of the camera that result in the 2D motion patterns as recovered from the image sequence. Consequently, the AVOE method is able to extract the single object of interest from the active video. We formalize the AVOE process using notions from Gestalt psychology. We define a new Gestalt factor called “shift and hold” and present 2D object extraction algorithms. Moreover, since an active video sequence naturally contains multiple views of the object of interest, we demonstrate that these views can be combined to form a single 3D object regardless of whether the object is static or moving in the video.     

一种基于小波变换的马尔可夫随机场的视频对象分割

马尔可夫随机场（Markov Random Field,MRF）理论已经被广泛地应用于视频图像的分割。提出一种基于小波变换的马尔可夫随机场模型的视频对象分割算法。该算法利用小波变换将图像序列分解到小波域,并在此基础上建立马尔可夫随机场模型,构造相应的能量函数。通过迭代求解能量函数的最优解,得出标记场,提取出运动对象。仿真结果表明,该算法能够有效地抑制噪声,提高构成对象边界像素的数量,快速有效地提取出视频对象。     

嵌入式系统中视频运动对象分割

提出了一种基于嵌入式系统的视频运动对象分割算法。首先利用差图像法抽取出运动的像素点，然后通过统计像素点的状态变化频率来区分运动物体和动态背景，并配合一权值状态矩阵将全局光照突变和动态背景像素自适应融合到背景中，从而分割出运动对象并进行跟踪。实验结果表明，该算法在嵌入式系统中实时跟踪运动目标取得了很好的效果。     

基于改进运动历史图像的多运动目标实时跟踪

提出了一种利用视频图像对运动目标进行实时检测与跟踪的新方法.该方法利用基于改进的时间片的运动历史图像(tMHI)的灰度阶梯轮廓方法对多个运动目标进行检测,通过卡尔曼滤波器对多目标进行跟踪,并得到了各个运动目标的轨迹曲线,进而实现了对视频图像中多目标的跟踪.同时,该方法对多个目标的遮挡问题获得了明显的改善效果.实验结果表明,该方法能够对复杂场景下的多个目标进行有效的识别和准确的跟踪,系统的实时性强,识别率高,而且该方法对于复杂视频监视系统场景中的光照变化、雨雾等干扰具有较强的稳健性.     

MRF-based texture segmentation using wavelet decomposed images

In recent textured image segmentation, Bayesian approaches capitalizing on computational efficiency of multiresolution representations have received much attention. Most of the previous researches have been based on multiresolution stochastic models which use the Gaussian pyramid image decomposition. In this paper, motivated by nonredundant directional selectivity and highly discriminative nature of the wavelet representation, we present an unsupervised textured image segmentation algorithm based on a multiscale stochastic modeling over the wavelet decomposition of image. The model, using doubly stochastic Markov random fields, captures intrascale statistical dependencies over the wavelet decomposed image and intrascale and interscale dependencies over the corresponding multiresolution region image.     

Unsupervised motion detection with background update and shadow suppression

An algorithm is developed to detect moving object and suppress shadow.According to motion variations caused by some moving objects in a scene,a background update approach is proposed.The developed update method efficiently prevents undesired corruption of background and does not consider the adaptation coefficient or the learning rate used in some existing algorithms.A multi-scale wavelet transform methodology is used to segment foreground from a clutter background.The optimal selection of threshold value is automatically determined which does not require any complex supervised training or manual calibration.According to photometric invariant,a color ratio difference is proposed to suppress shadow.Some complete foreground motion object regions are extracted by integrating moving object segmentation in the multi-scale wavelet with shadow suppression in the color ratio difference.The mentioned method is less affected by the presence of moving objects in a scene.Experimental results show that the proposed approach is efficient in detecting motion objects and suppressing shadows by comparisons.     

无表观特征小目标检测与跟踪

检测跟踪模糊的小目标是计算机视觉领域中难度极大,富有挑战的任务。由于被跟踪的目标过小或过于模糊,难以提取合适的可用于检测和跟踪的表观特征,使得现有的目标检测和跟踪算法不能解决上述问题。前景运动物体区别于背景随机噪声的一个重要特征是运动物体具有一定的运动规律,基于这个假设提出一种新方法,根据物体的运动规律对其进行跟踪。首先,提出利用运动物体的时空域关联性,对视频中的运动目标进行分割和去噪;其次,提出了利用动态规划得出并优化物体的运动轨迹。各种条件下的实验结果表明了上述方法的精确性和鲁棒性。     

一种基于结构张量的运动物体分割方法

视频中运动物体的分割是众多视频应用的前提。视频可以看作是三维时空中的对象,通过邻域的灰度值的结构方向来分析视频的运动。提出了时空结构张量进行运动物体分割的方法。首先分析了视频中物体的运动与灰度的变化的关系,然后删除了三维结构张量中与时间无关的信息,并将此时空结构张量用于视频中运动物体的分割。实验表明时空结构张量运动物体分割方法相对于传统的结构张量,分割准确,计算简单。     

融合外观和运动特征的在线目标分割

目的 视频中的目标分割是计算机视觉领域的一个重要课题,有着极大的研究和应用价值。为此提出一种融合外观和运动特征的在线自动式目标分割方法。方法 首先,融合外观和运动特征进行目标点估计,结合上一帧的外观模型估计出当前帧的外观模型。其次,以超像素为节点构建马尔可夫随机场模型,结合外观模型和位置先验把分割问题转化为能量最小化问题,并通过Graph Cut进行优化求解。结果 最后,在两个数据集上与5种标准方法进行了对比分析,同时评估了本文方法的组成成分。本文算法在精度上至少比其他的目标分割算法提升了44.8%,且具有较高的分割效率。结论 本文通过融合外观与运动特征实现在线的目标分割,取得较好的分割结果,且该方法在复杂场景中也具有较好的鲁棒性。     

Study on segmentation and interpretation of multi-look polarimetric SAR images

The segmentation and interpretation of multi-look polarimetric synthetic aperture radar (SAR) images is studied. We first introduce a multi-look polarimetric whitening filter (MPWF) to reduce the speckle in multi-look polarimetric SAR images. Then, by utilizing the wavelet multiresolution approach to extract the texture information in different scales and the Markov random field (MRF) model to characterize the spatial constraints between pixels in each scale level, a multiresolution segmentation algorithm (MSA) to segment the speckle-reduced SAR images is presented. The MSA first segments the image at the lowest resolution level and then proceeds to progressively higher resolutions until individual pixels are well classified. An unsupervised step to estimate both the optimal number of texture classes and their model parameters is also included in the MSA so that the segmentation can be implemented without supervision. Finally, in order to interpret the results of the unsupervised segmentation and to understand the whole polarimetric SAR image, we develop an image interpretation approach which jointly utilizes the scattering mechanism identification and target decomposition approaches. Experimental results with the real-world multi-look polarimetric SAR image demonstrate the effectiveness of the segmentation and interpretation approaches.     

使用修改的豪氏道夫距离自动提取运动对象

新的视音频编码标准MPEG－4增加了支持基于内容的功能,它把视频序列分割成语义意义上的视频对象（VO）视频对象在某一瞬时的：“快照”称为视频对象平面（VOP）,且一系列VOP表示一个运动对象,VOP分割相当困难,这主要是因为物理对象通常不以亮度,彩色或光流等低级特征来表达,所以经典的分割方法无法获得有意义的分割结果,为了对这种视频运动图象进行有效的提取,提出了一种基于修改的豪氏道夫对象踊跃器的自动VOP分割方法,首先提取出初始模型,然后用跟踪器在序列中继帧中跟踪此对象,再对模型逐帧修改,以适应对象在后继帧中形状的旋转和变化,最后根据一系列二值模型来提取出视频对象,此外,为了提高分割效果帮减少复杂性,还使用了静 背景滤除技术来滤除静态背景,实验结果表明,该算法是有效的。     

基于马尔可夫随机场与活动轮廓的运动目标分割

针对视频序列图像中的运动目标分割，提出了将马尔可夫随机场模型和活动轮廓模型相结合的运动目标分割算法。该算法首先利用马尔可夫随机场模型的运动检测算法，得到运动目标的初始模板。在此基础上提取出活动轮廓模型的初始轮廓点，然后构造活动轮廓模型的能量函数。用改进的贪婪算法求得能量函数最小值，提取出运动目标的精确轮廓，从而得到具有精确边缘的运动目标。实验结果表明该算法能有效地分割和提取出视频序列中的运动目标。     

基于改进的tMHI的实时视频运动目标检测及跟踪

提出了一种对视频图像进行实时目标分割及跟踪的新方法。该方法利用基于时间片的运动历史图像（tMHI）的灰度阶梯轮廓，对存在的子运动区域进行包围划分并予以标记，实现视频图像中运动目标的实时分割，进而将每帧tMHI图像中各个运动区域同场景中运动目标连续关联起来，实现对多运动目标的轨迹跟踪。为了提高分割质量，对tMHI进行了改进处理，去除了大部分噪声干扰，取得了明显的改善效果。实验表明，该方法可以有效地分割并跟踪视频中的多个运动目标，鲁棒性好，检出率较高，并且处理速度较快，达到了实时性的要求，还解决了局部粘连的问题。     

基于运动信息与马尔可夫彩色聚类的运动目标分割

针对视频序列图像中的运动目标分割,论文提出了将运动检测和马尔可夫彩色聚类相结合的运动目标分割算法。该算法首先利用基于统计模型的运动检测算法,通过后处理,得到运动目标的初始模板。然后,利用区域生长算法进行彩色图像的初始分割,在初始分割的基础上应用马尔可夫随机场模型进行彩色聚类,得到具有精确边缘的分割区域。最后,将运动目标的初始模板和彩色精确分割结合起来提取出具有精确边缘的运动目标。实验结果表明该算法能有效地分割和提取出视频序列中的运动目标。