基于H．264压缩域的实时运动对象分割算法

在压缩域内直接分割运动对象对于有实时要求的应用而言是十分必要的，H．264以其优越的压缩效率已经在许多应用中逐渐取代了MPEG-2／4，但有关在H．264压缩域内进行运动对象分割的研究还很少。为此提出了一种从H.264压缩域实时分割运动对象的算法，该算法首先对从H．264视频中提取出的原始运动矢量场进行时域和空域的归一化，接着通过对连续多帧的运动矢量场进行累积来增强显著的运动信息；然后对累积运动矢量场进行全局运动补偿，同时利用快速的统计区域生长算法按照运动相似性将其分割成多个区域；最后利用运动矢量场的方向角直方图来判断出属于运动对象的分割区域，以组成运动对象。通过对多个MPEG-4测试序列的实验结果表明，该方法不仅能够从H．264压缩域中实时地分割出运动对象，且具有良好的分割质量。     

基于EM聚类的H.264压缩域视频对象实时分割算法

从压缩域直接分割视频对象比传统的像素域分割具有快速高效的特点,目前已有不少从MPEG域分割的方法,但从H.264压缩域分割的甚少。为此提出一种基于H.264域的实时分割运动对象方法,该算法先对当前视频帧进行全局运动估计和补偿,然后对4×4的运动矢量场进行分类处理,最后对非零运动矢量使用改进的EM聚类分割算法。本文算法对多个视频序列进行了实验,结果表明,该算法针对静止背景和运动背景的视频序列都能达到较精确的实时分割。     

采用特征描述的H.264压缩视频运动分割

H.264视频压缩标准以其优良的压缩效率和编码灵活性得到了广泛的应用。提出了一种基于H.264压缩域的运动对象分割方法,首先从压缩视频中提取运动场,采用加权中值滤波方法滤除运动场的噪声矢量,再运用后向估计的方法重建预测运动场并进行运动场的累积,然后基于幅度、散度和旋度3个运动特征,采用改进的统计区域合并方法将运动对象分割出来。实验结果表明,该方法可有效地从H.264压缩视频中提取运动对象且分割质量较好。     

应用递归最短生成树算法实现H.264压缩域运动对象分割方法

提出了一种基于递归最短生成树算法的H.264压缩域实时分割运动对象的算法.首先将从H.264编码端提取的运动矢量进行归一化、空间内插,得到稠密运动矢量场,再采用全局运动补偿技术抵消全局运动的影响,最后采用改进的"递归最短生成树"(RSST)算法对稠密运动矢量进行聚类,实现对运动对象的分割.实验结果表明,该算法对视频序列能实现较准确的分割.     

基于H.264/AVC的压缩域运动对象分割方法

目前大部分压缩域视频对象的分割方法主要面向MPEG系列视频标准,且算法建模复杂。为了解决这一问题,现提出了一种新的基于H.264/AVC的压缩域时空联合运动对象分割（TSMOS）算法。该方法主要利用压缩码流中的DCT系数和运动矢量信息进行对象分割,并首先利用相邻帧DCT系数之差提取运动对象轮廓,同时通过对轮廓进行形态学和抗噪声处理来得到粗糙的运动对象帧差掩码;然后采用运动向量归一化、噪声向量滤除、权值扩展向量中值(WEVM)滤波及前帧分割结果后向投影技术来得到对象的运动掩码;最后通过引入有效机制合并帧差掩码和运动掩码来分割运动对象。实验证明,该算法可取得较好的分割效果。     

Mean shift clustering-based moving object segmentation in the H.264 compressed domain

This study presents a mean shift clustering-based moving object segmentation approach in the H.264 compressed domain. The motion information extracted from H.264 compressed video, including motion vectors (MVs) and partitioned block size, are used as segmentation cues. The MVs are processed by normalisation, weighted 3D median filter and motion compensation to obtain a reliable and salient MV field. The partitioned block size is used as a measure of motion texture in the process of the MV field. Based on the processed MV field, the authors employ the mean shift-based mode seeking in spatial, temporal and range domain to develop a new approach for compact representation of the MV field. Then, the MV field is segmented into different motion-homogenous regions by clustering the modes with small spatial and range distance, and each object is represented by some dominant modes. Experimental results for several H.264 compressed video sequences demonstrate good performance and efficiency of the proposed segmentation approach.     

基于模糊聚类的H.264压缩域视频对象分割

鉴于压缩域视频运动分割方法在分割速度上的优越性,提出一种基于H.264的压缩域视频运动对象分割方法,对初始的运动矢量场进行去噪、中值滤波、校正和累积处理,得到更可靠的运动矢量场,用改进的模糊C-均值聚类算法分割出视频序列中的运动对象。实验结果表明,该方法可以快速准确地提取出视频序列中的运动对象。     

一种基于凸壳的压缩域运动对象快速分割算法

目前在H.264/AVC压缩域分割领域中现有的方法存在时间复杂度高,且分割运动对象不完整的问题,提出一种新的基于凸壳的压缩域运动对象快速分割(CHSTF)算法。该方法主要利用码流中的运动矢量场信息进行分割,即首先利用后向迭代累积对MV进行归一化处理,再利用时空域滤波(STF)算法对运动矢量场进行滤波得到稳定MV场,然后对滤波MV场求解凸壳并对其进行区域填充,最后对其进行优化掩膜达到分割运动对象的效果。本方法着重于快速求得整体运动对象,并获得较好分割精准度。实验表明,通过本方法能够较好地解决上述问题,并且在运动场严重缺失的环境下,相比传统方法,本方法能获得更好的效果。     

从h.264压缩码流提取运动对象的一种方法

提出一种基于h.264压缩域视频流中运动对象的分割方法。对提取的运动矢量场进行噪声处理,在空间检测和校正、中值滤波等处理后,得到可靠的运动矢量场。为进一步增强可靠的运动向量,利用后向投影迭代技术,采用均值聚类算法获得视频对象分割。仿真实验证明,该方法可以得到良好的分割质量,且码流无须解码,实时性良好。     

基于H.264压缩域的镜头运动信息提取

本文根据H．264编码特点，提出了一种从H.264压缩域中快速有效地进行镜头运动参数估计的算法。镜头运动信息在视频分析处理中起着重要的作用。该算法充分利用了H．264压缩码流中的信息，通过提取预测残差DC图像的运动背景区域，估计镜头运动参数，从而保证了参数估计的准确性，有效地克服了已有文献中仅仅采用运动矢量进行镜头运动估计的局限性。根据不同的H．264测试序列的对比分析，结果表明本算法可快速准确地对H．264视频序列进行全局运动信息估计，同时具有很高的鲁棒性。     

基于边界搜索的运动对象快速凸壳分割算法

目前在H.264/AVC压缩域分割领域中常用方法造成局部运动矢量(MV)缺失,而通过全局运动补偿来还原运动矢量导致其时间复杂度提高。为解决此问题,提出一种基于边界聚类的快速凸壳分割(BS-CHSTF)算法。该方法主要利用码流中的运动矢量场信息进行分割,首先,对MV利用时空域滤波(STF)对运动矢量进行预处理,采用八方向自适应搜索算法进行边界搜索确定运动连通域;然后根据每个连通域边界求解凸壳并对其进行连通域填充,之后利用运动矢量与距离信息设定聚类规则,对多个连通域进行聚类;最后,对其进行优化掩膜达到分割运动对象的效果。实验结果表明,与混合高斯模型(GMM)分割算法和压缩域蚁群算法(ACA)比较,在分割准确率上平均提高了近3%,甚至在运动矢量场严重缺失的情况下,提高了近20%;而在分割速度上平均提高了近25%。该方法着重于求得运动对象的完整性与快速性,在运动对象不完整的情况下,能够获得较好分割精准度。     

一种基于梯度模型的MPEG压缩域的运动对象分割算法

视频数据大都是经过压缩域的形式存储和传输的,且直接在压缩域进行视频对象分割无需运动估计等复杂的计算,速度较快。本文提出了一种基于梯度模型的MPEG压缩域的运动对象分割算法。首先利用DCT(AC[1]和AC[8])系数获得所有物体的边缘,然后综合在累积运动矢量基础上得到的边缘运动信息,从而获得感兴趣运动物体的边缘。仿真实验结果表明,它可以取得满意的分割质量。     

数字视频监控系统中实时运动检测系统的研究

在数字视频监控系统中,从视频流里捕获出序列图像并进行实时运动检测是一项重要的功能。采用两个进程分别实现视频图像的捕获和运动检测,命名管道作为两个进程之间数据通信的桥梁。提出了一种基于帧差交集快速视频分割法、阈值面积算法结合数学形态学运算提取运动目标区域的数字图像处理算法,然后再进行运动目标的跟踪定位,实现实时运动检测。     

H.264视频码流中运动物体的提取

H.264是新一代视频编码标准,具有广泛的应用前景。本文主要讨论了基于H.264视频流中运动物体检测的问题。首先简要介绍了H.264视频编码标准,然后分析了各种编码图像帧的编码过程,从而得出根据运动矢量来检测运动物体的方法,并分析了因摄像机运动而对检测方法造成的影响及相应的处理方法。从实验结果可以看出,检测效果还是比较令人满意的。     

视频运动对象的自动分割

视频运动对象的分割技术在运动视觉检测和新的MPEG-4视频编码标准中十分重要，提出了一种运动对象分割算法，该算法采用序列图像帧间差的高阶统计量(Higher Order Statistics，HOS)假设检验，确定运动对象的位置，自动分离运动区域与背景；根据三帧序列图像中前后帧差图像灰度边缘重合的部分为中间帧运动对象的边缘来有效地解决运动对象前后帧的遮挡问题；采用形态滤波的方法填充分割出的运动对象二值模板中的空洞，消除残余噪声及平滑边缘，分析和实验证明，该算法需要调整的参数少，抗干扰能力强，可以高效率地进行运动对象的自动分割，此外，该算法具有潜在的并行机制，易于实现实时运动图像处理。     

基于熵能的H.264压缩域运动对象分割

提出了一种基于熵能选取自适应阈值的时空域运动对象分割方法。首先对H.264压缩码流中提取的原始运动矢量场进行连续多帧的累加来增强运动信息,并对累积运动矢量场进行相似性判断,初步获得运动块;然后提取压缩码流中4×4块残差编码位数,并基于熵能自动选取自适应局部阈值,获取运动区域的轮廓信息;最后结合运动块和轮廓信息按照一定的规则对边界进行校正。对多个视频序列进行了实验,结果表明,该算法能快速取得较好的分割结果。     

分裂合并运动分割的多运动视觉里程计方法

目的 视觉里程计（visual odometry,VO）仅需要普通相机即可实现精度可观的自主定位,已经成为计算机视觉和机器人领域的研究热点,但是当前研究及应用大多基于场景为静态的假设,即场景中只有相机运动这一个运动模型,无法处理多个运动模型,因此本文提出一种基于分裂合并运动分割的多运动视觉里程计方法,获得场景中除相机运动外多个运动目标的运动状态。方法 基于传统的视觉里程计框架,引入多模型拟合的方法分割出动态场景中的多个运动模型,采用RANSAC（random sample consensus）方法估计出多个运动模型的运动参数实例;接着将相机运动信息以及各个运动目标的运动信息转换到统一的坐标系中,获得相机的视觉里程计结果,以及场景中各个运动目标对应各个时刻的位姿信息;最后采用局部窗口光束法平差直接对相机的姿态以及计算出来的相机相对于各个运动目标的姿态进行校正,利用相机运动模型的内点和各个时刻获得的相机相对于运动目标的运动参数,对多个运动模型的轨迹进行优化。结果 本文所构建的连续帧运动分割方法能够达到较好的分割结果,具有较好的鲁棒性,连续帧的分割精度均能达到近100%,充分保证后续估计各个运动模型参数的准确性。本文方法不仅能够有效估计出相机的位姿,还能估计出场景中存在的显著移动目标的位姿,在各个分段路径中相机自定位与移动目标的定位结果位置平均误差均小于6%。结论 本文方法能够同时分割出动态场景中的相机自身运动模型和不同运动的动态物体运动模型,进而同时估计出相机和各个动态物体的绝对运动轨迹,构建出多运动视觉里程计过程。     

Joint segmentation of collectively moving objects using a bag-of-words model and level set evolution

In scenes with collectively moving objects, to disregard the individual objects and take the entire group into consideration for motion characterization is a promising approach with wide application prospects. In contrast to studies on the segmentation of independently moving objects, our purpose is to construct a segmentation of these objects to characterize their motions at a macroscopic level. In general, the collectively moving objects in a group have very similar motion behavior with their neighbors and appear as a kind of global collective motion. This paper presents a joint segmentation approach for these collectively moving objects. In our model, we extract these macroscopic movement patterns based on optical flow field sequences. Specifically, a group of collectively moving objects correspond to a region where the optical flow field has high magnitude and high local direction coherence. As a result, our problem can be addressed by identifying these coherent optical flow field regions. The segmentation is performed through the minimization of a variational energy functional derived from the Bayes classification rule. Specifically, we use a bag-of-words model to generate a codebook as a collection of prototypical optical flow patterns, and the class-conditional probability density functions for different regions are determined based on these patterns. Finally, the minimization of our proposed energy functional results in the gradient descent evolution of segmentation boundaries which are implicitly represented through level sets. The application of our proposed approach is to segment and track multiple groups of collectively moving objects in a large variety of real-world scenes.     

基于水平集的多运动目标时空分割与跟踪

针对背景运动时的运动目标分割问题,提出了一种对视频序列中的多个运动目标进行分割和跟踪的新方法。该方法着眼于运动的且较为复杂的背景,首先利用光流约束方程和背景运动模型建立一个基于时空域的能量函数,然后用该函数进行背景运动速度的估算和运动目标的分割和跟踪。而时空域中的运动目标的最佳分割,乃是通过使该能量函数最小化来驱动时空曲面演化实现。时空曲面的演化采用了水平集PDEs(Partial Differential Equations)方法。实验中,用实际的图像序列验证了该算法及其数值实现。实验表明,该方法能够同时进行背景运动速度的估算、运动目标的分割和跟踪。     

基于Newton-Thiele有理插值的误码隐藏

低速率的视频传输必然要求对视频信号进行高效压缩,而高效压缩后的视频码流对传输中产生的误码非常敏感.一旦传输中出现了误码,不仅影响该误码数据的恢复,还会影响与之相关的其他数据的恢复,造成误码扩散,误码隐藏是解决这个问题的一种有效方法.在对最新视频压缩标准H.264研究的基础上,针对H.264中相邻运动矢量具有高度相关性的特性,提出了一种基于Newton-Thiele型有理插值的误码隐藏算法,仿真结果显示,提出的误码隐藏算法可以有效地改善解码图像的视觉质量,并且能够满足实时视频传输的要求.