自动分割及跟踪视频运动对象的一种实现方法

随着MPEG-4压缩标准的制定,分割及跟踪视频运动对象的研究显得极其重要。在MPEG-4视频编码标准中,为了实现基于视频内容的交互功能,其视频序列的每一帧由视频对象面（VOP）来表示。为了生成视频对象面,需要对视频序列中的运动对象进行有效的分割;并跟踪运动对象随时间的变化,为此提出并实现了一种用于分割及跟踪视频运动对象的时空联合方法。该方法首先采用连续帧间差的4次统计量假设检验,确定运动对象的位置,自动地分离出运动区域与背景区域;在运动区域内,采用数学形态学的分水线算法来精确地提取运动对象的轮廓;最后,将提取到的运动对象作为模板,对后续的视频序列,用Hausdorff距离度量,来跟踪并提取后续帧中运动对象。实验结果表明,该方法能有效地分割和跟踪视频运动对象,且能有效减少计算复杂度,其调整参数也较少。     

交互式分割视频运动对象的研究与实现

在 MPEG- 4视频编码标准中 ,为了实现基于视频内容的交互功能 ,视频序列的每一帧由视频对象面来表示 ,而生成视频对象面 ,需要对视频序列中运动对象进行有效分割 ,并跟踪运动对象随时间的变化 .在视频分割方法中 ,交互式分割视频对象能满足分割的效率与质量指标要求 ,因此提出了一种交互分割与自动跟踪相结合的方式来分割视频语义对象 ,即在初始分割时 ,依据用户的交互与形态学的分水线分割算法相结合提取视频对象轮廓 ,并用改进的轮廓跟踪方法有效提高视频对象轮廓的精度 ;对后续帧的跟踪 ,采用六参数仿射变换跟踪运动对象轮廓的变化 ,用平移估算的运动矢量作为初始值 ,计算六参数仿射变换的参数 .实验结果表明 ,该方法能有效地分割并跟踪视频运动对象     

基于视差和阈值分割的立体视频对象提取

视频对象分割和提取是编码、通信以及视频检索等基于内容视频处理中的关键问题，为了从只有单一全局运动、含有重叠多对象的立体视频序列中提取对象，提出了一种基于视差分析和阈值分割的对象提取方法。该方法首先用改进的区域匹配法进行立体视差估计，并通过合理减少匹配窗的运算量及根据视差特性设定搜索路径来加快匹配速度；然后针对图像中不同的对象分别采用迭代阈值法和自适应阈值法进行二次分割；最后从阈值分割结果中提取出各个对象。实验提取出的各深度层视频对象效果良好，表明该方法是一种有效的适用于全局运动的立体视频序列对象提取方法。     

一种基于非线性尺度空间的视频对象分割方法

本文提出一种基于非线性尺度空间理论的视频对象分割方法。该方法首先利用非线性尺度空间理论对视频序列中的每一帧图像做多尺度分解,然后在由大尺度图像组成的序列中利用运动信息确定运动对象,最后根据每一帧图像的多尺度图像确定对象的准确边界。实验结果表明,该方法能够在复杂的自然场景中精确地分割出视频对象,具有较强的抗干扰能力。     

面向对象的遥感影像最优分割尺度评价

遥感影像分割决定了后续分类的精度,鉴于目前分割技术评价的研究缺乏且局限于主观判断的现状,以定量方法确定最优分割尺度。利用Definiens平台面向对象的分割算法,将组成对象的像素灰度值的标准差作为衡量对象内同质性的标准,用与邻域的平均差分的绝对值作为对象间的异质性度量变量,同时考虑面积权重的影响;根据上述3个评价指标,在考虑多光谱影像的基础上,构造了平均分割评价指数;基于该评价指数,以优度实验法对QuickBird多光谱影像进行了研究,并确定了不同地物类型的最优分割尺度。最后,利用平均对象匹配指数对评价结果进行了验证,并对评价方法的可行性进行了探讨。     

一种图像序列自动分割新方法

该文提出了一种固定场景下的图像序列自动分割的新方法。该方法分为两个阶段。在第一个阶段中,巧妙地采用形态学处理方法获得当前帧的运动区域,然后用当前帧对背景进行更新,经过数十帧的迭代,自动提取出初始背景;第二阶段对每帧作如下操作:首根据当前帧与背景的差分图像的直方图提取出噪声参数,并利用该参数求出对差分图像分割的双阈值,从而实现运动目标分割,最后再利用分割结果对背景进行自动更新。试验结果表明,用该方法进行分割不但效果好,而且速度快。     

Shape Based Detection and Top-Down Delineation Using Image Segments

We introduce a segmentation-based detection and top-down figure-ground delineation algorithm. Unlike common methods which use appearance for detection, our method relies primarily on the shape of objects as is reflected by their bottom-up segmentation. Our algorithm receives as input an image, along with its bottom-up hierarchical segmentation. The shape of each segment is then described both by its significant boundary sections and by regional, dense orientation information derived from the segment’s shape using the Poisson equation. Our method then examines multiple, overlapping segmentation hypotheses, using their shape and color, in an attempt to find a “coherent whole,” i.e., a collection of segments that consistently vote for an object at a single location in the image. Once an object is detected, we propose a novel pixel-level top-down figure-ground segmentation by “competitive coverage” process to accurately delineate the boundaries of the object. In this process, given a particular detection hypothesis, we let the voting segments compete for interpreting (covering) each of the semantic parts of an object. Incorporating competition in the process allows us to resolve ambiguities that arise when two different regions are matched to the same object part and to discard nearby false regions that participated in the voting process. We provide quantitative and qualitative experimental results on challenging datasets. These experiments demonstrate that our method can accurately detect and segment objects with complex shapes, obtaining results comparable to those of existing state of the art methods. Moreover, our method allows us to simultaneously detect multiple instances of class objects in images and to cope with challenging types of occlusions such as occlusions by a bar of varying size or by another object of the same class, that are difficult to handle with other existing class-specific top-down segmentation methods.     

Selection and Evaluation of the Optimal Scale in Multi-scale Segmentation of Remote Sensing Images

Multi-scale segmentation is the premise and key step of Object-Based Image Analysis (OBIA). The quality of multi-scale segmentation directly affects the accuracy of object-oriented classification. However, scale selection and evaluation remains a challenge in multi-scale segmentation. According to the fact that the optimal segmentation scale of the remote sensing image is closely related to the complexity of the objects of the image, a top-down method to select the optimal scale based on the complexity of segmented objects is proposed. In the top-down segmentation process, image features of each segmented object are extracted to construct the complexity function, and the optimal scale of each object is determined by setting a threshold value and iterating calculation. Then, the segmentation results with the best scale are obtained and applied to the ZY-3 satellite multispectral image and the GF-2 fusion image to obtain segmentation and classification results. Qualitative visual evaluation method, unsupervised evaluation method and supervised classification evaluation method were used to compare them with results obtained by the optimal single-scale segmentation and the unsupervised evaluation method. The experimental results show that the method can accurately obtain the scale matching with the ground targets, and improve segmentation effect and the classification accuracy, it is of practical value.     

基于小波变换和ICA的运动目标分割

提出一种时空融合的运动目标分割方法.在时域方面,采用时间轴一维小波变换提取运动对象,然后用独立成分分析法提取独立的运动对象,并基于灰度直方图进一步提取视频对象;在空域方面,提出对轮廓提取后的图像进行分水岭变换的改进方法.与COST211 AM算法比较表明,文中方法能更完整、准确地提取出运动对象.     

MPEG-4中的运动图像分割算法

MPEG-4采纳了基于对象的编码技术,它要求对图像和视频作更多的分析,甚至是理解。基于对象的编码是MPEG-4的一个重要特点,但是对象的分割问题至今仍未得到满意的解决。为了应用MPEG-4视频标准,视频序列的每一帧应该根据视频对象平面来描述,编码前的首要工作是视频对象的识别,把每一帧分解为若干视频对象平面,每个视频对象平面代表不同的有语义的对象。该论文介绍了MPEG-4的标准、国际上图像分割的发展状况,在此基础上提出了利用空时域信息实现MPEG-4视频对象的自动分割的算法。     

Variational Segmentation of Image Sequences Using Region-Based Active Contours and Deformable Shape Priors

In this paper we address the problem of segmentation in image sequences using region-based active contours and level set methods. We propose a novel method for variational segmentation of image sequences containing nonrigid, moving objects. The method is based on the classical Chan-Vese model augmented with a novel frame-to-frame interaction term, which allow us to update the segmentation result from one image frame to the next using the previous segmentation result as a shape prior. The interaction term is constructed to be pose-invariant and to allow moderate deformations in shape. It is expected to handle the appearance of occlusions which otherwise can make segmentation fail. The performance of the model is illustrated with experiments on synthetic and real image sequences.     

融合显著物体检测的图像显示适配

目的 图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法 本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果 在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论 基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。     

遥感影像多尺度分割中最优尺度的选取及评价

多尺度分割是面向对象图像分析技术的前提和关键,多尺度分割的质量直接影响着面向对象分类的精度,但尺度选择仍然是多尺度分割中的一个难题。针对此问题,根据遥感影像的最优分割尺度与影像上目标复杂度密切相关的事实,提出了一种自上而下基于分割对象复杂度选取最优尺度的方法。该方法在分割过程中,提取每一对象的影像特征构建其复杂度函数,通过设置阈值,经迭代计算来确定每一对象的最优分割尺度,进而得到具有全局最优尺度的分割结果,并将其应用于ZY-3多光谱数据和GF-2融合影像,得到分割和分类结果。并将其与单一最优尺度和非监督评价法的分割及分类结果进行比较,结果表明：该方法能够获取与地面目标相匹配的分割尺度,改善了分割效果,提高了分类精度,具有一定实用价值。     

Integrating tracking with fine object segmentation

We present a novel method for on-line, joint object tracking and segmentation in a monocular video captured by a possibly moving camera. Our goal is to integrate tracking and fine segmentation of a single, previously unseen, potentially non-rigid object of unconstrained appearance, given its segmentation in the first frame of an image sequence as the only prior information. To this end, we tightly couple an existing kernel-based object tracking method with Random Walker-based image segmentation. Bayesian inference mediates between tracking and segmentation, enabling effective data fusion of pixel-wise spatial and color visual cues. The fine segmentation of an object at a certain frame provides tracking with reliable initialization for the next frame, closing the loop between the two building blocks of the proposed framework. The effectiveness of the proposed methodology is evaluated experimentally by comparing it to a large collection of state of the art tracking and video-based object segmentation methods on the basis of a data set consisting of several challenging image sequences for which ground truth data is available.     

Layered Representation of a Video Shot with Mosaicing

: This paper presents a motion segmentation method useful for representing efficiently a video shot as a static mosaic of the background plus sequences of the objects moving in the foreground. This generates an MPEG-4 compliant, layered representation useful for video coding, editing and indexing. First, a mosaic of the static background is computed by estimating the dominant motion of the scene. This is achieved by tracking features over the video sequence and using a robust technique that discards features attached to the moving objects. The moving objects get removed in the final mosaic by computing the median of the grey levels. Then, segmentation is obtained by taking the pixelwise difference between each frame of the original sequence and the mosaic of the background. To discriminate between the moving object and noise, temporal coherence is exploited by tracking the object in the binarised difference image sequence. The automatic computation of the mosaic and the segmentation procedure are illustrated with real sequences experiments. Examples of coding and content-based manipulation are also shown. Received: 31 August 2000, Received in revised form: 18 April 2001, Accepted: 20 July 2001     

条件颗粒分割方法研究

图像中两个物体的接触关系根据粒径可分为未接触、不同粒度物体的接触和同粒度物体的接触3种，接触物体根据接触部分的大小又可分为强接触、中等接触和弱接触。对接触物体的保形分割应该是使分割后物体恢复原来的形态，鉴于流域分割、测地重建等算法在分割接触物体时，不但对物体形态产生破坏和受干扰因素多，而且对于计算接触面积大小的问题，以上算法也不易实现，为此，提出了条件颗粒分割方法，即在数学形态学开运算过程中，对标定区域腐蚀后，不再做膨胀运算，就直接在保形的基础上，对不同粒度的物体进行分割，而对于同粒度接触的物体，则先通过腐蚀后，再做一次特殊条件颗粒分割来得到小粒度(条带)部分，再进行复原就是目标物体的接触部位。最后，介绍了此算法在岩石颗粒粒度分析及胶结类型划分方面的应用。     

基于变化检测的视频对象分割算法研究

随着基于对象视频应用的发展,视频对象的分割成为人们研究的热点。提出了一种基于变化检测的视频对象分割算法。该算法首先求出连续两帧图像之间的差分,利用帧间变化信息可以得到视频对象的运动区域,根据差分图像的中值（MED）和中值绝对差（MAD）及原始图像均值确定阈值并滤除噪声,用数学形态学方法进行后处理,最终得到精确的视频运动对象。实验结果表明,该方法能够从背景不变的视频序列中较好地提取出视频运动对象,而且算法简单、高效、准确。     

应用于灰度图像分割的基于流体静力学原理活动轮廓模型

提出一种新的活动轮廓模型,应用于灰度图像分割。此模型建立在流体 静力学理论之上, 运用流体静力学理论直接驱动连续曲线,逼近被包围的目标。该模型能够 分割多重目标、能够分割嵌套的目标、能够有效地控制过分割现象。     

结合相似性拟合与空间约束的图像分割

目的 图像中的目标一般含有很多子类,仅仅利用某个子类的特征无法完整地分割出目标区域。针对这一问题,提出一种结合相似性拟合与空间约束的图像交互式分割方法。方法 首先,通过手工标记的样本组成各个目标的字典,通过相似度量搜寻测试样本与各个目标的字典中最相似的原子建立拟合项;再结合图像的空间约束项,构建图像分割模型;最后利用连续最大流算法求解,快速实现图像分割的目的。结果 通过对比实验,本文方法的速度比基于稀疏表示的分类方法的速度提高约13倍,而与归一化切割(N-Cut),逻辑回归(logistic regression)等方法相比,本文方法能取得更稳定和准确的分割结果。此外,本文方法无需过完备字典,只需要训练样本能体现各个子类的信息即可得到稳定的图像分割结果。结论 本文交互式图像分割方法,通过结合相似性拟合以及空间约束建立分割模型,并由连续最大流算法求解,实现图像的快速准确的分割。实验结果表明,该方法能够胜任较准确地对自然图像进行分割以及目标提取等任务。     

一种鲁棒的视频分割算法

无论是在图象识别，还是在基于MPEG－4的图象压缩编码等应用领域，视频对象分割取是其中一个很重要的技术环节，为了在静止背景的情况下，能很好地解决多目标分割的问题，同时能进行单目标的分割，提出了一种鲁棒性较好的视频分割算法，该算法通过对图象序列中每连续3 帧图象进行对称差分，首先检测出目标的运动范围，然后通过对差分结构进行聚类分析来确定该帧图象中视频对象的个数，接着再利用在二值差分图象上收缩的活动轮廓，把视频对象的轮廓精确地包围起来，即得到该帧分割结果；最后利用光流法来对视频对象进行投注跟踪，修正，另外还利用多个图象序列对该方法进行了试验，实验结果表明，在静止背景下，该算法无论是对运动的单目标，还是对运动的多目标，均能较好地从静止背景中分离出来，即能得到理想的分割结果，故具有一定的鲁棒性和实用性。