网格运动分析与形态学滤波相结合的视频对象分割

提出了一种基于二维网格运动分析与改进形态学滤波空域自动分割策略相结合的视频对象时空分割算法。该算法首先利用高阶统计方法对视频图像的二维网格表示进行运动分析，快速得到前景对象区域，通过后处理有效获得前景对象运动检测掩膜。然后，用一种结合交变序列重建滤波算法和自适应阈值判别算法的改进分水岭分割策略有效获得前景对象的精确边缘。最后，用区域基时空融合算法将时域分割结果和空域分割结果结合起来提取出边缘精细的视频对象。实验结果表明，本算法综合了多种算法的优点，主客观分割效果理想。     

基于时域定区间记忆补偿的视频对象分割算法

提出了一种新的基于时域定区间记忆补偿的视频对象分割算法。首先,使用对称帧帧差累计法及帧差图像的四阶矩检测出初始运动变化区域;然后,对检测出的初始运动变化区域通过时域定区间记忆补偿法进行补偿,并进一步整合形成全局运动记忆母板,在空域使用Sobel边缘检测算子较为精确地检测得到当前帧中所有边缘;最后,进行时空融合,从而提取出完整精细的运动对象轮廓并通过填充得到运动对象模板。实验证明了本文算法的正确性和快速性。     

基于多帧边缘差异的视频运动对象的分割与跟踪算法

从视频场景中分割和跟踪感兴趣的视频对象对于MPEG-4等基于对象的视频编码来说是关键性的技术之一。针对目前大部分视频对象分割和追踪算法相当复杂但仍不能有效地去除背景噪声的问题,该文提出用于分割和跟踪视频运动对象的一种基于多帧边缘差异的算法。该算法利用一组帧的边缘差异来提取运动对象区域,通过聚类方法去除背景像素点,利用形态学算子得到对象分割模板,同时通过建立前帧感兴趣对象与当前帧运动对象的帧间向量跟踪当前帧的感兴趣视频对象。不同标准视频测试序列的测试结果表明,该算法能够实现对感兴趣的视频运动对象更为精确、快速和有效地分割和跟踪。     

基于变化检测和帧差累积的视频对象分割方法

针对目前许多视频对象分割方法中分割边界不精 确、遮挡和不规则运动问题解决效果 不好等问题,提出一种新的视频 对象分割算法。利用人眼的视觉特点,即对运动(时间梯度)和边缘(空间梯度)都特别敏 感,把帧间运动变化检测(时域 定区间帧差累积)和图像的边缘检测结合起来,首先利用t显著 性检验检测对称帧的帧间变化,再对检测出的初始运动变化 区域进行时域定区间帧差累积计算,并进一步整合形成记忆掩膜(MT);然后应用改进的Kirs ch边 缘检测算子较为精确地检测当 前帧中所有的边缘信息,减少MT膜中的残留噪声,并通过时空滤波获得语义视频对 象平面;最终选择性的应用填充及 形态学处理操作,实现视频对象的分割。实验结果验证了本文算法的有效性和准确性。     

一种新的基于时空信息的视频分割

提出了一种新的基于时空信息的视频分割算法．即先将原始图像标记成不同的区域,然后以帧间差分得到的对象运动信息作为评判准则,将这些区域分别归类于前景对象和背景．达到对象分割的目的。特别是在区域标记的过程中,采用了一种新的基于分水岭的区域标识技术。通过对标准图像序列的实验结果可以看到,利用该算法能够较精确地分割出视频对象。     

基于模糊聚类的视频对象分割

提出了一种基于模糊聚类的视频对象分割方法.首先通过对连续三帧视频图像进行二次差分来得到二次差分图像;然后估计噪声的特征参数滤除背景噪声,提取出视频对象的运动区域;再利用改进的FCM聚类算法对二次帧差图像中的视频对象运动区域进行空域分割,对空域分割结果进行形态学处理,得到视频对象掩模;最终获得较为理想的视频对象.实验结果表明,该算法能够较为准确地分割出视频对象,并且在空间准确度上占优.     

运动视频对象的时空联合检测技术

提出了一种具有全局运动的视频运动对象时空联合检测算法。针对传统时间分割使用主观固定阈值的缺点,采用了对差分图像进行噪声参数自适应学习的算法获取自动阈值,并利用形态学运算获取修正的时间分割模板;考虑传统分水岭空间分割的不足,提出了基于人眼视觉特征的改进分水岭算法,包括基于形态重建滤波的图像降噪、形态梯度变换以及基于韦伯感知原理的视同灰度非线性变换,有效地解决了过分割问题;对时、空间分割结果进行信息融合处理,从而得到完整的运动对象。仿真实验结果表明,本文算法可以快速准确地分割视频运动对象。     

一种基于定时段区域补偿的视频对象分割算法

在传统时空联合算法的基础上,提出了一种基于定时段区域补偿的视频对象分割后处理算法。首先,通过对帧差图像进行噪声抑制和膨胀连接获得变化检测模板;然后,对原始图像进行开闭重构简化,求取形态学梯度,通过对形态学梯度图像进行非线性变换和梯度等级划分并最终由分水岭算法获得对象的精确边界,通过比例运算提取出视频对象的初始二值化模板;最后,通过定时段区域补偿获得最终的完整视频对象模板。实验结果证明了该算法的正确性和有效性。     

一种基于区域Gibbs势能函数的视频运动对象分割算法

提出了一种基于时空联合分析框架的视频对象分割算法,通过改进的分水岭变换对视频图像进行帧内空间区域划分,并根据帧间运动信息和区域的空间特性得到初步的分割掩模;然后建立基于区域的马尔可夫随机场分布模型,并定义对应的Gibbs势能函数,通过迭代条件模式(ICM)方法求解得到最小化能量,从而获得稳定的分割标记场,准确地提取视频对象。实验结果表明,提出的分割算法性能优于欧洲COST211研究组所得到的分割结果。     

基于图像分割的深度视频校正算法

在基于深度图的虚拟视点绘制过程中,由于通过深 度估计软件获取的深度视频存在大量的失真,从而导致绘制的虚拟视点中存在纹理失真和缺 失现象。本文围绕深度视频失真类型,提出一种基于分割的深度 视频校正算法。利用彩色深度一致性信息分区域校正深度失真,以解决由于深度块失真造成 的虚拟视点纹理 缺失问题。首先,提取彩色视频运动和边缘区域,得到彩色视频边缘和运动区域掩模图;其 次,在边缘和运 动信息的辅助下,对彩色图像进行Mean Shift聚类,并将不同类别区域赋以不同的标签;最 后,分别统计不 同类别连通区域对应的深度直方图,利用其峰值校正深度视频中深度彩色非一致区域。实验 结果表明,本文提 出的基于分割块的深度视频校正算法优于部分基于像素的滤波算法,可以有效地校正深度视 频块失真,解决 虚拟视点边缘失真和纹理缺失问题,同时虚拟视点质量平均提高了0.20dB。     

基于运动补偿的自适应时域视频降噪算法研究

视频信号内的噪声是信号中不希望出现的干扰部分,如果不加以有效的去除,会严重影响视频图像的质量.提出了一种基于运动补偿的自适应时域视频降噪算法.该方法通过运动补偿技术,在时域上跟踪并提取噪声.滤波的强度是根据物体运动轨迹上的运动强度自适应变化的.利用该算法,有效地去除了视频序列中的噪声,同时很好地保护了图像的细节.实验结果表明,采用该降噪算法处理后的视频图像质量明显优于采用空域的降噪方法的结果.     

目标基视频编码中的运动目标提取与跟踪新算法

自动、快速的视频目标提取与跟踪是目标基视频编码中的一项关键技术.本文提出一种运动目标提取与跟踪新算法.首先,根据多帧运动信息和高阶统计检测方法得到二值运动掩模图像,然后提出一种改进分水岭算法对运动区域及其周围部分进行分割.将二者所得结果进行投影运算,得到最终运动目标.最后提出一种运动目标跟踪新算法,能对目标进行有效的跟踪.实验结果说明了本文算法的有效性.     

一种基于双域拉格朗日插值的视频错误隐藏方法

本文提出了一种基于双域拉格朗日插值的错误隐藏方法,编码采用H.264标准,分别在时域和空域进行插值获得两个运动矢量,通过建立插值系数表构造混合的插值模型,经过边缘匹配算法判断后获得最优的运动矢量作为丢失宏块的运动矢量.为了减小网络突发错误对插值效果的影响,本文在编码端提出了一种类交织的slice划分方法,实验证明本文方法由于充分利用了时域和空域的信息冗余,取得了较好效果,在15％网络丢包率的环境下平均PSNR比空域拉格朗日插值方法高0.5dB~1dB左右.     

Dynamic programming framework for automatic video object segmentation and vision-assisted video pre-processing

A generic definition of video objects, which is a group of pixels with temporal motion coherence, is considered. The generic video object (GVO) is the superset of the conventional video objects considered in the object segmentation literature. Because of its motion coherence, the GVO can be easily recognised by the human visual system. However, due to its arbitrary spatial distribution, the GVO cannot be easily detected by the existing algorithms which often assume the spatial homogeneousness of the video objects. The concept of extended optical flow is introduced and a dynamic programming framework for the GVO detection and segmentation is developed, whose solution is given by the Viterbi algorithm. Using this dynamic programming formulation, the proposed object detection algorithm is able to discover the motion path of the GVO automatically and refine its spatial region of support progressively. In addition to object segmentation, the proposed algorithm can also be applied to video pre-processing, removing the so-called 'video mask' noise in digital videos. Experimental results show that this type of vision-assisted video pre-processing significantly improves the compression efficiency.     

基于Snake活动轮廓模型的视频跟踪分割方法

基于Snake活动轮廓模型,采用时空融合的方式,根据短时间内相邻帧的运动趋势差异相似的前提,首先将视频序列分成若干个小段,每段有k帧视频,选取段内的前两帧为关键帧,通过运动检测的方式自动得到这两帧中运动对象的大致区域;然后进行帧内Snake演变,搜索精确轮廓;最后以关键帧间运动对象形心的运动矢量预测勾勒后续帧的初始轮廓,进行帧内Snake精确轮廓定位,从而实现所有帧的视频对象分割。相比于传统方法,本文方法克服了手动绘制初始轮廓的缺点,在空域对Snake贪婪方法进行了改进而且精确度高,速度快。实验表明,本文方法成功地实现了前后帧图像之间运动对象的对应匹配关系,并通过改进后的Snake贪婪方法得到了精确的分割结果。     

VIDEO OBJECT SEGMENTATION BY 2-D MESH-BASED MOTION ANALYSIS

Video object extraction is a key technology in content-based video coding.A novel video object extracting algorithm by two Dimensional (2-D) mesh-based motion analysis is proposed in this paper.Firstly,a 2-D mesh fitting the original frame image is obtained via feature detection algorithm. Then,higher order statistics motion analysis is applied on the 2-D mesh representation to get an initial motion detection mask.After post-processing,the final segmenting mask is quickly obtained.And hence the video object is effectively extracted.Experimental results show that the proposed algorithm combines the merits of mesh-based segmenting algorithms and pixel-based segmenting algorithms,and hereby achieves satisfactory subjective and objective performance while dramatically increasing the segmenting speed.     

一种基于运动补偿的时域自适应视频降噪算法

视频信号内的噪声是信号中不希望出现的干扰部分,如果不加以有效的去除,会严重影响视频图像的质量.提出了一种基于运动补偿的自适应时域视频降噪算法.该方法通过运动补偿技术,在时域上跟踪并提取噪声.滤波的强度是根据物体运动轨迹上的运动强度自适应变化的.利用该算法,有效地去除了视频序列中的噪声,同时很好地保护了图像的细节.实验结果表明,采用本文的降噪算法处理后的视频图像质量明显优于采用空域的降噪方法的结果.     

Sequence-tracker: Multiple object tracking with sequence features in severe occlusion scene

Multiple object tracking is one of the most fundamental tasks in computer vision, and it is still very challenging for real-world applications due to its severe occlusion and motion blur. Most of the existing methods solve these multiple object tracking issues by performing data association based on the deep features of the detections in consecutive frames, which only contain the spatial information of the detected objects. Therefore, the inaccuracy of data association would easily occur, especially in the severe occlusion scenes. In this paper, a novel multiple object tracking model named sequence-tracker (STracker) has been proposed, which combines both the temporal and spatial features to perform data association. We trained a sequence feature extraction network based on video pedestrian re-identification offline, fused the obtained sequence features with the depth features of the previous frame, and then implemented the Hungarian algorithm for data association. Experiments have been carried out to validate the effectiveness of the proposed algorithm and the corresponding results indicates that it can significantly improve the trajectory quality of our dataset in this paper. Remarkably, for the public detector results from MOT official website, the proposed algorithm can achieve up to 57.2% MOTA and 50.9% IDF1 on the MOT17 dataset.     

Performance measures for video object segmentation and tracking

We propose measures to evaluate quantitatively the performance of video object segmentation and tracking methods without ground-truth (GT) segmentation maps. The proposed measures are based on spatial differences of color and motion along the boundary of the estimated video object plane and temporal differences between the color histogram of the current object plane and its predecessors. They can be used to localize (spatially and/or temporally) regions where segmentation results are good or bad; and/or they can be combined to yield a single numerical measure to indicate the goodness of the boundary segmentation and tracking results over a sequence. The validity of the proposed performance measures without GT have been demonstrated by canonical correlation analysis with another set of measures with GT on a set of sequences (where GT information is available). Experimental results are presented to evaluate the segmentation maps obtained from various sequences using different segmentation approaches.