基于时空层级查询的指代视频目标分割

本文针对当前指代视频目标分割方法缺乏目标时空一致性建模和目标时空表征学习不足等问题,进行了深入的研究,提出了基于时空层级查询的指代视频目标分割方法 (STHQ).本文将指代视频目标分割看作基于查询的序列预测问题,并提出两级查询机制进行目标的时空一致性建模和时空特征学习.在第1阶段,本文提出了帧级空间信息提取模块,该模块使用语言特征作为查询独立地和视频序列中的每一帧在空间维度进行信息交互,生成包含目标空间信息的实例嵌入;在第2阶段,本文提出时空信息聚合模块,该模块使用视频级的可学习查询嵌入和第1阶段生成的实例嵌入在时空维度进行信息交互,生成具有时空表征信息的视频级实例嵌入;最后,视频级实例嵌入线性变换为条件卷积参数,并和视频序列中的每一帧进行卷积操作,生成目标的掩码预测序列.在该领域的3个基准数据集上的实验结果表明,本文提出的STHQ方法超越了现有的方法,实现了最佳的性能.     

基于双重金字塔网络的视频目标分割方法

针对复杂视频场景中难以分割特定目标的问题，提出一种基于双重金字塔网络（DPN）的视频目标分割方法。首先，通过调制网络的单向传递让分割模型适应特定目标的外观。具体而言，从给定目标的视觉和空间信息中学习一种调制器，并通过调制器调节分割网络的中间层以适应特定目标的外观变化。然后，通过基于不同区域的上下文聚合的方法，在分割网络的最后一层中聚合全局上下文信息。最后，通过横向连接的自左而右结构，在所有尺度中构建高阶语义特征图。所提出的视频目标分割方法是一个可以端到端训练的分割网络。大量实验结果表明，所提方法在DAVIS2016数据集上的性能与较先进的使用在线微调的方法相比，可达到相竞争的结果，且在DAVIS2017数据集上性能较优。     

基于内容的视频分割技术研究

随着MPEG-4基于内容功能的提出以及MPEG-7标准的不断推广应用,视频对象分割技术已成为视频处理领域中的研究热点。视频对象分割就是从视频序列中分割出在语义上有意义的对象。目前对视频分割研究已从基于镜头的分割发展到了基于内容的视频对象分割。然而,基于内容的视频对象分割技术还不成熟。文中讨论了视频对象分割技术的发展和研究状况,从组成视频运动对象的分割系统出发,介绍了时域分割以及时空域联合分割等技术,并提出了一种基于多帧差的视频对象分割算法。最后对分割技术中需要深入研究的问题进行了探讨。     

基于对象的视频图象分割技术

随着“流媒体”技术应用的发展和 MPEG- 4基于内容的功能的提出 ,视频图象处理领域中 ,基于对象的分割技术已成为该领域的研究热点 .如今视频分割研究已由基于镜头的分割发展到了通过提取视频对象面 ,来分割出视频对象的阶段 ,但目前基于对象的分割研究仍处于起步阶段 ,技术还很不成熟 .为了推动该技术进一步发展 ,在深入分析分割问题本质的基础上 ,首先提出从分割所利用的信息角度出发来进行分割的技术 ;然后针对分割技术的发展趋势 ,深入介绍了该研究领域国内外的最新研究算法 ,并分析了各方法技术的贡献和不足 ;最后提出了一些分割技术值得进一步深入探讨的问题和研究方向     

基于内容的视频分割技术研究

随着MPEG-4基于内容功能的提出以及MPEG-7标准的不断推广应用，视频对象分割技术已成为视频处理领域中的研究热点。视频对象分割就是从视频序列中分割出在语义上有意义的对象。目前对视频分割研究已从基于镜头的分割发展到了基于内容的视频对象分割。然而，基于内容的视频对象分割技术还不成熟。文中讨论了视频对象分割技术的发展和研究状况，从组成视频运动对象的分割系统出发，介绍了时域分割以及时空域联合分割等技术，并提出了一种基于多帧差的视频对象分割算法。最后对分割技术中需要深入研究的问题进行了探讨。     

复杂环境下的运动车辆检测

针对目前采用的车辆检测方法的优缺点,提出了一种新的车辆区域检测方法,能够消除阴影干扰。该算法首先运用选择性背景更新法进行背景相减,获取感兴趣区域,然后提出基于图的区域分割算法,对感兴趣区域进行再分割。该方法充分考虑了视频图像全局和局部的空间信息,根据分割区域的大小自动自适应地调节对图像局部细节的忽略程度,从而获取局部区域像素信息较为一致的分割块。最后基于分割过程中所具有的马尔科夫属性,运用条件随机域的方法建立分割后验概率分布,求取最大后验概率确定标号,并对具有相同标号的相邻分割进行合并。     

基于内容检索的视频分割技术的研究

视频分割就是从视频序列中分割出在语义上有意义的对象。目前，视频分割已从基于镜头的分割发展到了基于内容的视频对象分割。文章介绍了基于内容的时域及空域视频分割技术，提出了一种基于多帧差异的视频对象分割算法。     

基于VFW的视频图像叠加与播放方法

基于VFW方法基础上,建立了一个视频叠加和播放系统.该系统先对各视频进行分割,再将分割后的各帧图像叠加处理,在此基础上建立一个播放线程,将处理结果依次显现出来.结果表明,该方法实用可靠,各视频可以很好的融合在一起,并可很好的控制各视频的相对位置、大小和旋转角度.     

基于关节角度和DTW的太极拳视频配准方法

太极拳视频配准是实现太极拳线上教学的首要问题。为实现太极拳视频的自动配准,提出了一种基于关节角度和DTW算法的太极拳视频配准方法。该方法主要利用人体关节角度消除太极拳视频背景的干扰和不同太极拳视频中人体大小不同的影响,并利用动态时间规整(DTW)算法对不同时间点的视频帧进行配准。在该方法中,首先计算出练习者动作视频中关节角度的时间序列,并使用指数平滑法消除时间序列中存在的误差;然后利用上下帧之间的人体关节角度差分割时间序列;最后利用DTW算法求分割后得到的时间序列与标准动作视频中对应的时间序列之间的距离,即可得到练习者与标准动作之间的匹配度。实验结果表明:该方法中的指数平滑法对太极拳视频配准的精度有较大影响,以及如果用欧几里得距离替换DTW算法将会较大的降低配准精度。并且该方法在太极拳视频配准上与基于SIFT特征的方法相比,配准精度更高,达到81.21%。     

不同形状邻域空间信息的模糊聚类图像分割

在经典的融合空间信息的模糊聚类图像分割方法中,图像像素的空间信息大,都采用正方形的邻域窗来获取。为了更好地分割出图像中的边界及细节信息,对不同形状邻域空间信息的模糊聚类图像分割进行了研究。在该方法中,首先采用圆形、三角形和菱形邻域窗获得图像像素的空间信息,然后分别将这三种空间信息引入到融合空间信息的模糊聚类图像分割中。Berkeley图像上的分割实验表明分别采用圆形、三角形和菱形邻域窗获得图像像素空间信息的模糊聚类图像分割方法在分割性能上要优于融合正方形邻域窗空间信息的方法。     

基于时空域信息的视频对象分割算法

针对固定场景的视频,提出一种基于时空分割的视频分割算法。该算法在时域中利用Tophat形态学滤波得到视频对象的精确位置,在空域中采用基于t混合模型和贪婪EM的聚类算法进行单帧图像分割。将时域定位和空域分割结果结合,可以准确地将视频序列中感兴趣的运动目标分割出来。实验表明,该算法能够得到完整的视频对象,有一定的理论意义和实用性。     

基于多种视频特征的镜头边界检测算法

针对固定场景的视频,提出一种基于时空分割的视频分割算法.该算法在时域中利用Tophat形态学滤波得到视频对象的精确位置,在空域中采用基于t混合模型和贪婪EM的聚类算法进行单帧图像分割.将时域定位和空域分割结果结合,可以准确地将视频序列中感兴趣的运动目标分割出来.实验表明,该算法能够得到完整的视频对象,有一定的理论意义和实用性.     

一种有效的基于时空信息的视频运动对象分割算法

为实现视频编码标准MPEG-4中语义对象的自动提取,提出一种基于时空信息的运动对象分割算法。在时域上通过双边加权累积帧差和分块高阶统计算法得到目标的运动区域检测模板,以在充分利用时域信息的同时提高算法的速度;在提取空域信息时,先对视频序列的灰度图进行对比度增强处理,然后利用自适应Canny算子获取准确的空间边缘信息;最后进行时空融合,用空域边缘信息修正过的时域运动模板来提取运动对象。实验结果表明,本算法可以快速准确地分割视频运动对象。     

一种基于时空联合的视频对象分割方法

视频对象分割在基于内容的视频编码和视频检索中均有重要的应用.为此,针对视频对象分割,提出了一种时域和空域信息融合的视频对象分割方案,该方案首先对时域分割采用基于F-假设检验的方法来得到初始的变化检测模板,然后通过与基于形态学的空域分割融合来获得最终的运动对象.实验结果表明,该方案计算比较简单,能较好地将前景运动对象从静止或运动、简单或复杂的背景中分离出来,且定位精度较好.     

运动目标的自动空时分割算法

在视频应用中,运动目标的提取是一个重要的研究课题。为了对运动目标进行更有效的分割,提出了一种从视频序列中自动提取运动目标的空时分割算法。该算法在时域分割中采用基于齐异矢量消除的目标检测方法来获得运动目标的初始模板。通常,该初始模板具有不连续的边界和一些"孔"。为了得到较为完整的目标区域,用具有距离约束的区域生长算法来补偿初始模板。而在空域分割中,分水岭分割则通过考虑全局信息来增强其分割的精确性。然后,精确的运动目标即可通过空时融合模块提取出来。试验结果表明,该空时分割算法是有效的。     

Extracting semantic video objects

We present an accurate and user-interactive semantic video object (SVO) extraction system. Although we also obtain an SVO with an accurate boundary by integrating temporal and spatial information, our way is quite different from others' work. Instead of fusing spatial and temporal segmentations on the first or all the frames of a video sequence, our system adaptively performs spatial and temporal segmentation and fusion when necessary. To achieve this, our system detects the variations between successive frames. We only need to fuse the spatial and temporal segmentation when a large variation occurs. Otherwise, the system tracks the previous SVO's boundary. We find this simple method efficient in both speed and accuracy. Since the temporal segmentation, spatial segmentation, spatio-temporal fusion, and boundary tracking all employ simple algorithms, our system has a low computational complexity     

特征注意金字塔调制网络的视频目标分割

目的 视频目标分割是在给定第1帧标注对象掩模条件下,实现对整个视频序列中感兴趣目标的分割。但是由于分割对象尺度的多样性,现有的视频目标分割算法缺乏有效的策略来融合不同尺度的特征信息。因此,本文提出一种特征注意金字塔调制网络模块用于视频目标分割。方法 首先利用视觉调制器网络和空间调制器网络学习分割对象的视觉和空间信息,并以此为先验引导分割模型适应特定对象的外观。然后通过特征注意金字塔模块挖掘全局上下文信息,解决分割对象多尺度的问题。结果 实验表明,在DAVIS 2016数据集上,本文方法在不使用在线微调的情况下,与使用在线微调的最先进方法相比,表现出更具竞争力的结果,J-mean指标达到了78.7%。在使用在线微调后,本文方法的性能在DAVIS 2017数据集上实现了最好的结果,J-mean指标达到了68.8%。结论 特征注意金字塔调制网络的视频目标分割算法在对感兴趣对象分割的同时,针对不同尺度的对象掩模能有效结合上下文信息,减少细节信息的丢失,实现高质量视频对象分割。     

基层层次光流的半自动时空视频分割技术

在新一代MPEG-4视频编码标准中，为了支持面向对象编码和实现基于内容的应用，视频的半自动分割成为关键技术之一，为此提出了一种基于层次光流的半自动时空视频分割算法。该算法由空域分割和时域分割组成。在空域分割中，提出的基于点的图形用户界面（PBGUI），在用户的协助下，能够精确地定义需要分割的视频对象（VO）。时域分割根据空域分割的结果采用层次光流算法对视频对象进行边界和整体跟踪。实验结果表明，利用该算法，能够精确地分割出视频对象。