基于运动相似性的运动对象分割算法

由于全局运动参数在一些情况下不能很准确地被估计,因此基于全局运动补偿算法存在一定的局限性。该文提出了一种基于运动相似性的视频运动对象的分割算法。该算法对运动矢量场进行累加和滤波处理,根据运动相似性对运动对象进行初次分割,并利用空间相关性进行二次分割,细化运动对象边缘。实验结果表明该算法避免了全局运动补偿算法的局限性,并使分割的精确性有明显提高。     

自适应权重更新的轻量级视频目标分割算法

目的 针对现有视频目标分割（video object segmentation,VOS）算法不能自适应进行样本权重更新,以及使用过多的冗余特征信息导致不必要的空间与时间消耗等问题,提出一种自适应权重更新的轻量级视频目标分割算法。方法 首先,为建立一个具有较强目标判别性的算法模型,所提算法根据提取特征的表征质量,自适应地赋予特征相应的权重;其次,为了去除冗余信息,提高算法的运行速度,通过优化信息存储策略,构建了一个轻量级的记忆模块。结果 实验结果表明,在公开数据集DAVIS2016 （densely annotated video segmentation）和DAVIS2017上,本文算法的区域相似度与轮廓准确度的均值J&F分别达到了85.8%和78.3%,与对比的视频目标分割算法相比具有明显的优势。结论 通过合理且无冗余的历史帧信息利用方式,提升了算法对于目标建模的泛化能力,使目标掩码质量更高。     

一种通过视频片段进行视频检索的方法

视频片段检索是基于内容的视频检索的主要方式,它需要解决两个问题:(1) 从视频库里自动分割出与查询片段相似的多个片段;(2) 按照相似度从高到低排列这些相似片段.首次尝试运用图论的匹配理论来解决这两个问题.针对问题(1),把检索过程分为两个阶段:镜头检索和片段检索.在镜头检索阶段,利用相机运动信息,一个变化较大的镜头被划分为几个内容一致的子镜头,两个镜头的相似性通过对应子镜头的相似性计算得到;在片段检索阶段,通过考察相似镜头的连续性初步得到一个个相似片段,再运用最大匹配的Hungarian算法来确定真正的相似片段.针对问题(2),考虑了片段相似性判断的视觉、粒度、顺序和干扰因子,提出用最优匹配的Kuhn-Munkres算法和动态规划算法相结合,来解决片段相似度的度量问题.实验对比结果表明,所提出的方法在片段检索中可以取得更高的检索精度和更快的检索速度.     

利用时空相关性的HEVC帧内编码块快速划分

目的 为了提升高效视频编码（HEVC）的编码效率,使之满足高分辨率、高帧率视频实时编码传输的需求。由分析可知帧内编码单元（CU）的划分对HEVC的编码效率有决定性的影响,通过提高HEVC的CU划分效率,可以大大提升HEVC编码的实时性。方法 通过对视频数据分析发现,视频数据具有较强的时间、空间相关性,帧内CU的划分结果也同样具有较强的时间和空间相关性,可以利用前一帧以及当前帧CU的划分结果进行预判以提升帧内CU划分的效率。据此,本文给出一种帧内CU快速划分算法,先根据视频相邻帧数据的时间相关性和帧内数据空间相关性初步确定当前编码块的编码树单元（CTU）形状,再利用前一帧同位CTU平均深度、当前帧已编码CTU深度以及对应的率失真代价值决定当前编码块CTU的最终形状。算法每间隔指定帧数设置一刷新帧,该帧采用HM16.7模型标准CU划分以避免快速CU划分算法带来的误差累积影响。结果 利用本文算法对不同分辨率、不同帧率的视频进行测试,与HEVC的参考模型HM16.7相比,本文算法在视频编码质量基本不变,视频码率稍有增加的情况下平均可以节省约40%的编码时间,且高分辨率高帧率的视频码率增加幅度普遍小于低分辨率低帧率的视频码率。结论 本文算法在HEVC的框架内,利用视频数据的时间和空间相关性,通过优化帧内CU划分方法,对提升HEVC编码,特别是提高高分辨率高帧率视频HEVC编码的实时性具有重要作用。     

基于压缩域信息的立体视频对象分割方法

立体视频对象分割是交互式多视点视频应用的关键技术。为了提高对象分割的时效性和精确性,提出了一种利用压缩域视差和运动信息的立体视频对象分割算法。该算法首先对运动矢量场和视差场进行提取和修正处理,然后对视频帧进行分割作为初始值,最后用均值偏移算法聚类得到最终的对象分割结果。实验结果表明,对于纹理复杂的场景有很好的分割效果,可以获得与语义一致的对象。     

融合视觉词与自注意力机制的视频目标分割

目的 视频目标分割(video object segmentation, VOS)是在给定初始帧的目标掩码条件下,实现对整个视频序列中感兴趣对象的分割,但是视频中往往会出现目标形状不规则、背景中存在干扰信息和运动速度过快等情况,影响视频目标分割质量。对此,本文提出一种融合视觉词和自注意力机制的视频目标分割算法。方法 对于参考帧,首先将其图像输入编码器中,提取分辨率为原图像1/8的像素特征。然后将该特征输入由若干卷积核构成的嵌入空间中,并将其结果上采样至原始尺寸。最后结合参考帧的目标掩码信息,通过聚类算法对嵌入空间中的像素进行聚类分簇,形成用于表示目标对象的视觉词。对于目标帧,首先将其图像通过编码器并输入嵌入空间中,通过单词匹配操作用参考帧生成的视觉词来表示嵌入空间中的像素,并获得多个相似图。然后,对相似图应用自注意力机制捕获全局依赖关系,最后取通道方向上的最大值作为预测结果。为了解决目标对象的外观变化和视觉词失配的问题,提出在线更新机制和全局校正机制以进一步提高准确率。结果 实验结果表明,本文方法在视频目标分割数据集DAVIS(densely annotated video segme...     

动作切分和流形度量学习的视频动作识别

目的 为了提高视频中动作识别的准确度,提出基于动作切分和流形度量学习的视频动作识别算法。方法 首先利用基于人物肢体伸展程度分析的动作切分方法对视频中的动作进行切分,将动作识别的对象具体化;然后从动作片段中提取归一化之后的全局时域特征和空域特征、光流特征、帧内的局部旋度特征和散度特征,构造一种7×7的协方差矩阵描述子对提取出的多种特征进行融合;最后结合流形度量学习方法有监督式地寻找更优的距离度量算法提高动作的识别分类效果。结果 对Weizmann公共视频集的切分实验统计结果表明本文提出的视频切分方法具有很好的切分能力,能够作好动作识别前的预处理;在Weizmann公共视频数据集上进行了流形度量学习前后的识别效果对比,结果表明利用流形度量学习方法对动作识别效果提升2.8%;在Weizmann和KTH两个公共视频数据集上的平均识别率分别为95.6%和92.3%,与现有方法的比较表明,本文提出的动作识别方法有更好的识别效果。结论 多次实验结果表明本文算法在预处理过程中动作切分效果理想,描述动作所构造协方差矩阵对动作的表达有良好的多特征融合能力,而且光流信息和旋度、散度信息的加入使得人体各部位的运动方向信息具有了更多细节的描述,有效提高了协方差矩阵的描述能力,结合流形度量学习方法对动作识别的准确性有明显提高。     

用于立体视频会议系统的立体对象分割与跟踪算法

基于对象的立体视频编码压缩技术能在立体视频会议系统中得到很好的应用，从立体视频信号中正确分割出立体视频对象是基于对象的立体视频编码压缩的一个前提条件，基于立体视频会议图像序列的时空特性和左右通道间的视差特性，提出了一种立体视频对象分割与跟踪算法，首先利用空域分割和运动检测相结合的方法，提取左通道中的运动物体；然后，提出一种左右通道间基于边缘轮廓的二级视差匹配算法，并根据已分割的左通道运动对象提取右通道的视频运动对象；最后利用对象边界轮廓的跟踪方法对后续图像中的运动对象进行快速跟踪，实验结果说明文中算法能够应用于立体视频会议图像序列的立体对象分割与跟踪。     

Exploring video content structure for hierarchical summarization

In this paper, we propose a hierarchical video summarization strategy that explores video content structure to provide the users with a scalable, multilevel video summary. First, video-shot- segmentation and keyframe-extraction algorithms are applied to parse video sequences into physical shots and discrete keyframes. Next, an affinity (self-correlation) matrix is constructed to merge visually similar shots into clusters (supergroups). Since video shots with high similarities do not necessarily imply that they belong to the same story unit, temporal information is adopted by merging temporally adjacent shots (within a specified distance) from the supergroup into each video group. A video-scene-detection algorithm is thus proposed to merge temporally or spatially correlated video groups into scenario units. This is followed by a scene-clustering algorithm that eliminates visual redundancy among the units. A hierarchical video content structure with increasing granularity is constructed from the clustered scenes, video scenes, and video groups to keyframes. Finally, we introduce a hierarchical video summarization scheme by executing various approaches at different levels of the video content hierarchy to statically or dynamically construct the video summary. Extensive experiments based on real-world videos have been performed to validate the effectiveness of the proposed approach.Published online: 15 September 2004 Corespondence to: Xingquan ZhuThis research has been supported by the NSF under grants 9972883-EIA, 9974255-IIS, 9983248-EIA, and 0209120-IIS, a grant from the state of Indiana 21^th Century Fund, and by the U.S. Army Research Laboratory and the U.S. Army Research Office under grant DAAD19-02-1-0178.     

基于内容的视频分割技术研究

随着MPEG-4基于内容功能的提出以及MPEG-7标准的不断推广应用,视频对象分割技术已成为视频处理领域中的研究热点。视频对象分割就是从视频序列中分割出在语义上有意义的对象。目前对视频分割研究已从基于镜头的分割发展到了基于内容的视频对象分割。然而,基于内容的视频对象分割技术还不成熟。文中讨论了视频对象分割技术的发展和研究状况,从组成视频运动对象的分割系统出发,介绍了时域分割以及时空域联合分割等技术,并提出了一种基于多帧差的视频对象分割算法。最后对分割技术中需要深入研究的问题进行了探讨。     

立体视频编码中的目标分割与立体匹配算法

视频目标分割与立体匹配是目标基立体视频编码中的核心技术.首先在单通道视频目标分割的基础上提出一种轮廓跟踪匹配算法,以提取立体视频目标对,然后提出一种基于目标的视差估计算法.它以具有特征信息的像素为匹配基元,结合视差匹配约束进行视差估计,克服了传统块匹配算法视差场不连续、视差精度差的缺点,可以获得较为精确和平滑的视差场.     

综合利用声视特征的新闻视频结构化模型

视频结构化表征和基于这种表征进行相似度比较是视频检索的前提和最基础的重要工作。该文受视频制作过程的启发,通过分析新闻视频的内容结构特点,提出一个基于多语义抽象层次表示的5层视频目录结构化模型;在此基础上,采用分层处理思想,通过综合利用声视特征实现了基于目录结构的新闻视频结构化,克服了单纯用视觉特征难以胜任场景分段的困难,实验验证了该文思想及相应算法的有效性。     

基于动态密集条件随机场增量推理计算的多类别视频分割

针对现有基于条件随机场（CRF）的多类别视频分割计算量随帧数不断增加的问题,提出了一种用于密集（全连接）CRF推断的快速、全动态推理（inference）算法,并有效地推断出了增量式多类别视频分割中动态密集CRF的最大后验概率（MAP）解决方案。与传统的密集CRF处理视频相比,该方法更适合于在线的机器人增量式视频分割的处理计算。实验结果表明,在多类别视频分割应用中,该动态算法明显快于广为人知的标准密集CRF算法,其计算精度与标准密集CRF算法保持不变。几个多类别视频分割测试证实了本算法的推理效率。该算法不仅限于视频分割,还可应用于诸多类似的增量式动态变化CRF模型中MAP推理计算的优化解决方案。     

基于视频页的视频流分割方法

提出了基于视频页的视频流分割方法。该方法通过定义视频帧的色彩相近区、光照变化区和色彩变化区,获得视觉内容改变的局部区域,由此进一步确定两帧的视觉内容相似性,从而实现视频页的分割,经与几种有代表性的视频流分割算法的实验比较,证明该检测算法不仅对光照变化的影响具有很高的鲁棒性,而且使得分割能在较高信噪比上进行,明显提高了视频流分割的准确性。     

基于内容检索的视频分割技术的研究

视频分割就是从视频序列中分割出在语义上有意义的对象。目前，视频分割已从基于镜头的分割发展到了基于内容的视频对象分割。文章介绍了基于内容的时域及空域视频分割技术，提出了一种基于多帧差异的视频对象分割算法。     

一种基于细胞神经网络的视频运动对象分割的研究

针对目前大多数视频分割算法难以满足实时性要求的缺点,本文将具有很强并行处理能力并具有集成特性的CNN细胞神经网络应用到视频对象分割当中,提出了一种基于细胞神经网络的视频运动对象分割算法,并通过仿真实验验证了其可行性.     

相似性约束的视频超分辨率重建

图像的相似性对超分辨率重建具有重要作用,但是单幅图像不能提供足够的相似信息.提出一种基于相似性约束的视频超分辨率重建算法,针对需要重建的视频帧,通过光流场的初始运动估计和精细的块匹配,搜索到视频序列中具有相似的信息;然后利用相似信息不断修正迭代反投影中的重建误差.实验结果表明本文算法能够增加图像细节,并且可以消除边缘出现的人造效应,获得清晰的图像边缘.     

基于自适应双阈值的足球视频分割算法研究

提出了一种利用双阈值自适应变化逼近视频镜头分割最佳阈值的算法,在双阈值各区间漏检或误检的判别通过相似度差异来完成。实验结果表明,该算法能够得到较为理想的错检率,并能得到比固定阈值算法更低的漏检率。     

基于假设检验和区域合并的视频对象分割

提出了基于假设检验和区域合并的视频对象分割算法。初始分割采用分水岭算法，接着根据颜色相似性进行区域合并，然后利用光流场估计和全局运动估计获得全局运动的残余误差，最后以各个区域的残余误差数据进行假设检验和小区域验证来确定运动区域，通过组合所有的运动区域即可分割出具有准确边缘的完整视频对象。对MPEG-4测试序列的实验结果表明了本算法具有良好的分割性能。