基于语义信息提取的新闻视频场景分割方法

随着数字视频的广泛应用,视频数据库系统已成为多媒体领域的一个研究热点。在建立视频数据库的过程中,视频场景的分割是一个重要而又难以解决的问题。文章从分析新闻视频场景所特有的结构特征入手,提出了一种基于语义信息提取的新闻视频场景分割新方法,该方法通过对音频流和视频流中的镜头变换、主持人镜头、主题字幕和静音区间等语义信息的提取和分析来实现新闻视频场景的分割。实验表明,采用该文提出的方法,场景分割正确率可达86.9%,较好地解决了新闻视频场景分割问题。     

基于剧本及字幕信息的视频分割方法

对视频进行分割并建立索引有利于视频的浏览和检索。提出一种融合剧本和字幕对电影类视频进行场景分割与索引的方法。该方法通过字幕与场景中对白文本的匹配获得场景视频片段的初始分割边界,分析视频帧之间的颜色分布差异,以确定场景间的最终边界。实验结果表明,与完全依赖视频内容分析的方法相比,该方法对电影视频场景片段的分割速度和准确度较高。     

基于视音频特征的体育视频关键场景自动分割方法

近年来，人们对于体育赛事视频的观看需求有所提升，大部分观众希望可以直接观看至赛点内容。传统体育视频关键场景自动分割方法提取特征效果不佳，造成关键场景分割结果准确率降低。针对此问题，设计基于视音频特征的体育视频关键场景自动分割方法。采用傅里叶变换技术以及色彩空间模型获取体育视音频特征，构建噪声估算模型，应用梯度倒数加权法完成视频图像增强处理。使用光流法完成关键场景分割，使用信息熵计算关键场景分割结果与体育视频的一致性。实验结果可得，使用视音频特征后，关键场景分割准确度得到提升。     

视频检索中镜头分割方法综述

视频序列的镜头分割亦称镜头变化检测是视频检索中的关键技术之一。镜头变化是指视频序列中场景内容的变化。该文介绍了目前镜头分割的常用方法,包括灰度分割法、边缘分割法、彩色直方图分割法、MPEG视频的分割方法、块匹配镜头分割方法、统计判决镜头分割方法、基于聚类的镜头分割方法、镜头渐变的检测等,指出了研究场景内容的表征方法、特征提取方法、特征的检测尺度以及稳健可靠的实用镜头分割方法是目前主要的研究方向。     

一种基于Kalman滤波的视频对象跟踪方法

为了更加准确地预测对象的位置和运动，利用刚体运动模型导出最佳Kalman系数，通过Kalman反馈滤波器对Moscheni等人提出的视频对象分割与跟踪算法进行改进，提出了一种将离散Kalman滤波技术用于视频序列的对象跟踪方法。这种方法可用于有关场景描述的各种应用领域中，如在机器视觉的研究中，对动态场景进行分析与理解；在基于对象的视频编码中（如MPEG-4），对视频对象进行分割后，分别进行编码，从而改善编码的可分级性及编码效率。实验结果表明，采用这种方法可以有效地改善时间-空间分割和目标跟踪，有助于更好地理解动态场景，并表现出良好的鲁棒性。     

一种多模态融合新闻视频条目分割算法

新闻视频条目分割是新闻视频检索和浏览中重要的底层支持技术,本文提出了一种融合主持人模板匹配和主题字幕帧检测的多模态新闻视频条目分割算法。先用基于主持人模板的算法进行第一次分割,再用基于改进的字幕检测方法进行第二次分割,最后将两次分割的结果融合并去除重复的分割点。实验证明,该算法对新闻视频条目分割具有较好的效果。     

一种基于小波变换的视频对象分割算法

新一代视频编码标准MPEG－4提出了基于内容的视频编码的概念，它充分考虑到视频场景的特点，对不同对象用不同方法进行编码，这样视频对象分割就成为该标准的关键技术之一。该文提出一种利用小波变换分割视频序列中运动对象的算法。算法的主要思想是通过对视频序列在时间轴上作小波变换提取视频对象的运动信息进行视频对象的分割。实验结果证明，本算法能比较准确地分割出运动视频对象。     

新闻视频的场景分段索引及摘要生成

在提出一种新闻视频检索系统结构的基础上，介绍了基于标题条检测的新闻场景分段索引方法，并阐述了两种新闻摘要的生成策略．该方法利用新闻节目标题条出现的时空位置线索，结合标题关键词的识别，建立起一个层次化的新闻视频索引结构，并帮助用户通过新闻摘要实现不同要求的视频浏览．实验证明该方法有较高的检索成功率，并且简单快捷，为新闻视频检索提供了新的有效途径．     

视频层次结构挖掘

视频处理的关键是视频信息的结构化,视频基本结构是由帧、镜头、场景和视频节目构成的层次结构。视频层次结构挖掘的一个简单框架是对视频进行镜头分割、抽取镜头特征和视频场景构造。论文在镜头分割的基础上提出了基于多特征的镜头聚类分析和基于镜头的场景边界检测两种视频场景构造方法,从而实现视频层次结构挖掘。实验表明,基于镜头的场景边界检测性能优于基于多特征的镜头聚类分析。     

融合多特征的新闻故事自动分割

新闻视频是由一系列的新闻故事构成的,准确地对新闻故事进行探测与分割将对新闻视频的自动检索与语义的理解产生重要作用。通过对新闻视频的结构特征进行分析,提出了融合静音、镜头切变、主持人特征和文本信息等多种特征的新闻故事探测与分割的方法。通过对不同的新闻视频进行实验,获得了平均95.2%的探测准确率。实验证明,提出的方法能够较好地解决新闻故事分割的任务。     

基于镜头竞争力的多模态视频场景分割算法

为了能快速、有效地进行视频场景分割,论文提出一种基于镜头竞争力的多模态视频场景分割算法,充分考虑视频中多模态之间的时序关联共生特性,通过对视频物理特征的提取、融合计算出镜头间相似度,结合镜头竞争力的判定思想分割出视频场景.实验结果表明,该算法能较为高效地进行视频场景分割,查全率和查准率可达82.1％和86.7％.     

基于卷积神经网络的多模态视频场景分割优化算法

针对基于内容的视频检索中场景分割效率有待提高的问题,提出了一种基于卷积神经网络提取特征的多模态视频场景分割优化算法。首先利用改进的VGG19网络从视频镜头中提取多种模态的底层特征和语义特征,再将这些特征组成向量,然后通过三重损失学习与镜头相似度计算等方法,使场景分割问题转换为对镜头边界的二分类问题,最后建立评分机制优化所得结果,获取分割好的视频场景及对应的场景边界,完成场景分割任务。实验结果表明,该算法能对视频场景进行有效分割,整体查全率与查准率分别能达到85.77%、87.01%。     

Statistical sequential analysis for real-time video scene change detection on compressed multimedia bitstream

The increased availability and usage of multimedia information have created a critical need for efficient multimedia processing algorithms. These algorithms must offer capabilities related to browsing, indexing, and retrieval of relevant data. A crucial step in multimedia processing is that of reliable video segmentation into visually coherent video shots through scene change detection. Video segmentation enables subsequent processing operations on video shots, such as video indexing, semantic representation, or tracking of selected video information. Since video sequences generally contain both abrupt and gradual scene changes, video segmentation algorithms must be able to detect a large variety of changes. While existing algorithms perform relatively well for detecting abrupt transitions (video cuts), reliable detection of gradual changes is much more difficult. A novel one-pass, real-time approach to video scene change detection based on statistical sequential analysis and operating on a compressed multimedia bitstream is proposed. Our approach models video sequences as stochastic processes, with scene changes being reflected by changes in the characteristics (parameters) of the process. Statistical sequential analysis is used to provide an unified framework for the detection of both abrupt and gradual scene changes.     

基于频繁镜头集合的视频场景分割方法

提出一种基于全局场景特征在视频序列中寻找频繁镜头集合,并通过局部语义特征精确定位视频场景边界的视频场景分割方法。首先对分析视频进行高精度镜头分割,选取具有代表性的镜头关键帧。然后提取各镜头关键帧的全局场景特征和局部特征,并利用局部特征聚类得到的视觉词对各个镜头关键帧进行语义标注。接下来计算基于全局场景特征的镜头间相关性,结合视频场景的概念和特性,在镜头关键帧序列中寻找局部频繁出现的相关性高的镜头集合,粗略定位视频场景位置。最后利用镜头关键帧的语义标注特征精确定位视频场景边界。实验证明该方法能够准确、有效地检测并定位到大部分视频场景。     

基于压缩域信息的立体视频对象分割方法

立体视频对象分割是交互式多视点视频应用的关键技术。为了提高对象分割的时效性和精确性,提出了一种利用压缩域视差和运动信息的立体视频对象分割算法。该算法首先对运动矢量场和视差场进行提取和修正处理,然后对视频帧进行分割作为初始值,最后用均值偏移算法聚类得到最终的对象分割结果。实验结果表明,对于纹理复杂的场景有很好的分割效果,可以获得与语义一致的对象。     

一种基于视频结构的场景分割方法

场景是视频结构中的语义单元。因此基于场景的视频分割,将会对视频的内容分析、检索和浏览提供有益的帮助。提出了一种新的场景分割算法,它利用流形学习理论获得视频的结构特征,然后用马尔科夫链蒙特卡罗方法(Markov chain Monte Carlo,MCMC)动态地进行模拟采样,寻找场景边界的最大后验概率分布,完成场景的自动分割。通过发掘视频结构的内在特征并考虑它的局部信息,使算法能够适合不同类型的视频数据。实验结果也证明了该方法的有效性。     

Multiresolution video object extraction fitted to scalable wavelet-based object coding

To enable content based functionalities in video processing algorithms, decomposition of scenes into semantic objects is necessary. A semi-automatic Markov random field based multiresolution algorithm is presented for video object extraction in a complex scene. In the first frame, spatial segmentation and user intervention determine objects of interest. The specified objects are subsequently tracked in successive frames and newly appeared objects/regions are also detected. The video object extraction algorithm includes discrete wavelet transform decomposition multiresolution Markov random field (MRF)-based spatial segmentation with emphasis on border smoothness at different resolutions, and an MRF-based backward region classification that determines the tracked objects in the scene. Finally, a motion constraint, embedded in the region classifier, determines the newly appeared objects/regions and completes the proposed algorithm towards an efficient video segmentation algorithm. The results are applicable for generic segmentation applications, however the proposed multiresolution video segmentation algorithm supports scalable object-based wavelet coding in particular. Moreover, compared to traditional object extraction algorithms, it produces smoother and more visually pleasing shape masks at different resolutions. The proposed effective multiresolution video object extraction method allows for larger motion, better noise tolerance and less computational complexity     

基于全图象的视频分段方法研究

视频分段技术是未来信息高速公路上基于内容视频检索服务的基本和关键技术。介绍了目前几类视频分段方法的基本思想，并主要讨论了基于全图象的视频突变和渐变分段方法。