基于人脸检测与SIFT的播音员镜头检测

播音员镜头的检测是新闻视频结构化的关键步骤之一.提出了一种基于人脸检测与SIFT特征点匹配的播音员镜头自动检测算法.该方法首先利用人脸检测器过滤出具有人脸的候选镜头,然后利用颜色直方图判断镜头是否可能相似,再利用SIFT特征点匹配从候选镜头关键帧中找出相关的镜头组,最后利用各镜头组的信息判断出哪些是播音员镜头.对比传统的方法,该方法除了训练一个通用的人脸检测器外,不需要模板,也不需要针对某类新闻节目训练特别的分类器,可以直接利用算法对新类型的新闻节目提取播音员镜头.实验结果表明,该算法能够广泛地适应于各种不同种类的新闻节目、不同视觉质量的视频,可以有效地应用于新闻视频分析.     

多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.     

新闻视频中基于主持人识别的新闻故事探测

新闻视频由一个个内容相互独立的新闻故事组成。新闻故事探测是新闻视频浏览、基于内容检索等操作的前提。该文根据新闻视频的特殊结构和新闻节目主持人固定的特征，采用基于人脸检测的主持人镜头识别和基于语音的主持人识别来分割新闻视频中的新闻故事。实验表明，该方法能准确地探测出新闻视频中的新闻故事。     

基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

基于朴素贝叶斯模型的新闻故事分割方法

提出一种基于朴素贝叶斯模型的新闻视频故事分割方法。通过对新闻视频进行镜头检测,获得候选故事边界点,从候选边界点周围镜头提取多模态中级特征,形成属性集合作为输入,应用朴素贝叶斯模型对候选边界点进行分类后对结果进行后处理,得到新闻故事。实验结果表明,该方法获得了较高的查准率和查全率,对不同类型的新闻节目有良好的适应性。     

一种在MPEG压缩流上检测播音员镜头的快速算法

1.引言为了在视频或多媒体数据库中对视频信息进行有效的索引、浏览、检索,需要建立各种自动化工具对视频节目源进行结构、语义的分析,提取出刻画视频节目源内容的可供索引的特征。限于目前计算机视觉及音频信号分析技术的现状,从一般的视频节目中自动抽取语义信息还无法实现,但我们可以利用一定的先验知识模型建造特定类型视频节目的自动解析工具。电视新闻节目便是一类具有很强先验时间结构模型的视频节目。一些研究者针对不同电视广播电台的新闻节目进行了视频分析技术的研究,如文。它们对新闻项的分割均涉及对播音员镜头的检测,因为播音员镜头的检测对于实现新闻项的分割起到非常重要的作用,通常它标志着一段新闻条目的开始及(或)结束。文首先利用工具生成新闻节目记录文字形式,然后寻找一些固定的语言模式,如“我是(播音员姓名)”等,并结     

新闻视频故事单元分割技术综述

新闻视频的故事单元分割一般采用统计学或者信息论的方法,将新闻节目分割成一系列有各自主题内容的故事单元。这些单元反映的是视频流的高层语义,是建立视频索引的最佳层次。该文对这一技术进行了综述,将现有方法根据利用信息的角度分为3类:单模态的分割方法、多模态融合的分割方法和基于上下文信息的分割方法,并且详细讨论了每一类方法的特点。此外,还分析了一些分割错误的原因和今后的发展趋势。     

新闻视频中非新闻段的去除

新闻视频研究与服务要求每天从各种电视台采集大量的新闻节目.为了节省存储空间和方便分析,要先去除新闻视频中的非新闻段(商业广告、频道/节目标识等).本文采用探测视频流中重复镜头的方法来进行此项工作.首先将新闻视频分割为镜头,再对镜头进行聚类,选择出候选的非新闻镜头聚类,然后对候选镜头进行相同镜头匹配,匹配成功的镜头即为重复的非新闻镜头.相比为其他类似问题的研究(主要是探测商业广告),该方法计算量小,不需要先验假定条件,而且实验结果令人满意.     

融合多特征的新闻故事探测

探测出新闻故事的边界,将对新闻视频的结构化分析以及新闻视频的语义理解产生积极的作用.通过对新闻视频的结构进行分析,提出了一种融合镜头、播音员、标题字幕、静音等多种特征的新闻故事探测方法.该方法避免了依赖单特征探测新闻故事边界的不足,实验证明,该方法可以获得平均96%的故事边界探准率,能够较好地完成新闻故事边界探测的任务.     

新闻视频中口播帧检测方法的研究

新闻视频分析是视频分析领域的重要课题.提出了一种基于知识的新闻视频分析方法——二阶段模板匹配法,用于检测新闻节目中主持人口播镜头,从而为新闻单元的定位提供基本依据.该方法具有通用性和实时性的特点,可以在新闻视频的自动分析或自动索引系统中得到实际应用.     

一种多模态融合新闻视频条目分割算法

新闻视频条目分割是新闻视频检索和浏览中重要的底层支持技术,本文提出了一种融合主持人模板匹配和主题字幕帧检测的多模态新闻视频条目分割算法。先用基于主持人模板的算法进行第一次分割,再用基于改进的字幕检测方法进行第二次分割,最后将两次分割的结果融合并去除重复的分割点。实验证明,该算法对新闻视频条目分割具有较好的效果。     

新的基于综合特征的新闻事件分割方法

提出了一种基于新闻视频中的标题字幕信息和音视频特征对新闻事件进行分割的方法,并实现了一个新闻事件分割、浏览和检索的原型系统。提出的方法综合利用新闻视频中的标题检测、主持人画面检测以及静音片段和语者切换检测技术分割整段新闻中的新闻事件。实验结果表明,该方法较仅利用标题的新闻事件分割方法在分割准确性上有了显著提高。     

基于事件流的新闻视频场景分割方法

在视频数据库研究领域，视频场景的分割是一个重要而又难以解决的问题。文中从分析新闻视频场景所特有的结构特征入手，提出一种基于事件流的新闻视频场景分割方法。实验表明，采用该方法场景分割正确率可达86．9％。     

基于语义信息提取的新闻视频场景分割方法

随着数字视频的广泛应用,视频数据库系统已成为多媒体领域的一个研究热点。在建立视频数据库的过程中,视频场景的分割是一个重要而又难以解决的问题。文章从分析新闻视频场景所特有的结构特征入手,提出了一种基于语义信息提取的新闻视频场景分割新方法,该方法通过对音频流和视频流中的镜头变换、主持人镜头、主题字幕和静音区间等语义信息的提取和分析来实现新闻视频场景的分割。实验表明,采用该文提出的方法,场景分割正确率可达86.9%,较好地解决了新闻视频场景分割问题。     

一个基于内容的新闻视频浏览和查询系统:NewsBR

提出了一个基于内容的新闻视频浏览和查询系统NewsBR，这个系统是建立在非常准确的新闻故事分段和主题字幕文本提取之上的，它的主要特征包括：基于类别的新闻故事浏览，基于关键帧的视频摘要和基于关键词的新闻故事查询，本文详细讲述了新闻故事的分段，主题字幕文本的提取和在此之上的基于内容的视频浏览和查询，这个系统对于全面了解新闻视频的内容很有帮助且行之有效．     

Automatic and fast temporal segmentation for personalized news consuming

Automatic news program segmentation and classification becomes a hot topic, which reorganizes the news program according to the news’ topics, and provides the on-demand services to mobile consumers or Internet/home TV consumers. This paper presents a personalized news consuming system, including the system architecture, consumption steps and key techniques. Then, focused on the core technique, i.e., video temporal segmentation, the automatic video temporal segmentation method is proposed, evaluated and compared with existing ones. Experimental results show that the proposed scheme is computational efficient and gets higher correct detection rate. These properties make it a suitable choice for the personalized news consuming system.     

Video OCR: indexing digital news libraries by recognition of superimposed captions

The automatic extraction and recognition of news captions and annotations can be of great help locating topics of interest in digital news video libraries. To achieve this goal, we present a technique, called Video OCR (Optical Character Reader), which detects, extracts, and reads text areas in digital video data. In this paper, we address problems, describe the method by which Video OCR operates, and suggest applications for its use in digital news archives. To solve two problems of character recognition for videos, low-resolution characters and extremely complex backgrounds, we apply an interpolation filter, multi-frame integration and character extraction filters. Character segmentation is performed by a recognition-based segmentation method, and intermediate character recognition results are used to improve the segmentation. We also include a method for locating text areas using text-like properties and the use of a language-based postprocessing technique to increase word recognition rates. The overall recognition results are satisfactory for use in news indexing. Performing Video OCR on news video and combining its results with other video understanding techniques will improve the overall understanding of the news video content.     

多信息融合的新闻节目主题划分方法

对新闻播报节目进行自动主题划分,可以有效地组织和利用新闻播报类数据。目前自动故事单元划分的研究以视频数据为主,音频的语音识别文本中包含丰富的语义信息,同时声音事件的转换也可以提供很多重要信息,能够有效的进行基于语义的主题划分。根据这些信息,该文提出了一种基于规则的多信息融合的方法,利用切分点邻域的音频类型信息来修正使用语义信息的切分结果,完成主题划分。实验表明根据规则进行特征融合后,新闻节目主题划分的F-估值为64.8%,错误概率Pk和WindowDiff分别达到18.3%和24.5%。