基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

基于播音员识别的新闻视频故事分割方法

新闻视频的语义单元分割是基于内容的新闻视频检索和情报挖掘的重要步骤,受到众多研究者的关注。提出了一种基于播音员识别的新闻视频故事单分割的新方法,首先从新闻节目中提取各播音员的声学感知特征的作为其声纹,训练出其相应的混合高斯模型(GMM),并采用KL差异法从视频镜头中探测出各播音员和非播音员音频镜头,最后结合视频字幕帧事件和新闻节目特殊的结构知识对新闻节目进行故事单元分割。在2个多小时的CCTV和CNN新闻视频实验中获得96.02%查准率和92.58%的查全率。     

基于多模态信息融合的新闻独白镜头检测

新闻视频中的独白镜头具有较大的信息量,在视频检索和挖掘中具有较高的应用价值。提出了一种融合音频、视频、时域以及上下文信息等多模态特征进行独白场景检测的方法。首先利用规则移除广告和“其他”镜头,然后应用聚类的方法检测主持人镜头,最后应用条件随机场（CRFs）模型标记独白和记者镜头。该方法无需额外的信息,具有较好的普适性,实验取得了较好的性能。     

基于朴素贝叶斯模型的新闻故事分割方法

提出一种基于朴素贝叶斯模型的新闻视频故事分割方法。通过对新闻视频进行镜头检测,获得候选故事边界点,从候选边界点周围镜头提取多模态中级特征,形成属性集合作为输入,应用朴素贝叶斯模型对候选边界点进行分类后对结果进行后处理,得到新闻故事。实验结果表明,该方法获得了较高的查准率和查全率,对不同类型的新闻节目有良好的适应性。     

融合多特征的新闻故事探测

探测出新闻故事的边界,将对新闻视频的结构化分析以及新闻视频的语义理解产生积极的作用.通过对新闻视频的结构进行分析,提出了一种融合镜头、播音员、标题字幕、静音等多种特征的新闻故事探测方法.该方法避免了依赖单特征探测新闻故事边界的不足,实验证明,该方法可以获得平均96%的故事边界探准率,能够较好地完成新闻故事边界探测的任务.     

融合多特征的新闻故事自动分割

新闻视频是由一系列的新闻故事构成的,准确地对新闻故事进行探测与分割将对新闻视频的自动检索与语义的理解产生重要作用。通过对新闻视频的结构特征进行分析,提出了融合静音、镜头切变、主持人特征和文本信息等多种特征的新闻故事探测与分割的方法。通过对不同的新闻视频进行实验,获得了平均95.2%的探测准确率。实验证明,提出的方法能够较好地解决新闻故事分割的任务。     

新闻视频中非新闻段的去除

新闻视频研究与服务要求每天从各种电视台采集大量的新闻节目.为了节省存储空间和方便分析,要先去除新闻视频中的非新闻段(商业广告、频道/节目标识等).本文采用探测视频流中重复镜头的方法来进行此项工作.首先将新闻视频分割为镜头,再对镜头进行聚类,选择出候选的非新闻镜头聚类,然后对候选镜头进行相同镜头匹配,匹配成功的镜头即为重复的非新闻镜头.相比为其他类似问题的研究(主要是探测商业广告),该方法计算量小,不需要先验假定条件,而且实验结果令人满意.     

多模态体育视频语义分析

以足球运动为例提出了一种体育视频语义结构，并提出相应的语义分析框架。视频被分解为纯视频流和音频流两种模态，每种模态均可依次提取和综合出低层内容和中层内容。视频流可根据低层（物理）内容分割为物理镜头，然后根据特定的中间层内容可以确定为语法镜头。音频也可以在物理特征的基础上形成有意义的中间层内容，如解说员兴奋时的声音。最后，根据视频流和音频流的中间层内容，按照足球比赛转播的规律，分析出比赛中的精彩事件，并选取相关的镜头作为反映此事件的序列组合。     

一种在MPEG压缩流上检测播音员镜头的快速算法

1.引言为了在视频或多媒体数据库中对视频信息进行有效的索引、浏览、检索,需要建立各种自动化工具对视频节目源进行结构、语义的分析,提取出刻画视频节目源内容的可供索引的特征。限于目前计算机视觉及音频信号分析技术的现状,从一般的视频节目中自动抽取语义信息还无法实现,但我们可以利用一定的先验知识模型建造特定类型视频节目的自动解析工具。电视新闻节目便是一类具有很强先验时间结构模型的视频节目。一些研究者针对不同电视广播电台的新闻节目进行了视频分析技术的研究,如文。它们对新闻项的分割均涉及对播音员镜头的检测,因为播音员镜头的检测对于实现新闻项的分割起到非常重要的作用,通常它标志着一段新闻条目的开始及(或)结束。文首先利用工具生成新闻节目记录文字形式,然后寻找一些固定的语言模式,如“我是(播音员姓名)”等,并结     

基于人脸检测与SIFT的播音员镜头检测

播音员镜头的检测是新闻视频结构化的关键步骤之一.提出了一种基于人脸检测与SIFT特征点匹配的播音员镜头自动检测算法.该方法首先利用人脸检测器过滤出具有人脸的候选镜头,然后利用颜色直方图判断镜头是否可能相似,再利用SIFT特征点匹配从候选镜头关键帧中找出相关的镜头组,最后利用各镜头组的信息判断出哪些是播音员镜头.对比传统的方法,该方法除了训练一个通用的人脸检测器外,不需要模板,也不需要针对某类新闻节目训练特别的分类器,可以直接利用算法对新类型的新闻节目提取播音员镜头.实验结果表明,该算法能够广泛地适应于各种不同种类的新闻节目、不同视觉质量的视频,可以有效地应用于新闻视频分析.     

Automatic Segmentation of News Items Based on Video and Audio Features

The automatic segmentation of news items is a key for implementing the automatic cataloging system of news video.This paper presents an approach which manages audio and video feature infomation to automatically segment news items.The integration of audio and visual analyses can overcome the weakness of the approach using only image analysis techniques.It makes the approach more adaptable to various situations of news items.The proposed approach detects silence segments in accompanying audio,and integrates them with shot segmentation results,as ewll as anchor shot detection results,to determine the boundaries among news items,Expeimental results show that the integration of audio and video features is an effective approach to solving the problem of automatic segmentation of news items.     

A Multi-Modal Approach to Story Segmentation for News Video

This research proposes a two-level, multi-modal framework to perform the segmentation and classification of news video into single-story semantic units. The video is analyzed at the shot and story unit (or scene) levels using a variety of features and techniques. At the shot level, we employ Decision Trees technique to classify the shots into one of 13 predefined categories or mid-level features. At the scene/story level, we perform the HMM (Hidden Markov Models) analysis to locate story boundaries. Our initial results indicate that we could achieve a high accuracy of over 95% for shot classification, and over 89% in F ₁ measure on scene/story boundary detection. Detailed analysis reveals that HMM is effective in identifying dominant features, which helps in locating story boundaries. Our eventual goal is to support the retrieval of news video at story unit level, together with associated texts retrieved from related news sites on the web.     

多信息融合的新闻节目主题划分方法

对新闻播报节目进行自动主题划分,可以有效地组织和利用新闻播报类数据。目前自动故事单元划分的研究以视频数据为主,音频的语音识别文本中包含丰富的语义信息,同时声音事件的转换也可以提供很多重要信息,能够有效的进行基于语义的主题划分。根据这些信息,该文提出了一种基于规则的多信息融合的方法,利用切分点邻域的音频类型信息来修正使用语义信息的切分结果,完成主题划分。实验表明根据规则进行特征融合后,新闻节目主题划分的F-估值为64.8%,错误概率Pk和WindowDiff分别达到18.3%和24.5%。     

一种多模态融合新闻视频条目分割算法

新闻视频条目分割是新闻视频检索和浏览中重要的底层支持技术,本文提出了一种融合主持人模板匹配和主题字幕帧检测的多模态新闻视频条目分割算法。先用基于主持人模板的算法进行第一次分割,再用基于改进的字幕检测方法进行第二次分割,最后将两次分割的结果融合并去除重复的分割点。实验证明,该算法对新闻视频条目分割具有较好的效果。     

一个基于内容的新闻视频浏览和查询系统:NewsBR

提出了一个基于内容的新闻视频浏览和查询系统NewsBR，这个系统是建立在非常准确的新闻故事分段和主题字幕文本提取之上的，它的主要特征包括：基于类别的新闻故事浏览，基于关键帧的视频摘要和基于关键词的新闻故事查询，本文详细讲述了新闻故事的分段，主题字幕文本的提取和在此之上的基于内容的视频浏览和查询，这个系统对于全面了解新闻视频的内容很有帮助且行之有效．     

基于多模式分析自动解析新闻视频

提出一种结合视觉、声音、文字等多种模式信息自动解析新闻视频的方法,并对音频特征的提取以及综合多种模式信息解析新闻视频的算法进行了详细的探讨.多种模式信息的使用有效地弥补了仅基于图像分析技术分割新闻条目的不足,从而使该方法对不同方式存在的新闻条目在分割时具有更广泛的适应性.在包含184100帧的测试数据集上,对于新闻条目边界点的检测,系统获得了95.1%查全率,93.3%的正确率.实验结果证明了该方法的有效性、强壮性.     

基于声像特征的场景检测 *

视频的结构分析是实现视频基于内容组织和检索的基础。目前 ,已经有很多用于视频镜头分割的成熟算法 ,但准确探测视频场景边界还比较困难。提出了一种融合视频中音频与可视特征进行场景检测的方法。该方法首先分别依据镜头的声、像特征相关性来对镜头进行聚类 ,然后综合处理依声、像相关性得到的镜头聚类来获取场景。实验结果证明 ,此方法较一般使用单一特征的场景检测方法提高了探测的准确率 ,同时也降低了误判率。