基于语义的新闻视频检索研究

通过研究基于注释的视频检索和和基于内容的视频检索的优缺点以及认知学关于人对视频相似性的理解特征，对新一代基于语义的视频检索进行了探索。以视频数据的一个大类——新闻视频为研究对象，采用层次处理思想和综合利用新闻视频各组成媒质的内容特征及其所表达的丰富语义，设计实现了一个基于语义的新闻视频检索原型系统。实验表明该系统自动化程度高、语义客观、检索灵活。     

新闻视频的场景分段索引及摘要生成

在提出一种新闻视频检索系统结构的基础上，介绍了基于标题条检测的新闻场景分段索引方法，并阐述了两种新闻摘要的生成策略．该方法利用新闻节目标题条出现的时空位置线索，结合标题关键词的识别，建立起一个层次化的新闻视频索引结构，并帮助用户通过新闻摘要实现不同要求的视频浏览．实验证明该方法有较高的检索成功率，并且简单快捷，为新闻视频检索提供了新的有效途径．     

新闻视频中基于主持人识别的新闻故事探测

新闻视频由一个个内容相互独立的新闻故事组成。新闻故事探测是新闻视频浏览、基于内容检索等操作的前提。该文根据新闻视频的特殊结构和新闻节目主持人固定的特征，采用基于人脸检测的主持人镜头识别和基于语音的主持人识别来分割新闻视频中的新闻故事。实验表明，该方法能准确地探测出新闻视频中的新闻故事。     

基于内容的新闻视频故事分段和检索

首先定义了新闻视频数据库系统的基本结构，接着介绍了实际新闻视频事故分段和检索所运用的文字提取、语音识别等核心技术的基本思想。最后给出了典型的实验结果。     

视频结构挖掘的概念和框架

视频信息处理的关键是视频信息的结构化，视频除了有基本层次结构之外，还有隐藏其中的视频结构语法和结构语义。该文提出了一种视频结构挖掘的概念框架和视频结构挖掘的系统框架，在概念框架中对视频结构挖掘相关概念给出了明确定义和界定；视频结构挖掘框架主要包括：视频基本层次结构挖掘，视频结构语法挖掘和视频结构语义挖掘。讨论了视频结构模式和知识的具体应用，包括指导视频的组织与管理、实现基于内容的个性视频推荐和改善视频摘要系统。     

视频层次结构挖掘

视频处理的关键是视频信息的结构化,视频基本结构是由帧、镜头、场景和视频节目构成的层次结构。视频层次结构挖掘的一个简单框架是对视频进行镜头分割、抽取镜头特征和视频场景构造。论文在镜头分割的基础上提出了基于多特征的镜头聚类分析和基于镜头的场景边界检测两种视频场景构造方法,从而实现视频层次结构挖掘。实验表明,基于镜头的场景边界检测性能优于基于多特征的镜头聚类分析。     

一个基于内容的新闻视频浏览和查询系统:NewsBR

提出了一个基于内容的新闻视频浏览和查询系统NewsBR，这个系统是建立在非常准确的新闻故事分段和主题字幕文本提取之上的，它的主要特征包括：基于类别的新闻故事浏览，基于关键帧的视频摘要和基于关键词的新闻故事查询，本文详细讲述了新闻故事的分段，主题字幕文本的提取和在此之上的基于内容的视频浏览和查询，这个系统对于全面了解新闻视频的内容很有帮助且行之有效．     

基于关键帧的视频摘要研究

提出基于Directshow组件结构实时提取各类音视频特征的方法,并综合利用这些特征,通过对常用的视频关键帧提取算法进行分析比较,提出了基于FCNN模型的自适应关键帧提取方法,该方法可以适应于各种视频类型。以关键帧为基础,提出利用插值算法建立视频摘要的方法。最后以新闻视频为例,给出了基于内容的新闻视频摘要系统（KBVA-1）。     

基于全图象的视频分段方法研究

视频分段技术是未来信息高速公路上基于内容视频检索服务的基本和关键技术。介绍了目前几类视频分段方法的基本思想，并主要讨论了基于全图象的视频突变和渐变分段方法。     

视频语义上下文标签树及其结构化分析

视频内容具有非常强的时间关联和逻辑结构,镜头语义是视频内容理解的基本单元。 从符合人类认识理解视频内容的角度来看,镜头语义之间隐含着时间上、语义上、结构上的多种 上下文关联信息。合理地描述这种上下文信息至关重要。为此,首先采用一棵带有上下文标签的 标签树作为镜头语义上下文层次结构的表征模型,以序列化的镜头语义序列为底层叶节点,以内 节点的上下文标签表征镜头语义间的上下文关联,其树形结构与视频内容层次化表征形式一致, 能为视频内容理解提供显著的信息增益。然后,着眼于解决镜头语义从其序列结构向标签树的层 次结构转化,采用结构化支持向量机的分析方法,根据镜头语义序列和视频语义上下文标签树的 联合特性构造了语义上下文结构化函数和损失函数,实现了镜头语义的结构化分析。实验结果表 明,视频语义上下文标签树在时序性、层次性、领域性、逻辑性等方面具有良好的表征能力,而 基于结构化支持向量机的结构化分析方法在镜头语义上下文分析的准确率、召回率及F1 值表现 良好。     

新闻视频故事单元关联分析技术研究综述

新闻视频故事单元关联分析是将新闻视频分割所得的故事单元按照报道的新闻事件所进行的一种特殊聚类.故事单元是新闻视频各层次结构中包含有新闻事件完整语义的结构单元,是对新闻视频进行分析、检索、组织等应用的最佳层次.对新闻视频故事单元关联分析技术进行了综述;按照方法所利用的信息类型将现有方法分成三类:基于文本相似度的方法、基于多模态信息相似度的方法和基于关键帧视觉重复性的方法;讨论了每种方法的特点并对相关技术的发展趋势进行了探讨.     

一种用于MAM的语义可扩展视频编目与检索方法

针对媒体资产管理系统(media assetmanagement,MAM)对视频检索有着精确定位的特殊要求,提出了一种新的编目与检索方法,该方法结合了基于内容检索和基于手工检索的优点。首先采用主元分析(PCA)的方法对视频图像帧的高维特征进行降维,实现镜头自动分割,并对大量存在的新闻相似镜头进行语义自动标注,然后实现视频编目语义的动态更新与扩展。实验结果表明该方法有效、可行,大大提高了编目工作的效率以及编目语义的质量。     

基于语义人脸的视频新闻标注

视频和图像中的人脸蕴涵了丰富的语义信息，可以使用人脸对视频内容进行分析与标注，尤其是视频新闻节日。而要达到这样的目的，就必须先将对视频新闻具有语义价值的人脸从视频流中检测出来。本文提出基于语义人脸捡测的视频新闻语义聚类与标注算法：在这个算法中，首先使用肤色模型检测人脸可能出现区域，然后提取人脸可能区域的独立成分特征，用训练好的支持向量机检测出所有人脸，套用语义人脸模板过滤出最终的语义人脸集合，最后通过高斯混合聚类，将视频新闻标注为主持人镜头、访谈类新闻镜头和其他新闻故事镜头三类。实验表明，该算法在视频新闻结构化中可以得到较好的应用。     

基于MWH模型的新闻视频语义挖掘

根据新闻视频伴随文本及关键帧图像多模异构特征,构建多翼Harmoniums模型,该模型包括多元文本泊松分布和多元颜色直方图高斯分布2个子模型。通过研究隐含主题与观测输入之间的双向依存关系,将其扩展为双层随机场模型,从而对新闻视频进行语义挖掘。在CCTV新闻视频集上进行测试,实验结果验证了该模型的有效性。     

基于潜在语义分析的视频检索

潜在语义分析技术是建立在视频分析基础之上的，它通过某种映射关系来建立视频特征矩阵，实现了基于内容的视频检索。阐述了潜在语义分析技术，进行了视频颜色和纹理特征提取研究，实验结果表明，潜在语义分析对于视频内容检索效果较好。     

一种多模态融合新闻视频条目分割算法

新闻视频条目分割是新闻视频检索和浏览中重要的底层支持技术,本文提出了一种融合主持人模板匹配和主题字幕帧检测的多模态新闻视频条目分割算法。先用基于主持人模板的算法进行第一次分割,再用基于改进的字幕检测方法进行第二次分割,最后将两次分割的结果融合并去除重复的分割点。实验证明,该算法对新闻视频条目分割具有较好的效果。     

基于视音频特征和文本信息的新闻视频自动场景分割

提出了一种基于视音频特征和文本信息的新的场景自动分割技术.其基本思想是先探测新闻视频的镜头边界,再用文本检测方法识别主题字幕帧以得到分割信息.用短时能量和短时平均零交叉率参数探测静音分片.将视音频特征和文本信息相结合以实现自动场景分割.实验使用135 400帧的测试数据达到了85.8%的准确率和97 5%的重现率.实验结果表明此方法是有效的、稳健的.     

基于领域本体的新闻视频检索

新闻视频作为视频数据中有代表性的一种媒体,受到人们的广泛关注,对新闻视频的检索要求也越来越高.传统的新闻视频检索大多是非语义层面的,采用的是基于关键词的检索方法，难于获得令人满意的查准率和查全率．本文提出一种基于领域本体的新闻视频检索框架，定义了新闻视频检索中的新闻视频对象，使用语义表达能力强的领域本体来指导视频语义对象的标注，并针对“一词多义”问题提出了“概念域-概念”两阶段概念消歧算法；针对自然语言检索问题，使用领域本体进行查询优化和查询扩展，并提出了查询语句自动生成方法．实验表明，基于领域本体的新闻视频检索方法可以有效的提高检索性能．     

新闻视频挖掘技术研究

新闻视频挖掘是一个新兴的研究领域，也是多媒体数据挖掘的典型代表。本文对新闻视频挖掘技术进行了全面深入的讨论，首先从概念上对新闻视频挖掘进行了界定，提出了新闻视频挖掘的层次框架和技术框架，指出新闻视频挖掘包括低层视频挖掘和高层视频挖掘两个层次。其中，低层视频挖掘是利用数据挖掘的方法对视频内容进行分析的过程，而高层数据挖掘则是在低层挖掘的基础上进一步发现视频中的知识的过程。新闻视频挖掘的技术框架则对挖掘所涉及到的具体技术进行了分析。最后，对新闻视频挖掘中的结构挖掘、语义内容挖掘、视频摘要、趋势挖掘、关联挖掘等任务进行了详细的阐述，并对各种任务举出了具体的示例加以说明。