多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.     

基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

新闻视频中基于主持人识别的新闻故事探测

新闻视频由一个个内容相互独立的新闻故事组成。新闻故事探测是新闻视频浏览、基于内容检索等操作的前提。该文根据新闻视频的特殊结构和新闻节目主持人固定的特征，采用基于人脸检测的主持人镜头识别和基于语音的主持人识别来分割新闻视频中的新闻故事。实验表明，该方法能准确地探测出新闻视频中的新闻故事。     

融合多特征的新闻故事自动分割

新闻视频是由一系列的新闻故事构成的,准确地对新闻故事进行探测与分割将对新闻视频的自动检索与语义的理解产生重要作用。通过对新闻视频的结构特征进行分析,提出了融合静音、镜头切变、主持人特征和文本信息等多种特征的新闻故事探测与分割的方法。通过对不同的新闻视频进行实验,获得了平均95.2%的探测准确率。实验证明,提出的方法能够较好地解决新闻故事分割的任务。     

基于播音员识别的新闻视频故事分割方法

新闻视频的语义单元分割是基于内容的新闻视频检索和情报挖掘的重要步骤,受到众多研究者的关注。提出了一种基于播音员识别的新闻视频故事单分割的新方法,首先从新闻节目中提取各播音员的声学感知特征的作为其声纹,训练出其相应的混合高斯模型(GMM),并采用KL差异法从视频镜头中探测出各播音员和非播音员音频镜头,最后结合视频字幕帧事件和新闻节目特殊的结构知识对新闻节目进行故事单元分割。在2个多小时的CCTV和CNN新闻视频实验中获得96.02%查准率和92.58%的查全率。     

自适应的新闻视频播音员镜头探测方法

提出一种基于聚类算法的新闻视频播音员镜头探测方法。该方法利用人脸探测得到的人脸属性进行聚类,在此基础上利用人物及人物边缘背景区域的颜色特征在聚类的结果中进行聚类分析,确定播音员镜头候选类型。通过背景边缘的颜色相似度分析对播音员镜头候选类型进行完善得到最终的播音员镜头类型。实验证明该方法通用性和效率都比较好。     

新闻视频中非新闻段的去除

新闻视频研究与服务要求每天从各种电视台采集大量的新闻节目.为了节省存储空间和方便分析,要先去除新闻视频中的非新闻段(商业广告、频道/节目标识等).本文采用探测视频流中重复镜头的方法来进行此项工作.首先将新闻视频分割为镜头,再对镜头进行聚类,选择出候选的非新闻镜头聚类,然后对候选镜头进行相同镜头匹配,匹配成功的镜头即为重复的非新闻镜头.相比为其他类似问题的研究(主要是探测商业广告),该方法计算量小,不需要先验假定条件,而且实验结果令人满意.     

新闻视频帧中的字幕探测

提出了一种新闻视频中的字幕探测方法，该方法主要针对新闻视频中的编辑字幕(如标题字幕)进行探测，包括灰度变换、边缘检测、字幕区域探测、字幕区域合并与过滤以及二值化等步骤。该算法具有简单、高效，对阈值的设定不敏感等特点，对大多数新闻视频中的字幕都具有较好的效果。     

基于朴素贝叶斯模型的新闻故事分割方法

提出一种基于朴素贝叶斯模型的新闻视频故事分割方法。通过对新闻视频进行镜头检测,获得候选故事边界点,从候选边界点周围镜头提取多模态中级特征,形成属性集合作为输入,应用朴素贝叶斯模型对候选边界点进行分类后对结果进行后处理,得到新闻故事。实验结果表明,该方法获得了较高的查准率和查全率,对不同类型的新闻节目有良好的适应性。     

视频内容分析技术

概述了基于内容的视频检索的方法和工作过程,研究的重点是突变镜头探测(基于像素的方法、模板匹配法、基于直方图的方法、基于视频特征的方法),渐变镜头探测(双重比较法、基于模型的方法、基于压缩域的方法),关键帧提取的关键技术(基于颜色特征的方法,基于镜头边界的方法、基于镜头的方法、基于运动分析的方法等),在综合分析了各类方法的工作机理和优缺点的基础上,提出了一个优化的视频内容分析检索框架.     

基于动态共现的中文话题关联检测

话题关联检测是话题检测与跟踪的一项子任务,是判断随机抽取的两篇新闻报道是否讨论同一个话题的技术。受词语共现模型的启发,结合话题关联检测的特点,提出了词语间的动态同现关系,实现了基于动态共现关系的报道相似度计算方法;探讨了相似度计算方法在中文话题关联检测中的应用。通过实验可知,动态共现关系可以在一定程度上反映报道的语义信息,相似度计算方法很好地改善了中文话题关联检测系统的性能,取得了不错的效果。     

一种多模态融合新闻视频条目分割算法

新闻视频条目分割是新闻视频检索和浏览中重要的底层支持技术,本文提出了一种融合主持人模板匹配和主题字幕帧检测的多模态新闻视频条目分割算法。先用基于主持人模板的算法进行第一次分割,再用基于改进的字幕检测方法进行第二次分割,最后将两次分割的结果融合并去除重复的分割点。实验证明,该算法对新闻视频条目分割具有较好的效果。     

基于话题要素相似度计算的报道关系识别方法

报道关系识别是话题识别与跟踪TDT（Topic Detection and Tracking）研究内容中的基本任务之一,根据新闻话题的几大要素：时间、地点、人物、内容等,提出了一种基于话题要素的话题报道表示模型,并给出了基于话题要素相似度计算的报道关系识别方法。实验证明这种方法特别适用于同主题下不同话题的报道关系识别。     

基于多向量和实体模糊匹配的话题关联识别

本文在对新闻报道理论分析及实验验证的基础上,提出一种多向量表示模型,使其在尽量不丢失信息的情况下,对特征集合尽可能细地划分。基于该模型,本文设计了一种模糊匹配的方法用于计算命名实体子向量之间的关联度,它们和多个向量相似度一起用支持向量机进行整合,形成报道模型间的相似度。本文选用TDT4中文语料作为测试语料,将上述模型及模糊匹配技术用于话题关联识别。实验表明,多向量模型能够改进话题关联识别的性能,模糊匹配技术也在一定程度上弥补了精确匹配带来的性能损失。     

新闻视频中广告片段精确定位方法研究

由于广告节目制作风格的多样性,新闻视频中广告片段的检测和定位是一个非常具有挑战性的问题。提出了一种新闻视频中广告片段定位的新方法。首先针对镜头切换和非镜头切换数目不平衡问题,设计了一种新的分类方法进行镜头检测,然后利用聚类分析粗略地标识广告块,最后通过分析相邻镜头的平均持续时间和镜头关键帧的视觉特征准确定位广告边界。实验结果表明,该方法具有较高的定位精度。     

一种基于动态进化模型的事件探测和追踪算法

在大量分析网络新闻特点的基础上，借鉴Single-Pass聚类思想，并结合新闻要素给出了一种基于动态进化模型的事件探测和追踪算法．该动态模型是基于新闻事件的生存特点提出的，包括：基于时间距离的相似度计算模型、事件模板进化策略以及动态阈值设置思想．该算法可以自动对新闻资料进行组织生成新闻专题，进而为用户提供个性化服务．实验结果验证了算法的有效性．     

基于子话题分治匹配的新事件检测

新事件检测是话题检测与跟踪领域的一项重要研究,其任务是实时监控新闻报道流并从中识别新话题.现有方法将话题和报道描述为单一结构的特征向量进行匹配,造成子话题间互为噪声并形成错误语义,从而误导新话题的识别.针对这一缺陷,文中提出基于子话题分治匹配的新事件检测方法,将话题和报道划分为不同子话题,根据相关子话题的比例关系和分布关系建立新话题识别模型.实验在TDT4和TDT5中获得显著改进,最小检测错误代价为0.4061,相应漏检率为0.1859.     

基于命名实体敏感的分层新闻故事线生成方法

社会网络中海量、无序且碎片化的新闻数据,使得人们无法从细粒度感知新闻事件,更无法多视角把握事件发展脉络。为了解决这个问题,该文提出基于命名实体敏感的分层新闻故事线生成方法,在无监督的情况下,充分利用新闻信息构造层次化、多视点的事件脉络。该方法主要通过以下3个步骤实现:(1)基于事件主题信息与隐式语义信息相结合的方法检测事件;(2)基于多维语义信息的社区检测算法划分主题事件的子事件;(3)基于多视点信息构造事件发展的脉络。在真实数据集上的实验结果表明,该方法在三个步骤比基线方法均有提高,其中在构造事件发展脉络阶段,该方法在理解性、概括性和准确性指标上分别高出0.44、0.11和0.50。