基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

新闻视频故事单元分割技术综述

新闻视频的故事单元分割一般采用统计学或者信息论的方法,将新闻节目分割成一系列有各自主题内容的故事单元。这些单元反映的是视频流的高层语义,是建立视频索引的最佳层次。该文对这一技术进行了综述,将现有方法根据利用信息的角度分为3类:单模态的分割方法、多模态融合的分割方法和基于上下文信息的分割方法,并且详细讨论了每一类方法的特点。此外,还分析了一些分割错误的原因和今后的发展趋势。     

基于播音员识别的新闻视频故事分割方法

新闻视频的语义单元分割是基于内容的新闻视频检索和情报挖掘的重要步骤,受到众多研究者的关注。提出了一种基于播音员识别的新闻视频故事单分割的新方法,首先从新闻节目中提取各播音员的声学感知特征的作为其声纹,训练出其相应的混合高斯模型(GMM),并采用KL差异法从视频镜头中探测出各播音员和非播音员音频镜头,最后结合视频字幕帧事件和新闻节目特殊的结构知识对新闻节目进行故事单元分割。在2个多小时的CCTV和CNN新闻视频实验中获得96.02%查准率和92.58%的查全率。     

融合多特征的新闻故事探测

探测出新闻故事的边界,将对新闻视频的结构化分析以及新闻视频的语义理解产生积极的作用.通过对新闻视频的结构进行分析,提出了一种融合镜头、播音员、标题字幕、静音等多种特征的新闻故事探测方法.该方法避免了依赖单特征探测新闻故事边界的不足,实验证明,该方法可以获得平均96%的故事边界探准率,能够较好地完成新闻故事边界探测的任务.     

新闻视频故事单元关联分析技术研究综述

新闻视频故事单元关联分析是将新闻视频分割所得的故事单元按照报道的新闻事件所进行的一种特殊聚类.故事单元是新闻视频各层次结构中包含有新闻事件完整语义的结构单元,是对新闻视频进行分析、检索、组织等应用的最佳层次.对新闻视频故事单元关联分析技术进行了综述;按照方法所利用的信息类型将现有方法分成三类:基于文本相似度的方法、基于多模态信息相似度的方法和基于关键帧视觉重复性的方法;讨论了每种方法的特点并对相关技术的发展趋势进行了探讨.     

多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.     

新闻视频相似关键帧识别与故事单元关联分析研究

实现数据库中全部故事单元的相似度分析所面临的复杂性问题相当突出。提出了一种有效的方法来克服这些问题。首先,对限制相似关键帧识别速度的因素进行了研究,通过构建关联分析子数据库和精简局部关键点数量来提高分析速度。然后研究了层次化过滤方法,以提高相似关键帧识别效率。进一步研究了通过相似关键帧判断故事单元的直接关联关系和利用关联关系的传递性获得故事单元之间的间接关联关系的故事单元关联分析方法。最后,研究提出了利用相似关键帧信息的故事单元相似度计算方法。实验结果显示,该方法显著提高了匹配与关联分析的速度,并且具有较     

新闻视频中基于主持人识别的新闻故事探测

新闻视频由一个个内容相互独立的新闻故事组成。新闻故事探测是新闻视频浏览、基于内容检索等操作的前提。该文根据新闻视频的特殊结构和新闻节目主持人固定的特征，采用基于人脸检测的主持人镜头识别和基于语音的主持人识别来分割新闻视频中的新闻故事。实验表明，该方法能准确地探测出新闻视频中的新闻故事。     

基于视音频特征和文本信息的新闻视频自动场景分割

提出了一种基于视音频特征和文本信息的新的场景自动分割技术.其基本思想是先探测新闻视频的镜头边界,再用文本检测方法识别主题字幕帧以得到分割信息.用短时能量和短时平均零交叉率参数探测静音分片.将视音频特征和文本信息相结合以实现自动场景分割.实验使用135 400帧的测试数据达到了85.8%的准确率和97 5%的重现率.实验结果表明此方法是有效的、稳健的.     

基于音视频特征的新闻条目自动分割

1.引言目前对视频文档结构化分析的大多数研究都集中在对视频帧中包含的视觉信息的分析基础上。为了有效组织、检索视频数据库中的文档,视频文档被分割成有语义意义的单元,如场景,此外作为对场景细节的勾画,组成场景的各镜头被探测出来,并从中选择出合适的关键帧进行索引。音频作为视频文档中包含的另外一种类型时间媒体,是一种可为视觉信息提供重要补充的信息源,从中可获得一些通过视觉无法获得的信息。如在CCTV新     

基于非局部关注和多重特征融合的视频行人重识别

现有视频行人重识别方法无法有效地提取视频连续帧之间的时空信息,因此提出一种基于非局部关注和多重特征融合的行人重识别网络来提取全局与局部表征特征和时序信息。首先嵌入非局部关注模块来提取全局特征;然后通过提取网络的低中层特征和局部特征实现多重特征融合,从而获得行人的显著特征;最后将行人特征进行相似性度量并排序,计算出视频行人重识别的精度。在大数据集MARS和DukeMTMC-VideoReID上进行实现,结果显示所提出的模型较现有的多尺度三维卷积（M3D）和学习片段相似度聚合（LCSA）模型的性能均有明显提升,平均精度均值（mAP）分别达到了81.4%和93.4%,Rank-1分别达到了88.7%和95.3%;同时在小数据集PRID2011上,所提模型的Rank-1也达到94.8%。     

基于主色特征识别的新闻视频口播帧

基于主色特征识别的新闻视频口播帧是一种全新的口播帧识别方法,该方法首先提取口播帧的主色模板,然后利用该模板对新闻视频的帧序列进行匹配,并由计算机自动对口 播帧进行检测和标识。该检测方法与现有的检测方法相比,具有设计简单、计算量小、检测速度快的特点,可以完全做到实时检测。     

自适应的新闻视频播音员镜头探测方法

提出一种基于聚类算法的新闻视频播音员镜头探测方法。该方法利用人脸探测得到的人脸属性进行聚类,在此基础上利用人物及人物边缘背景区域的颜色特征在聚类的结果中进行聚类分析,确定播音员镜头候选类型。通过背景边缘的颜色相似度分析对播音员镜头候选类型进行完善得到最终的播音员镜头类型。实验证明该方法通用性和效率都比较好。     

利用主色模板匹配检测新闻视频口播帧

检测新闻主持人口播帧是定位和分割新闻单元的有效途径,利用主色模板匹配检测口播帧的方法首先提取口播帧的主色模板,然后利用该模板对新闻视频的帧序列进行匹配,并由计算机自动对口播帧进行检测和标识,该检测方法与现有的检测方法相比,具有设计简单、计算量小、速度快的特点,并通过实验证明其具有较高的检出率和准确率．     

基于多特征融合的深度视频自然语言描述方法

针对计算机对视频进行自动标注和描述准确率不高的问题,提出一种基于多特征融合的深度视频自然语言描述的方法。该方法提取视频帧序列的空间特征、运动特征、视频特征,进行特征的融合,使用融合的特征训练基于长短期记忆（LSTM）的自然语言描述模型。通过不同的特征组合训练多个自然语言描述模型,在测试时再进行后期融合,即先选择一个模型获取当前输入的多个可能的输出,再使用其他模型计算当前输出的概率,对这些输出的概率进行加权求和,取概率最高的作为输出。此方法中的特征融合的方法包括前期融合：特征的拼接、不同特征对齐加权求和;后期融合：不同特征模型输出的概率的加权融合,使用前期融合的特征对已生成的LSTM模型进行微调。在标准测试集MSVD上进行实验,结果表明：融合不同类型的特征方法能够获得更高评测分值的提升;相同类型的特征融合的评测结果不会高于单个特征的分值;使用特征对预训练好的模型进行微调的方法效果较差。其中使用前期融合与后期融合相结合的方法生成的视频自然语言描述得到的METEOR评测分值为0.302,比目前查到的最高值高1.34%,表明该方法可以提升视频自动描述的准确性。     

基于多特征的视频对象分割方法研究

目前从视频图像中分割出完整的运动对象仍缺少可用于一般性场合的算法.将视频图像的方向信息测度、颜色和运动信息相结合的视频对象分割算法可以解决这一问题.通过对序列图像中的连续帧进行帧差计算,利用方向信息测度和相似区域判定函数来找到特征相同的区域,并判断相邻子区域是否应该合并,然后再结合序列图像中的运动区域来提取运动对象.同时采用多分辨率分析来提高运算速度.最后,利用彩色图像边界序列图像检测方法来得到准确的区域边界.