一种多模态融合新闻视频条目分割算法

新闻视频条目分割是新闻视频检索和浏览中重要的底层支持技术,本文提出了一种融合主持人模板匹配和主题字幕帧检测的多模态新闻视频条目分割算法。先用基于主持人模板的算法进行第一次分割,再用基于改进的字幕检测方法进行第二次分割,最后将两次分割的结果融合并去除重复的分割点。实验证明,该算法对新闻视频条目分割具有较好的效果。     

融合多特征的新闻故事自动分割

新闻视频是由一系列的新闻故事构成的,准确地对新闻故事进行探测与分割将对新闻视频的自动检索与语义的理解产生重要作用。通过对新闻视频的结构特征进行分析,提出了融合静音、镜头切变、主持人特征和文本信息等多种特征的新闻故事探测与分割的方法。通过对不同的新闻视频进行实验,获得了平均95.2%的探测准确率。实验证明,提出的方法能够较好地解决新闻故事分割的任务。     

一种在MPEG压缩流上检测播音员镜头的快速算法

1.引言为了在视频或多媒体数据库中对视频信息进行有效的索引、浏览、检索,需要建立各种自动化工具对视频节目源进行结构、语义的分析,提取出刻画视频节目源内容的可供索引的特征。限于目前计算机视觉及音频信号分析技术的现状,从一般的视频节目中自动抽取语义信息还无法实现,但我们可以利用一定的先验知识模型建造特定类型视频节目的自动解析工具。电视新闻节目便是一类具有很强先验时间结构模型的视频节目。一些研究者针对不同电视广播电台的新闻节目进行了视频分析技术的研究,如文。它们对新闻项的分割均涉及对播音员镜头的检测,因为播音员镜头的检测对于实现新闻项的分割起到非常重要的作用,通常它标志着一段新闻条目的开始及(或)结束。文首先利用工具生成新闻节目记录文字形式,然后寻找一些固定的语言模式,如“我是(播音员姓名)”等,并结     

基于语义信息提取的新闻视频场景分割方法

随着数字视频的广泛应用,视频数据库系统已成为多媒体领域的一个研究热点。在建立视频数据库的过程中,视频场景的分割是一个重要而又难以解决的问题。文章从分析新闻视频场景所特有的结构特征入手,提出了一种基于语义信息提取的新闻视频场景分割新方法,该方法通过对音频流和视频流中的镜头变换、主持人镜头、主题字幕和静音区间等语义信息的提取和分析来实现新闻视频场景的分割。实验表明,采用该文提出的方法,场景分割正确率可达86.9%,较好地解决了新闻视频场景分割问题。     

新的基于综合特征的新闻事件分割方法

提出了一种基于新闻视频中的标题字幕信息和音视频特征对新闻事件进行分割的方法,并实现了一个新闻事件分割、浏览和检索的原型系统。提出的方法综合利用新闻视频中的标题检测、主持人画面检测以及静音片段和语者切换检测技术分割整段新闻中的新闻事件。实验结果表明,该方法较仅利用标题的新闻事件分割方法在分割准确性上有了显著提高。     

多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.     

基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

新闻视频故事单元关联分析技术研究综述

新闻视频故事单元关联分析是将新闻视频分割所得的故事单元按照报道的新闻事件所进行的一种特殊聚类.故事单元是新闻视频各层次结构中包含有新闻事件完整语义的结构单元,是对新闻视频进行分析、检索、组织等应用的最佳层次.对新闻视频故事单元关联分析技术进行了综述;按照方法所利用的信息类型将现有方法分成三类:基于文本相似度的方法、基于多模态信息相似度的方法和基于关键帧视觉重复性的方法;讨论了每种方法的特点并对相关技术的发展趋势进行了探讨.     

融合多特征的新闻故事探测

探测出新闻故事的边界,将对新闻视频的结构化分析以及新闻视频的语义理解产生积极的作用.通过对新闻视频的结构进行分析,提出了一种融合镜头、播音员、标题字幕、静音等多种特征的新闻故事探测方法.该方法避免了依赖单特征探测新闻故事边界的不足,实验证明,该方法可以获得平均96%的故事边界探准率,能够较好地完成新闻故事边界探测的任务.     

基于视音频特征和文本信息的新闻视频自动场景分割

提出了一种基于视音频特征和文本信息的新的场景自动分割技术.其基本思想是先探测新闻视频的镜头边界,再用文本检测方法识别主题字幕帧以得到分割信息.用短时能量和短时平均零交叉率参数探测静音分片.将视音频特征和文本信息相结合以实现自动场景分割.实验使用135 400帧的测试数据达到了85.8%的准确率和97 5%的重现率.实验结果表明此方法是有效的、稳健的.     

Automatic Segmentation of News Items Based on Video and Audio Features

The automatic segmentation of news items is a key for implementing the automatic cataloging system of news video.This paper presents an approach which manages audio and video feature infomation to automatically segment news items.The integration of audio and visual analyses can overcome the weakness of the approach using only image analysis techniques.It makes the approach more adaptable to various situations of news items.The proposed approach detects silence segments in accompanying audio,and integrates them with shot segmentation results,as ewll as anchor shot detection results,to determine the boundaries among news items,Expeimental results show that the integration of audio and video features is an effective approach to solving the problem of automatic segmentation of news items.     

Design of multimodal dissimilarity spaces for retrieval of video documents

This paper proposes a novel representation space for multimodal information, enabling fast and efficient retrieval of video data. We suggest describing the documents not directly by selected multimodal features (audio, visual or text), but rather by considering cross-document similarities relatively to their multimodal characteristics. This idea leads us to propose a particular form of dissimilarity space that is adapted to the asymmetric classification problem, and in turn to the query-by-example and relevance feedback paradigm, widely used in information retrieval. Based on the proposed dissimilarity space, we then define various strategies to fuse modalities through a kernel-based learning approach. The problem of automatic kernel setting to adapt the learning process to the queries is also discussed. The properties of our strategies are studied and validated on artificial data. In a second phase, a large annotated video corpus, (ie TRECVID-05), indexed by visual, audio and text features is considered to evaluate the overall performance of the dissimilarity space and fusion strategies. The obtained results confirm the validity of the proposed approach for the representation and retrieval of multimodal information in a real-time framework.     

多信息融合的新闻节目主题划分方法

对新闻播报节目进行自动主题划分,可以有效地组织和利用新闻播报类数据。目前自动故事单元划分的研究以视频数据为主,音频的语音识别文本中包含丰富的语义信息,同时声音事件的转换也可以提供很多重要信息,能够有效的进行基于语义的主题划分。根据这些信息,该文提出了一种基于规则的多信息融合的方法,利用切分点邻域的音频类型信息来修正使用语义信息的切分结果,完成主题划分。实验表明根据规则进行特征融合后,新闻节目主题划分的F-估值为64.8%,错误概率Pk和WindowDiff分别达到18.3%和24.5%。     

基于多模态融合的城市道路场景视频描述模型研究

城市道路视频描述存在仅考虑视觉信息而忽视了同样重要的音频信息的问题,多模态融合算法是解决此问题的方案之一。针对现有基于Transformer的多模态融合算法都存在着模态之间融合性能低、计算复杂度高的问题,为了提高多模态信息之间的交互性,提出了一种新的基于Transformer的视频描述模型多模态注意力瓶颈视频描述（multimodal attention bottleneck for video captioning,MABVC）。首先使用预训练好的I3D和VGGish网络提取视频的视觉和音频特征并将提取好的特征输入到Transformer模型当中,然后解码器部分分别训练两个模态的信息再进行多模态的融合,最后将解码器输出的结果经过处理生成人们可以理解的文本描述。在通用数据集MSR-VTT、MSVD和自建数据集BUUISE上进行对比实验,通过评价指标对模型进行验证。实验结果表明,基于多模态注意力融合的视频描述模型在各个指标上都有明显提升。该模型在交通场景数据集上依旧能够取得良好的效果,在智能驾驶行业具有很大的应用前景。     

基于播音员识别的新闻视频故事分割方法

新闻视频的语义单元分割是基于内容的新闻视频检索和情报挖掘的重要步骤,受到众多研究者的关注。提出了一种基于播音员识别的新闻视频故事单分割的新方法,首先从新闻节目中提取各播音员的声学感知特征的作为其声纹,训练出其相应的混合高斯模型(GMM),并采用KL差异法从视频镜头中探测出各播音员和非播音员音频镜头,最后结合视频字幕帧事件和新闻节目特殊的结构知识对新闻节目进行故事单元分割。在2个多小时的CCTV和CNN新闻视频实验中获得96.02%查准率和92.58%的查全率。     

一种基于多模态感知的双声道音频生成方法

现有多数视频只包含单声道音频,缺乏双声道音频所带来的立体感。针对这一问题,本文提出了一种基于多模态感知的双声道音频生成方法,其在分析视频中视觉信息的基础上,将视频的空间信息与音频内容融合,自动为原始单声道音频添加空间化特征,生成更接近真实听觉体验的双声道音频。我们首先采用一种改进的音频视频融合分析网络,以编码器-解码器的结构,对单声道视频进行编码,接着对视频特征和音频特征进行多尺度融合,并对视频及音频信息进行协同分析,使得双声道音频拥有了原始单声道音频所没有的空间信息,最终生成得到视频对应的双声道音频。在公开数据集上的实验结果表明,本方法取得了优于现有模型的双声道音频生成效果,在STFT距离以及ENV距离两项指标上均取得提升。     

Fusing audio vocabulary with visual features for pornographic video detection

Pornographic video detection based on multimodal fusion is an effective approach for filtering pornography. However, existing methods lack accurate representation of audio semantics and pay little attention to the characteristics of pornographic audios. In this paper, we propose a novel framework of fusing audio vocabulary with visual features for pornographic video detection. The novelty of our approach lies in three aspects: an audio semantics representation method based on an energy envelope unit (EEU) and bag-of-words (BoW), a periodicity-based audio segmentation algorithm, and a periodicity-based video decision algorithm. The first one, named the EEU+BoW representation method, is proposed to describe the audio semantics via an audio vocabulary. The audio vocabulary is constructed by k-means clustering of EEUs. The latter two aspects echo with each other to make full use of the periodicities in pornographic audios. Using the periodicity-based audio segmentation algorithm, audio streams are divided into EEU sequences. After these EEUs are classified, videos are judged to be pornographic or not by the periodicity-based video decision algorithm. Before fusion, two support vector machines are respectively applied for the audio-vocabulary-based and visual-features-based methods. To fuse their results, a keyframe is selected from each EEU in terms of the beginning and ending positions, and then an integrated weighted scheme and a periodicity-based video decision algorithm are adopted to yield final detection results. Experimental results show that our approach outperforms the traditional one which is only based on visual features, and achieves satisfactory performance. The true positive rate achieves 94.44% while the false positive rate is 9.76%.