新闻视频结构化浏览与标注系统

阐述一种新颖的新闻视频结构化浏览和标注系统。应用基于时空切片分析的新闻主播检测方法和基于颜色直方图的镜头分割方法实现新闻视频的结构化。通过自动语音识别技术和特定语义概念模型的建立实现了对主播场景的文本信息标注和对新闻故事镜头的语义概念标注。该系统有利于用户根据个人爱好进行新闻视频的浏览和编辑,有效实现新闻视频的索引和浏览。     

一种基于多模态特征的新闻视频语义提取框架

为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行纠错,从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频(含新闻网页)库测试表明了该方法的有效性,经纠错后的语音识别准确率达到了65%左右。     

战略决策文本的语义分析研究

针对采用从战略决策提取关键字检索虚拟新闻视频准确率不高的问题,分析了战略决策文本的特点、构成模式,给出了语义分析过程中构建字典库的原则、自动分词的方法、成分分析的方法和语义树构建的方法,以及与虚拟新闻视频匹配的方法,并进行了实验。结果表明,借助语义树的方法对战略决策文本进行语义分析后能够提高虚拟新闻视频检索的准确率。     

融合多特征的新闻故事自动分割

新闻视频是由一系列的新闻故事构成的,准确地对新闻故事进行探测与分割将对新闻视频的自动检索与语义的理解产生重要作用。通过对新闻视频的结构特征进行分析,提出了融合静音、镜头切变、主持人特征和文本信息等多种特征的新闻故事探测与分割的方法。通过对不同的新闻视频进行实验,获得了平均95.2%的探测准确率。实验证明,提出的方法能够较好地解决新闻故事分割的任务。     

基于注意力机制的细粒度语义关联视频-文本跨模态实体分辨

随着移动网络、自媒体平台的迅速发展,大量的视频和文本信息不断涌现,这给视频-文本数据跨模态实体分辨带来了迫切的现实需求。为提高视频-文本跨模态实体分辨的性能,提出了一种基于注意力机制的细粒度语义关联视频-文本跨模态实体分辨模型(Fine-grained Semantic Association Video-Text Cross-Model Entity Resolution Model Based on Attention Mechanism, FSAAM)。对于视频中的每一帧,利用图像特征提取网络特征信息,并将其作为特征表示,然后通过全连接网络进行微调,将每一帧映射到共同空间;同时,利用词嵌入的方法对文本描述中的词进行向量化处理,通过双向递归神经网络将其映射到共同空间。在此基础上,提出了一种自适应细粒度视频-文本语义关联方法,该方法计算文本描述中的每个词与视频帧的相似度,利用注意力机制进行加权求和,得出视频帧与文本的语义相似度,并过滤与文本语义相似度较低的帧,提高了模型性能。FSAAM主要解决了文本描述的词与视频帧关联程度不同而导致视频-文本跨模态数据语义关联难以构建以及视频冗余帧的...     

基于灰度差分和二维最大熵阈值的新闻字幕检测*

针对新闻视频帧中文本区域的定位提取问题,提出了一种有效的字幕定位提取方法。通过灰度差分和变异灰度直方图对新闻视频帧字幕区域定位,再经改进的二维最大熵阈值方法对分割出的文字区域进行二值化,得到可识别的文字图片。最后对文本定位和OCR识别情况进行了算法对比。实验表明：与传统的投影法和最大熵方法相比,该方法可有效地提高文本定位的查全率和OCR的识别率。     

新闻视频故事单元关联分析技术研究综述

新闻视频故事单元关联分析是将新闻视频分割所得的故事单元按照报道的新闻事件所进行的一种特殊聚类.故事单元是新闻视频各层次结构中包含有新闻事件完整语义的结构单元,是对新闻视频进行分析、检索、组织等应用的最佳层次.对新闻视频故事单元关联分析技术进行了综述;按照方法所利用的信息类型将现有方法分成三类:基于文本相似度的方法、基于多模态信息相似度的方法和基于关键帧视觉重复性的方法;讨论了每种方法的特点并对相关技术的发展趋势进行了探讨.     

一个基于内容的新闻视频浏览和查询系统:NewsBR

提出了一个基于内容的新闻视频浏览和查询系统NewsBR，这个系统是建立在非常准确的新闻故事分段和主题字幕文本提取之上的，它的主要特征包括：基于类别的新闻故事浏览，基于关键帧的视频摘要和基于关键词的新闻故事查询，本文详细讲述了新闻故事的分段，主题字幕文本的提取和在此之上的基于内容的视频浏览和查询，这个系统对于全面了解新闻视频的内容很有帮助且行之有效．     

基于朴素贝叶斯模型的新闻故事分割方法

提出一种基于朴素贝叶斯模型的新闻视频故事分割方法。通过对新闻视频进行镜头检测,获得候选故事边界点,从候选边界点周围镜头提取多模态中级特征,形成属性集合作为输入,应用朴素贝叶斯模型对候选边界点进行分类后对结果进行后处理,得到新闻故事。实验结果表明,该方法获得了较高的查准率和查全率,对不同类型的新闻节目有良好的适应性。     

一种多模态信息融合的视频检索模型

针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询得到的多模态信息进行融合。实验表明,该模型能够充分发挥多模型视频检索及基于关系代数表达式的融合策略在复杂语义视频检索中的优势,得到较好的查询结果。     

Video OCR: indexing digital news libraries by recognition of superimposed captions

The automatic extraction and recognition of news captions and annotations can be of great help locating topics of interest in digital news video libraries. To achieve this goal, we present a technique, called Video OCR (Optical Character Reader), which detects, extracts, and reads text areas in digital video data. In this paper, we address problems, describe the method by which Video OCR operates, and suggest applications for its use in digital news archives. To solve two problems of character recognition for videos, low-resolution characters and extremely complex backgrounds, we apply an interpolation filter, multi-frame integration and character extraction filters. Character segmentation is performed by a recognition-based segmentation method, and intermediate character recognition results are used to improve the segmentation. We also include a method for locating text areas using text-like properties and the use of a language-based postprocessing technique to increase word recognition rates. The overall recognition results are satisfactory for use in news indexing. Performing Video OCR on news video and combining its results with other video understanding techniques will improve the overall understanding of the news video content.     

基于梯度增强的新闻字幕分割算法

新闻字幕的分割在基于语义的新闻视频检索系统中具有重要的意义,为此提出一种基于梯度增强的新闻字幕分割箅法.该算法使用图像多方向梯度的加权和代替图像的标准方差,通过各方向权值的调节加强某些方向的边缘信息,以提高分割效果.与一些经典的自适应阈值分割算法相比,该算法不仅能够保留大部分笔画,也能有效地减少断笔问题.基于光学文字识别的实验结果证明了文中算法的有效性.     

新闻发布系统简介

本模式是基于B/S的新闻发布系统,将影音、文字和图片等一些信息组织起来,功能就是起一个新闻媒介网络的作用,主要在新闻的分类、上传、审核、发布上实现了新闻发布的一般过程,可以通过不同的账号来分别实现这些功能.从此,新闻发布系统这样一个网络将会是个新的新闻媒体,起了一定的重要功能.     

基于形态学操作的新闻标题检测定位方法

新闻视频的标题是对新闻内容的重要释意,是新闻编辑和新闻检索的重要依据之一,文中提出了一种基于形态学操作的新闻视频标题检测定位方法,该方法在边缘图像预处理和滤波去噪的基础上进行有序的闭运算、开运算、腐蚀等多种形态学运算,最后采用象素密度分类方法有针对性地对视频帧下三分之一部分检测和定位标题区域,通过对央视、凤凰卫视、湖南卫视等具有代表性的新闻视频进行实验取得了较高的召回率和准确率,证明了该方法的优越性.     

基于文本及视音频多模态信息的新闻分割

提出了一种融合文本和视音频多模态特征的电视新闻自动分割方案。该方案充分考虑各种媒体特征的特点,先用矢量模型和GMM对文本进行预分割,用语谱图和HMM对语音预分割、用改进的直方图和SVM分类器对视频进行预分割。然后在时间同步的基础上,使用复合策略用ANN对预分割的数据进行融合,从而获得具有一定语义内容的视频段。实验结果表明此方法的有效性,并且分割后的视频片段具备较完整的语义信息特征,避免了分割的过度细碎的弊端。     

Exploiting information extraction techniques for automatic semantic video indexing with an application to Turkish news videos

This paper targets at the problem of automatic semantic indexing of news videos by presenting a video annotation and retrieval system which is able to perform automatic semantic annotation of news video archives and provide access to the archives via these annotations. The presented system relies on the video texts as the information source and exploits several information extraction techniques on these texts to arrive at representative semantic information regarding the underlying videos. These techniques include named entity recognition, person entity extraction, coreference resolution, and semantic event extraction. Apart from the information extraction components, the proposed system also encompasses modules for news story segmentation, text extraction, and video retrieval along with a news video database to make it a full-fledged system to be employed in practical settings. The proposed system is a generic one employing a wide range of techniques to automate the semantic video indexing process and to bridge the semantic gap between what can be automatically extracted from videos and what people perceive as the video semantics. Based on the proposed system, a novel automatic semantic annotation and retrieval system is built for Turkish and evaluated on a broadcast news video collection, providing evidence for its feasibility and convenience for news videos with a satisfactory overall performance.     

Public news announcements and quoting activity in the Euro/Dollar foreign exchange market

The effect of public news announcements on dealers’ quoting activity is analyzed with the multivariate double autoregressive conditional Poisson model. Quoting activity is measured by the frequency of price revisions in the Euro/Dollar foreign exchange market. The multivariate double autoregressive conditional Poisson model is designed for time series of count data. It is based on the double Poisson distribution, which can be both over- and underdispersed. The main findings are first a significant interaction between dealers’ quoting activity, which confirms hot potato trading. Second, news announcements have a different impact on the quoting activity of different banks. Third, impulse-response functions to news announcements show the dynamic nature of the reaction to these news releases.