一种基于多模态特征的新闻视频语义提取框架

为提高视频语义信息提取准确率,提出了一种基于多模态特征的新闻视频语义提取框架。在视频中提取主题字幕信息,对音频进行分类和语音识别,根据主题字幕信息借助搜索引擎得到与新闻视频相关的网页;最后利用网页文本对语音识别的结果进行纠错,从而通过视频字幕信息和语音脚本的跨模态融合提高视频语义提取的准确率。在中等规模的新闻视频(含新闻网页)库测试表明了该方法的有效性,经纠错后的语音识别准确率达到了65%左右。     

新闻视频结构化浏览与标注系统

阐述一种新颖的新闻视频结构化浏览和标注系统。应用基于时空切片分析的新闻主播检测方法和基于颜色直方图的镜头分割方法实现新闻视频的结构化。通过自动语音识别技术和特定语义概念模型的建立实现了对主播场景的文本信息标注和对新闻故事镜头的语义概念标注。该系统有利于用户根据个人爱好进行新闻视频的浏览和编辑,有效实现新闻视频的索引和浏览。     

新闻视频中基于主持人识别的新闻故事探测

新闻视频由一个个内容相互独立的新闻故事组成。新闻故事探测是新闻视频浏览、基于内容检索等操作的前提。该文根据新闻视频的特殊结构和新闻节目主持人固定的特征，采用基于人脸检测的主持人镜头识别和基于语音的主持人识别来分割新闻视频中的新闻故事。实验表明，该方法能准确地探测出新闻视频中的新闻故事。     

一种多模态融合新闻视频条目分割算法

新闻视频条目分割是新闻视频检索和浏览中重要的底层支持技术,本文提出了一种融合主持人模板匹配和主题字幕帧检测的多模态新闻视频条目分割算法。先用基于主持人模板的算法进行第一次分割,再用基于改进的字幕检测方法进行第二次分割,最后将两次分割的结果融合并去除重复的分割点。实验证明,该算法对新闻视频条目分割具有较好的效果。     

基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

基于播音员识别的新闻视频故事分割方法

新闻视频的语义单元分割是基于内容的新闻视频检索和情报挖掘的重要步骤,受到众多研究者的关注。提出了一种基于播音员识别的新闻视频故事单分割的新方法,首先从新闻节目中提取各播音员的声学感知特征的作为其声纹,训练出其相应的混合高斯模型(GMM),并采用KL差异法从视频镜头中探测出各播音员和非播音员音频镜头,最后结合视频字幕帧事件和新闻节目特殊的结构知识对新闻节目进行故事单元分割。在2个多小时的CCTV和CNN新闻视频实验中获得96.02%查准率和92.58%的查全率。     

基于故事单元的长视频节目的组织和浏览技术

视频媒体是序列化、线性化的图象序列，为了使用户浏览查询视频的操作简化，在视频节目中引入非线性、非序列化的方法是必要的，对长视频节目更是如此。对于大多数视频节目，这种方法可通过定义既反映视频内容又反映视频对象组织情况的故事结构来实现．为了能自动分析视频，提取故事结构和故事单元，本文介绍了一种新的视频分析框架；并总结出了其相关技术及具体操作步骤。这种技术有助于表现一定地点和事件的故事单元的提取，这些是仅仅通过镜头边界检测得不到的。自动分析是在MPEG视频上进行的，无需对视频内容有先验知识，分析的结果是故事情节的简明概述表示，而且允许按视频内容进行分层组织。     

基于时空解耦Transformer的视频字幕去除算法

视频字幕在传递信息的同时,固化在视频中的字幕也阻碍了视频的重复利用。提出一种基于时空解耦Transformer的视频字幕去除算法,能够从带有字幕文本的视频序列中去除字幕文本,并重建出被字幕区域遮挡的背景图像。整体框架分为两个部分,字幕掩膜提取模块和字幕去除模块,前者快速精准地获得输入视频序列的二值字幕掩膜,将得到的二值字幕掩膜作为辅助信息,输入到基于时空解耦Transformer的字幕去除模块,进行字幕文本的去除和背景纹理的恢复,实现对整体视频字幕的去除。与现有的经典视频字幕去除方法相比,在峰值信噪比和结构相异性等图像质量指标以及视觉效果上,该方法均取得了更好的性能,实验结果验证了该方法在视频字幕去除领域的有效性。     

支持文本识别与取词的DVD播放软件的设计与实现

DVD视频提供丰富的文本资源,但是由于其文本信息是以图片的形式存储的,目前的播放软件不能提供针对文本信息的识别和查询.通过对包含字幕数据的私有流1的分析,总结了字幕数据的存储格式和访问接口,给出了字幕流的提取和解码算法,提出了自动化的文本识别方法,并且以MPEG-2解码器为核心设计了一种支持文本识别和查询的DVD播放软件,最后利用DirectX技术实现了该播放软件.     

基于边缘检测和线条特征的新闻字幕探测

新闻视频中的字幕包含有丰富的语义信息,对理解当前的视频内容,具有重要的意义.如何准确的探测出新闻字幕,显得尤为重要.通过对新闻字幕的特点进行分析,提出了一种基于边缘检测和线条特征的新闻字幕探测方法.算法首先对图像进行灰度变换,去除冗余颜色信息,然后进行边缘检测、线条过滤,去除不符合字符特征的线条,最后进行字幕区域探测与合并,提取出字幕.选用不同频道的新闻视频帧对文中算法进行实验,并与其他方法进行比较,结果表明,提出的算法具有较高的探测召回率与探测准确率.     

新的基于综合特征的新闻事件分割方法

提出了一种基于新闻视频中的标题字幕信息和音视频特征对新闻事件进行分割的方法,并实现了一个新闻事件分割、浏览和检索的原型系统。提出的方法综合利用新闻视频中的标题检测、主持人画面检测以及静音片段和语者切换检测技术分割整段新闻中的新闻事件。实验结果表明,该方法较仅利用标题的新闻事件分割方法在分割准确性上有了显著提高。     

基于语义信息提取的新闻视频场景分割方法

随着数字视频的广泛应用,视频数据库系统已成为多媒体领域的一个研究热点。在建立视频数据库的过程中,视频场景的分割是一个重要而又难以解决的问题。文章从分析新闻视频场景所特有的结构特征入手,提出了一种基于语义信息提取的新闻视频场景分割新方法,该方法通过对音频流和视频流中的镜头变换、主持人镜头、主题字幕和静音区间等语义信息的提取和分析来实现新闻视频场景的分割。实验表明,采用该文提出的方法,场景分割正确率可达86.9%,较好地解决了新闻视频场景分割问题。     

一种有效的新闻视频主题字幕检测方法

提出一种新的有效的新闻视频主题字幕检测方法。利用像素的空间量化亮度值计算局部帧差变化,以便检测新闻视频字幕的出现帧和消失帧,并建立4条规则来进一步区分主题字幕和非主题字幕,然后对同一主题字幕所在帧利用多帧结合的方法生成两个候选的主题字幕文字检测帧,选择其中之一进行文字区域的定位和提取;最后用投影法分割字符,并对投影法产生的错误分割字符的常见情况,提出相应的解决方法。实验结果表明了该方法的有效性。     

基于内容的新闻视频故事分段和检索

首先定义了新闻视频数据库系统的基本结构，接着介绍了实际新闻视频事故分段和检索所运用的文字提取、语音识别等核心技术的基本思想。最后给出了典型的实验结果。