用于自动字幕生成系统的语音端点检测算法

字幕信息有助于观众对音视频内容进行理解,在音视频文件中起着不可或缺的作用.针对自动字幕生成系统的要求,提出了一种灵活、高效的语音端点检测算法,可以在复杂背景噪声的情况下,从连续的音频信号中提取语音端点.将短时能量、短时过零率、短时信息熵这3种基本音频参数进行结合,形成新的音频特征参数:短时能零熵(EZE-feature),在结合了音频信号时域特征和频域特征优点的同时,规避了它们各自的不足.在此基础上,还提出了一种环境自适应的语音端点判定算法,在端点检测过程中对背景噪声进行实时分析,并根据背景噪声的变化对短时能零熵参数进行调整.该语音端点检测算法已被成功应用于自动字幕生成系统中.     

科普书屋语音视频通信系统设计与实现

结合科普书屋采用Flash Media Server构建了一套基于互连网的语音视频通信系统,并给出该系统的具体实现方法.系统几乎可以与目前互联网上流行的语音视频通信系统相媲美,为视频监控、视频会议、聊天室等应用系统的开发提供了参考.     

基于视频的字幕检索与提取

在许多视频流如新闻节目、ＶＣＤ中均含有字幕,这些字幕含有丰富的语义信息。本文针对字幕的独有特性,提出了基于视频的字幕检索和提取方法,实验结果令人满意。另外这种方法对于日文、韩文等其它语言字幕的检索也有一定的参考价值。     

一种视频字幕检测定位新方法

简要介绍了现有视频字幕的检测提取方法及独立成分分析的基本理论和算法,探讨了独立成分分析在视频图像序列处理方面的应用,提出了一种基于独立成分分析的新的视频字幕检测提取方法。仿真实验结果表明,在图像背景复杂、图像分辨率低以及字幕字体、大小、颜色多变这些传统检测提取方法或多或少都存在困难的条件下,该方法都具有良好的视频字幕检测提取能力。     

视频字幕去除系统的设计及实现

老式视频中固化的字幕影响了不同语种间视频的交流和处理。论文基于视频字幕的特点,提出了一种视频字幕的定位及提取方法,并结合图像修复技术,实现了一个自动视频字幕去除系统。实验结果表明,该系统能够较好地去除字幕。     

远程教育中视频同步字幕的批量制作

远程教育中,视频媒体若配有同步字幕,在讲解专业性词语、教师方言偏重和学生听力有障碍等情况下会起到很好的辅助教学效果．但是常用制作字幕软件的效率并不高。本文提出了利用雷特视频TGA唱词生成系统快速制作同步字幕．同时将制作的字幕导入到非线性编辑软件Premiere中进行同步适配,从而高效低价地给远程视频加上同步字幕,提高教学效果。     

新闻视频帧中的字幕探测

提出了一种新闻视频中的字幕探测方法,该方法主要针对新闻视频中的编辑字幕(如标题字幕)进行探测,包括灰度变换、边缘检测、字幕区域探测、字幕区域合并与过滤以及二值化等步骤。该算法具有简单、高效,对阈值的设定不敏感等特点,对大多数新闻视频中的字幕都具有较好的效果。     

多语言综合信息服务系统研究与设计

基于多语言的综合信息服务正成为信息服务领域的一个重要的发展方向。该文提出面向2010年上海世博会和城市信息服务的多语言综合信息服务应用的总体架构,该系统基于下一代网络技术,在逻辑上分为七层架构。系统通过多种类型的门户,集成和应用包括多语言语音识别、合成、机器翻译等关键技术,整合现有的城市信息服务资源,为用户提供方便、快捷的多语言综合信息服务。     

基于剧本及字幕信息的视频分割方法

对视频进行分割并建立索引有利于视频的浏览和检索。提出一种融合剧本和字幕对电影类视频进行场景分割与索引的方法。该方法通过字幕与场景中对白文本的匹配获得场景视频片段的初始分割边界,分析视频帧之间的颜色分布差异,以确定场景间的最终边界。实验结果表明,与完全依赖视频内容分析的方法相比,该方法对电影视频场景片段的分割速度和准确度较高。     

视频内容敏感的动态字幕

针对传统方法中固定位置的字幕可能遮挡视频中观众感兴趣内容的问题,提出一种基于视频内容的动态字幕添加方法.通过综合考虑视频内容的重要性、视频画面之间以及相邻字幕间的连贯性来确定视频中视觉相对次要的区域,并在该区域添加字幕,有效地减少了字幕对关键内容形成的遮挡;并提出了随视频内容动态确定字幕颜色以及通过对固定颜色描边2种方...     

中等词汇的汉英语音翻译系统

本文给出汉英语音翻译系统的组成，介绍了系统中连续汉语语音识别和汉英机器翻译的工作；我们已经在限定主题、中等词汇量的条件下实现了非特定人的连续语音识别，实现了汉英语音翻译实验演示系统。     

视频中的字幕提取

提出一种综合运用文字边缘特征、颜色信息以及视频时空特性的字幕提取方法。通过边缘检测获取字幕位置进而得到文字颜色,采用全局混合高斯模型对颜色建模,建模完成后直接利用模型从视频文字变化帧中提取文字颜色层。在判断字幕是否变化时,提出了“与”掩码图的方法。实验结果表明,对于复杂背景下包含1~2种颜色字幕颜色的视频,该方法具有良好的提取效果。     

基于特征补偿的视频字幕识别研究

视频中的字幕对多媒体检索技术提供了重要的信息,主要介绍视频字幕识别技术中的特征提取方法.根据字幕不同于印刷体和手写体中常出现的问题,提出了字符位置特征和字符区域笔画分布特征、字符笔画密度特征两种修改过的特征提取方法与传统的字符外围特征结合使用,并进行了实验测试,结果表明这些方法对字幕识别是可行的.     

科普视频特征的分析

随着互联网为中心的信息技术的发展,国内科普视频受众数量不断增长,传统电视媒体和互联网络媒体都已经成为科普视频的重要的传播载体。本文综合分析了科普视频的特征,指出电视科学节目具有专业性、情境性、限制性和趣味性的显著特点,而互联网科普视频则更强调科学性、话题性、即时性和互动性,并指出在互联网+的发展战略下,电视科普视频和网络科普视频的相互借鉴、融合发展已经成为一种新的趋势,对科普视频特别是网络科普视频的创作有一定的借鉴作用。     

一种快速新闻视频标题字幕探测与定位方法*

新闻视频字幕包含有丰富的语义信息,尤其是标题字幕,对新闻视频高层语义内容的分析和理解具有 重要作用。利用标题字幕的时空分布特征,提出了一个新闻视频标题字幕的快速探测与定位方法。首先利用标 题字幕持续多帧出现的特点降低所需处理的帧数,然后基于标题字幕的边缘特征和位置特征,标记帧图像的候 选字幕块,对帧序列中的图像进行统计分析,探测出视频中标题字幕的位置及出现消失时间。实验结果表明所 提方法简单有效,能够快速、鲁棒地探测并定位新闻视频中的标题字幕。     

一种基于学习的视频字幕验证方法

视频字幕验证是字幕检测中的重要环节，其目的在于提高检测准确率。当前的验证方法多是依据经验规则。这些方法在图像背景复杂、图像分辨率低以及字幕字体、大小、颜色多变这些条件下，适应性差。为提高验证方法的适应性和准确性，通过将2维主成分分析（2DPCA）应用到视频字幕验证中，提出了一种基于2DPCA和支撑向量机（SVM）的视频字幕验证方法。该方法分训练和判别两个步骤，即首先采用2DPCA方法提取视频图像块特征，然后通过训练SVM对图像块进行验证和分类。实验结果表明．在图像背景复杂、图像分辨率低以及字幕字体、大小、颜色多变这些传统验证方法或多或少都存在困难的条件下，该方法不仅具有良好的视频字幕验证能力，而且也能明显降低算法的运行耗时。     

基于支持向量机的视频字幕自动定位与提取

视频字幕蕴含了丰富语义 ,可用于对相应视频流进行高级语义标注 .文中首先将原始图像帧分割为 N× N的子块 ,提取每个子块的灰度特征 ;然后使用预先训练好的 SVM分类机进行字幕子块和非字幕子块的分类 ;最后结合金字塔模型和后期处理过程 ,实现视频图像字幕区域的自动定位提取 .实验表明文中方法取得了良好的效果     

视频中滚动字幕的检测与跟踪

视频中滚动字幕通常表达一段完整信息,对其进行检测与跟踪是字幕识别与应用的重要前提.通过分析视频中滚动字幕的特征,在Sobel边缘检测的基础上,提出规则和统计结合的字幕检测方法及垂直边缘特征最小差平方和的字幕跟踪方法.从视频全局角度出发,对相邻帧的边缘图像进行差分,选取水平边缘特征并根据规则检测字幕区域的候选边界,通过统计边界出现频数,定位滚动字幕区域;计算相邻滚动字幕条在不同偏移值下垂直边缘特征差平方和,取其最小值作为相邻字幕的偏移量,从而实现字幕的跟踪.实验结果显示,该文方法从含有多种字幕类型的视频中检测出滚动字幕的准确率可达96.61%、字幕跟踪的准确率达99.43%,充分说明文中方法的有效性.     

字幕在视频节目播出时的应用价值和艺术体现

在视频节目播放中,字幕是一个非常重要的环节,丰富多彩的字幕既可活跃屏幕,也可突出主题,起到了画龙点睛的作用,也是电视媒体用其传播信息,架起与观众构通的桥梁。所以,字幕在视频节目制作中占有很重要的位置。该文就视频节目制作中字幕的字体选择、字幕与画面的协调统一、字幕的色彩设计、字幕的编排和出入方式等几个方面的内容探讨了视频节目播放中字幕的设计与应用。     

基于时空解耦Transformer的视频字幕去除算法

视频字幕在传递信息的同时,固化在视频中的字幕也阻碍了视频的重复利用。提出一种基于时空解耦Transformer的视频字幕去除算法,能够从带有字幕文本的视频序列中去除字幕文本,并重建出被字幕区域遮挡的背景图像。整体框架分为两个部分,字幕掩膜提取模块和字幕去除模块,前者快速精准地获得输入视频序列的二值字幕掩膜,将得到的二值字幕掩膜作为辅助信息,输入到基于时空解耦Transformer的字幕去除模块,进行字幕文本的去除和背景纹理的恢复,实现对整体视频字幕的去除。与现有的经典视频字幕去除方法相比,在峰值信噪比和结构相异性等图像质量指标以及视觉效果上,该方法均取得了更好的性能,实验结果验证了该方法在视频字幕去除领域的有效性。