两阶段的视频字幕检测和提取算法

视频字幕检测和提取是视频理解的关键技术之一。文中提出一种两阶段的字幕检测和提取算法,将字幕帧和字幕区域分开检测,从而提高检测效率和准确率。第一阶段进行字幕帧检测:首先,根据帧间差算法进行运动检测,对字幕进行初步判断,得到二值化图像序列;然后,根据普通字幕和滚动字幕的动态特征对该序列进行二次筛选,得到字幕帧。第二阶段对字幕帧进行字幕区域检测和提取:首先,利用Sobel边缘检测算法初检文字区域;然后,利用高度约束等剔除背景,并根据宽高比区分出纵向字幕和横向字幕,从而得到字幕帧中的所有字幕,即静止字幕、普通字幕、滚动字幕。该方法减少了需要检测的帧数,将字幕检测效率提高了约11%。实验对比结果证明, 相比单一使用帧间差和边缘检测的方法,该方法在F值上提升约9%。     

视频中滚动字幕的检测与跟踪

视频中滚动字幕通常表达一段完整信息,对其进行检测与跟踪是字幕识别与应用的重要前提.通过分析视频中滚动字幕的特征,在Sobel边缘检测的基础上,提出规则和统计结合的字幕检测方法及垂直边缘特征最小差平方和的字幕跟踪方法.从视频全局角度出发,对相邻帧的边缘图像进行差分,选取水平边缘特征并根据规则检测字幕区域的候选边界,通过统计边界出现频数,定位滚动字幕区域;计算相邻滚动字幕条在不同偏移值下垂直边缘特征差平方和,取其最小值作为相邻字幕的偏移量,从而实现字幕的跟踪.实验结果显示,该文方法从含有多种字幕类型的视频中检测出滚动字幕的准确率可达96.61%、字幕跟踪的准确率达99.43%,充分说明文中方法的有效性.     

基于在线语音流的字幕自动生成系统算法研究与实现

针对语音文稿已知的情况,提出了一种简单方法实现了适用于在线语音流的字幕自动生成系统。主要思路是根据文稿分句的情况确定在线语音的句子边界,进而,将相应的句子显示到屏幕上。假设在线语音的句子起点已知,本文建立了具有帧同步的统计假设似然比模型检测在线语音的句子尾点,在HMM框架下对该模型进行求解。实验表明,如果以检测到的句子尾点与真正的句子尾点的时间差作为指标,对于干净语音,99.5%左右的时间差在一秒以内,达到了实际要求。最后,本文利用所提出的针对在线语音流的字幕自动生成算法,实现了一个适用于在线新闻广播加字幕场景的演示系统。     

联合时空SIFT特征的同源视频检测

通过对视频帧序列时空特性的分析,采用"局部趋同,全局异化"的策略,提出了一种联合时域和空域SIFT点特征的特征提取方法。实验表明,基于该特征的同源视频检测方法对于一定的视频变化具有较好的鲁棒性和检测精度。     

时空上下文与CamShift相结合的目标跟踪算法

针对传统的时空上下文(STC)目标跟踪算法在完全遮挡或者遮挡面积过大时易导致跟踪失败的问题,提出了一种将STC与CamShift相结合的目标跟踪算法.通过设定一个阈值,来判断时空上下文算法何时进入目标遮挡.当进入遮挡时,利用CamShift算法得到的跟踪中心修正时空上下文模型计算出的跟踪中心,并用修正后的中心更新局部上下文区域.实验结果表明:提出的算法较原有的算法更加适合复杂的场景变化,具有更好的鲁棒性和稳定性.     

考虑时空特性的动态权重实时地图匹配算法

针对当前实时地图匹配算法难以同时保证匹配高准确性和高实时性的问题,提出一种基于动态权重的实时地图匹配改进算法。首先,算法考虑了相邻全球定位系统（GPS）轨迹点在时间、速度和方向上的约束关系,以及道路网拓扑结构,并基于时空特性分析,建立了距离权重、方位权重、方向权重和连通性权重组成的权重模型;然后,根据GPS轨迹点自身属性信息,建立了动态权重系数模型;最后,根据置信度水平选择最佳匹配路段。用三条总长36 km的重庆城市公交车行驶轨迹进行测试,结果显示：所提算法平均匹配正确率达到97.31%,单个轨迹点匹配平均延迟为17.9 ms。新算法匹配正确率和实时性较高,在Y形路口和平行路段的匹配效果上优于对比算法。     

H.264中基于时空相关性的帧间模式选择算法

帧间块模式选择是H.264视频编码器巾比较耗时的模块之一,为降低H.264视频编码器帧间模式选择的复杂度,提出了一种利用宏块的时空相关性实现帧间模式快速选择的方法.该算法通过对视频序列连续帧的时间相关性和相邻宏块的空间相关性进行统计、分析,首先得到宏块模式转换的统计分布规律,并根据此规律得到宏块的初始候选模式;然后利用基于主宏块的宏块跟踪,找到最相关宏块,再由率失真门限筛选出最佳编码模式.仿真实验结果表明,该快速模式选择算法可以在保证视频编码质量的同时,很大程度上降低了编码器的计算复杂度,平均节省编码时间约64%,平均信噪比下降约0.31 dB.     

基于SVM和ICA的视频帧字幕自动定位与提取

视频字幕蕴涵了丰富语义,可以用来对相应视频流进行高级语义标注,但由于先前视频字幕提取考虑的只是如何尽可能定义好字幕特征,而忽视了分类学习机自身的学习推广能力.针对这一局限性,提出了一种基于支持向量机和独立分量分析的视频帧字幕定位与提取算法.该算法是首先将原始图象帧分割成N×N大小子块,同时将每个子块标注为字幕块和非字幕块两类;然后从每个子块提取能够保持相互高阶独立的独立分量特征去训练支持向量机分类器;最后结合金字塔模型和去噪方法,用训练好的支持向量机来实现对视频字幕区域自动定位提取.由于支持向量机能够在样本不是很多的情况下,具有良好的分类推广能力以及能使独立成分特征之间彼此保持高阶独立性,与其他视频帧字幕定位提取算法比较的结果表明,该算法具有明显的优点.     

时空数据库概念建模工具STXER的研究与实现

基于对时空语义的研究,提出了一种兼容ER方法的时空概念建模方法STXER,论述了它的时空语义基础以及时空数据库概念建模过程,给出了STXER的实现和建模实例。STXER支持丰富的时空语义,可以满足不同时空应用的需求。     

可量化的移动Ad Hoc 网络时空动态特性评估方法

移动模型是Ad Hoc网络区别于其他形式网络的重要标志,对其产生的动态网络特性(简称动态特性)进行评估,是研究Ad Hoc网络的协议仿真和网络相关技术(如拓扑控制和网络性能测量等)的基础性问题.在已有研究的基础上,改进了网络的模型化描述,克服了以往模型无法很好地描述相关联的时空动态特性的缺陷,并在此基础上,提出了移动模型通用的可量化时空动态特性评估方法.通过构建节点空间位置分布,建立网络拓扑时空动态特性的分析模型,深入研究了几种移动模型的动态性.提出一种圆周曲线移动模型,弥补了以往移动模型难以描述现实的曲线移动场景.仿真实验结果表明,该方法能够有效地对现有移动模型的动态性进行评估.实验结果表明,圆周曲线移动模型与以往移动模型相比,具有良好的时空动态特性.     

用于自动字幕生成系统的语音端点检测算法

字幕信息有助于观众对音视频内容进行理解,在音视频文件中起着不可或缺的作用.针对自动字幕生成系统的要求,提出了一种灵活、高效的语音端点检测算法,可以在复杂背景噪声的情况下,从连续的音频信号中提取语音端点.将短时能量、短时过零率、短时信息熵这3种基本音频参数进行结合,形成新的音频特征参数:短时能零熵(EZE-feature),在结合了音频信号时域特征和频域特征优点的同时,规避了它们各自的不足.在此基础上,还提出了一种环境自适应的语音端点判定算法,在端点检测过程中对背景噪声进行实时分析,并根据背景噪声的变化对短时能零熵参数进行调整.该语音端点检测算法已被成功应用于自动字幕生成系统中.     

新闻视频帧中的字幕探测

提出了一种新闻视频中的字幕探测方法,该方法主要针对新闻视频中的编辑字幕(如标题字幕)进行探测,包括灰度变换、边缘检测、字幕区域探测、字幕区域合并与过滤以及二值化等步骤。该算法具有简单、高效,对阈值的设定不敏感等特点,对大多数新闻视频中的字幕都具有较好的效果。     

一种压缩域上的快速标题文字探测算法及其应用

提出了一种在MPEG压缩流上基于模型的快速标题文字探测算法。对标题文字叠加模型的分析表明,视频流各分量值在标题文字区将属于特定的 范围区间。基于该特征,该文给出了一种利用色度分量统计特征在压缩域上检测标题的快速算法,并对算法的加速以及模型建立方法进行了讨论,该技术被成功地应用到自动创建图片目录,实现了用户通过极少目的图片对一天新闻节目内容的快速浏览。实验结果表明算法不仅具有理想的正确率96．6％与查全率100％,而且具有超实时的探测速度。     

数字视频中字幕检测及提取的研究和实现

首先进行文字事件检测，然后进行边缘检测、阈值计算和边缘尺寸限制，最后依据文字像素密度范围进一步滤去非文字区域的视频字幕．提出的叠加水平和垂直方向边缘的方法，加强了检测到的文字的边缘；对边缘进行尺寸限制过滤掉了不符合文字尺寸的边缘；进一步，提出像素密度α的概念，并指出文字区域的像素密度α应在某一阈值范围之内(αmin≤α≤αmax)．通过像素密度α滤去了非文字区域，应用投影法最终确定视频字幕所在区域．以上方法的结合保证了提出的算法的正确率和鲁棒性．选用不同类型的视频素材对文中算法进行实验，并与其他方法进行比较，得出文中算法具有较高的正确率和较快的计算速度．     

一种新的利用多帧结合检测视频标题文字的算法

视频中的标题文字通常在视频信息索引和检索中起到重要作用．提出了一种新的视频标题文字的检测算法．首先采用一种新的多帧结合技术来降低图像背景的复杂度,它基于时间序列对多帧图像进行最小(或最大)像素值搜索,搜索的具体方式由Sobel边缘图来决定．然后以块为单位来进行文字与非文字的分类,即用一扫描窗口对图像进行扫描,以Sobel边缘为特征,判断其是否为文字。一个2级的金字塔被用来检测不同大小的文字．最后,提出一种新的迭代的文字区域分解方法,它能够更精确地定位文字区域的边界．实验结果表明,这种文字检测算法能够取得很高的精度和召回率．     

基于形态学操作的新闻标题检测定位方法

新闻视频的标题是对新闻内容的重要释意,是新闻编辑和新闻检索的重要依据之一,文中提出了一种基于形态学操作的新闻视频标题检测定位方法,该方法在边缘图像预处理和滤波去噪的基础上进行有序的闭运算、开运算、腐蚀等多种形态学运算,最后采用象素密度分类方法有针对性地对视频帧下三分之一部分检测和定位标题区域,通过对央视、凤凰卫视、湖南卫视等具有代表性的新闻视频进行实验取得了较高的召回率和准确率,证明了该方法的优越性.     

基于台标轮廓检测的视频监控系统的研究与实现

本文提出了一种基于台标轮廓检测的广播电视节目视频监控系统的设计方法，应用于卫星地球站监控电视节目的质量和非法信号对电视节目的攻击。提出了该监控系统的软件结构和实现的关键技术，重点分析不透明台标掩码获取、不透明台标轮廓检测和资源管理。系统中运用多线程编程技术，能够在有限CPU计算能力条件下处理大量高码率数据和控制指令，提高系统运行效率。     

结合全局与局部视频表示的视频异常检测算法

针对视频异常行为检测问题,提出结合全局与局部视频表示的视频异常检测算法.首先将输入视频连续多帧划分为视频块.再按空间位置将视频块划分为互不重叠的时空立方体,利用时空立方体运动特征构建基于空间位置的全局时空网格位置支持向量数据描述模型(SVDD).然后针对视频运动目标,提取局部纹理运动特征,采用SVDD获得围绕目标特征的超球体边界,构建运动目标正常行为模型.最后组合两部分以实现更全面的检测.公共数据集上的实验验证文中算法的有效性.     

视频中的人体检测算法

本文介绍了一种基于滤波器的相关边缘幅度图像的人体检测算法.关键是训练滤波器所使用的技术:平均合成的精确滤波器(ASEF).算法对图像进行大小归一化和预处理,并使用ASEF滤波器能产生良好的目标与背景分离,最终实现了对于稀疏人群实现94.5％的检出率.