基于笔画提取和颜色模型的视频文字分割算法

提出综合利用视频文字时空、笔画、颜色和几何特征的文字分割算法,快速准确地从复杂背景的视频图像中分割出文字。利用多帧融合进行图像增强,基于笔画宽度特征,使用笔画特征算子提取文字笔画,根据笔画图标注的文字区域建立颜色模型,提取文字颜色层,并用改进的连通域分析法去除文字颜色层中的同色背景和噪声。实验结果表明,该算法比传统算法能更好解决复杂背景的视频文字分割问题。     

基于颜色聚类和多帧融合的视频文字识别方法

提出一种基于颜色聚类和多帧融合的视频文字识别方法,首先,在视频文字检测模块,综合考虑了文字区域的两个显著特征:一致的颜色和密集的边缘,利用近邻传播聚类算法,根据图像中边缘颜色的复杂程度,自适应地把彩色边缘分解到若干边缘子图中去,使得在各个子图中检测文字区域更为准确.其次,在视频文字增强模块,基于文字笔画强度图过滤掉模糊的文字区域,并综合平均融合和最小值融合的优点,对在不同视频帧中检测到的、包含相同内容的文字区域进行融合,能够得到背景更为平滑、笔画更为清晰的文字区域图像.最后,在视频文字提取模块,通过自适应地选取具有较高文字对比度的颜色分量进行二值化,能够取得比现有方法更好的二值化结果;另一方面,基于图像中背景与文字的颜色差异,利用颜色聚类的方法去除噪声,能够有效地提高文字识别率.实验结果表明,该方法能够比现有方法取得更好的文字识别结果.     

视频图像中维吾尔文字的识别研究

提出了从复杂背景视频图像中提取文字并识别的一套算法,利用自适应迭代算法提取视频中维吾尔文字,针对维吾尔文字的一些特点,利用合适的预处理方法保留维吾尔文字中的各种点及特殊笔画,同时有效地消除了复杂背景带来的噪声。考虑维吾尔文字书写的特点,利用滑动窗口法提取文字特征避免了文字分割,将产生的特征向量输入到隐马尔可夫模型（Hidden Morkov Model）中进行训练和识别。     

一种新的利用多帧结合检测视频标题文字的算法

视频中的标题文字通常在视频信息索引和检索中起到重要作用．提出了一种新的视频标题文字的检测算法．首先采用一种新的多帧结合技术来降低图像背景的复杂度,它基于时间序列对多帧图像进行最小(或最大)像素值搜索,搜索的具体方式由Sobel边缘图来决定．然后以块为单位来进行文字与非文字的分类,即用一扫描窗口对图像进行扫描,以Sobel边缘为特征,判断其是否为文字。一个2级的金字塔被用来检测不同大小的文字．最后,提出一种新的迭代的文字区域分解方法,它能够更精确地定位文字区域的边界．实验结果表明,这种文字检测算法能够取得很高的精度和召回率．     

基于多尺度Harris角点的图像文字检测

为解决传统的基于Harris角点的图像文字检测算法易受非文字角点干扰,检测准确率低的问题,提出一种基于多尺度Harris图像文字检测算法.该算法在多个尺度下提取角点,并利用分块方法分析文字局部特征,有效剔除了非文字角点.使用多次迭代逐步剔除非文字区域角点,精确提取备选块中的文字角点;通过区域融合形成文字区域,用轮廓跟踪法标识文字区域.实验结果表明,该算法明显提高了图像/视频文字检测的稳定性和准确率.     

采用高斯混合背景的视频序列手势图像分割

本文介绍了一种利用视频序列进行手势图像分割的实时高斯混合背景减法算法。基于皮肤颜色阈值相匹配的像素可作为前景考虑,手的位置及其他属性按帧跟踪,从动态手势识别中提取信息。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

基于层次匹配和背景补偿的红外目标跟踪

在红外图像跟踪过程中,由于种种原因红外序列图像中的感兴趣目标往往存在不规则运动,很难用某种模型来描述目标的运动状态变迁.本文提出一种基于层次匹配和背景补偿的方法来对此类红外目标进行精确跟踪.背景补偿算法去除前后帧图像由于数据采集工具的不规则抖动而造成的图像差异,在背景补偿算法的基础上运用层次匹配策略大大提高跟踪精度.实验结果表明,此算法可以实现复杂场景下的红外目标的高精度稳定跟踪.     

基于多帧图像的视频文字跟踪和分割算法

视频中文字的提取是视频语义理解和检索的重要信息来源．针对视频中的静止文字时间和空间上的冗余特性,以文字区域的边缘位图为特征对检测结果作精化,并提出了基于二分搜索法的快速文字跟踪算法,实现了对文字对象快速有效的定位．在分割阶段,除了采用传统的灰度融合图像进行文字区域增强方法,还结合边缘位图对文字区域进行进一步的背景过滤．实验表明,文字的检测精度和分割质量都有很大提高．     

一种改进高斯模型的人体运动图像跟踪算法

研究改进的人体图像序列跟踪优化问题,提高跟踪的准确性.针对当人体运动图像序列帧中,背景图像帧变化较快,帧间像素差异较大的情况下,传统的跟踪方法无法适应较大幅度的、快速的图像背景帧变化,提取的动态像素过少,导致出现跟踪前景误判,跟踪效果滞后、失准的问题.为了解决上述问题,提出一种基于高斯混合模型的人体运动跟踪算法,通过建立一种混合高斯模型模拟去除干扰,通过迭代动态像素参数更新,消除图像帧快速变化造成的像素减少带来的影响,解决跟踪滞后问题.实验结果表明,改进方法能够大幅提高在复杂背景下的人体运动准确性,取得了不错的效果.     

一种基于多帧视频的文本图像质量增强方法

视频文本和视频内容高度相关,提供了理解视频内容的有用信息,然而文本往往位于复杂背景之中,从视频帧中定位到文本区域后,如果将其直接送入OCR软件,其识别效果较差。视频文本的时域信息提供了增强文本,消除背景的有用信息。因此,提出了一种利用视频文本的时域信息来消除背景,增强文本的方法。该方法首先利用边缘算子计算文本的轮廓特征,然后采用基于Hausdorff距离度量的匹配方法跟踪本文区域在相邻帧序列中的位置,利用多帧平均或帧间最小搜索法消去背景;其次,利用双线性插值技术调整文本尺寸,最终得到具有干净背景、合理分辨率的文本图像。不同测试视频序列的实验结果表明,该方法可以有效提高视频文本的OCR软件识别率。     

基于多帧分析的视频文本分割和增强

提出了一种将垂直颜色边缘与分块多帧分析的文本定位与增强的方法。根据文本的垂直颜色边缘特征进行粗筛选，获得和跟踪文本候选区；然后通过分块多帧分析对文本进行增强。实验表明，该方法能有效去除复杂背景，提高视频文本的识别率。     

一种视频文本自动定位、跟踪和识别的方法

视频数据中的文本能提供重要的语义信息。本文提出了一种视频文本自动定位、跟踪和识别的方法，首先用基于小波和LH检测视频帧文本所在的位置，然后用运动估计的方法，跟踪后继帧文本的位置，再用多帧平均的方法增强文本区域，最后经过二值化处理和连通分量分析，将文本字符送入OCR软件进行识别。实验结果表明，该方法简单易行，能快速地定位和跟踪文本区域，定位精度和识别效果良好。     

基于笔画相关加权的视频图像文字识别

为了提取影视视频图像中的字幕信息,提出一套鲁棒的方法：首先采用图像的边缘特征对字幕信息进行区域定位,并给出结合边缘信息的方法对图像文字进行二值化;其次,采用投影法和区域生成方法定位单个文字;最后,充分考虑到文字笔画的拓扑结构,进行相邻子网格笔画结构相关性的判定,并采用笔画模糊隶属度完成弹性网格特征的提取。该方法在复杂的背景图像中能够有效得到文字的二值图像,并保证了提取特征的稳定性、健壮性,对二值化后的影视字幕的识别率达到92.1%,实验结果表明了方法的有效性。     

改进的Gabor小波变换特征提取方法

针对自然场景中文本存在图像背景复杂、颜色多变、噪声强烈,图像存在变形、残缺、模糊、断裂等问题,提出一种基于方向预分类的Gabor小波变换特征提取方法。利用Gabor函数良好的频率选择性和方向选择性,同时考虑到笔划相对位置的偏移,方向预分类使得滤波器对笔划方向的选择更有针对性。实验结果证明,该特征提取方法对笔划变形和低分辨率字符具有较好的适应性,能有效解决低质量场景文本的识别问题。     

基于超像素融合的文本分割

提高复杂背景及噪声干扰文本图像的文本分割性能是文本识别研究中的重要问题和难点,为更好地解决这一难题,提出一种基于超像素融合的文本分割方法。首先对文本图像初始二值化,并估计文本笔画宽度;然后进行图像超像素分割并融合;最后利用超像素融合的局部相似性对初始二值化图像进行文本校验。实验结果表明,与最大稳定极值区域（MSER）及笔画超像素聚合（SSG）方法相比,所提方法在KAIST数据集上的分割精度分别提高了8.00个百分点和7.00个百分点,在ICDAR2003数据集上的文字识别率分别提高了5.33个百分点和4.88个百分点。所提方法具有较强的去噪能力。     

基于条件笔画密度提取的文本定位方法

为了解决视频检索中文本定位精确度不高的问题,提出一种基于条件笔画密度提取的文本定位方法。根据文本笔画的特征对视频图像中的文本进行初步定位,用基于条件密度的方法滤去一部分非文本区域,再利用动态形态学对提取的文本区域精确定位并对其优化得到最终的文本区域。实验结果表明,该方法能滤去大部分非文本信息,得到相对精确的文本区域,并且定位效果较好。     

室内人体运动目标的自动跟踪方法

针对人体运动目标的自动实时跟踪,设计一种新的基于P89v51内核的运动摄像头云台控制系统.对人体运动的图像检测与跟踪,提出一种快速的模板匹配方法.用改进Surendra算法自适应地获取背景图像以提取匹配模板,通过摄像头运动前后帧相同的运动区域来缩小匹配区域,进行快速目标匹配,达到实时性要求.该系统已应用在视频教学及会议中,实现自动人体运动目标跟踪与摄像.     

Text information extraction in images and video: a survey

Text data present in images and video contain useful information for automatic annotation, indexing, and structuring of images. Extraction of this information involves detection, localization, tracking, extraction, enhancement, and recognition of the text from a given image. However, variations of text due to differences in size, style, orientation, and alignment, as well as low image contrast and complex background make the problem of automatic text extraction extremely challenging. While comprehensive surveys of related problems such as face detection, document analysis, and image & video indexing can be found, the problem of text information extraction is not well surveyed. A large number of techniques have been proposed to address this problem, and the purpose of this paper is to classify and review these algorithms, discuss benchmark data and performance evaluation, and to point out promising directions for future research.