新闻视频帧中的字幕探测

提出了一种新闻视频中的字幕探测方法，该方法主要针对新闻视频中的编辑字幕(如标题字幕)进行探测，包括灰度变换、边缘检测、字幕区域探测、字幕区域合并与过滤以及二值化等步骤。该算法具有简单、高效，对阈值的设定不敏感等特点，对大多数新闻视频中的字幕都具有较好的效果。     

视频中滚动字幕的检测与跟踪

视频中滚动字幕通常表达一段完整信息,对其进行检测与跟踪是字幕识别与应用的重要前提.通过分析视频中滚动字幕的特征,在Sobel边缘检测的基础上,提出规则和统计结合的字幕检测方法及垂直边缘特征最小差平方和的字幕跟踪方法.从视频全局角度出发,对相邻帧的边缘图像进行差分,选取水平边缘特征并根据规则检测字幕区域的候选边界,通过统计边界出现频数,定位滚动字幕区域;计算相邻滚动字幕条在不同偏移值下垂直边缘特征差平方和,取其最小值作为相邻字幕的偏移量,从而实现字幕的跟踪.实验结果显示,该文方法从含有多种字幕类型的视频中检测出滚动字幕的准确率可达96.61%、字幕跟踪的准确率达99.43%,充分说明文中方法的有效性.     

基于Intel MIC众核架构的视频字幕提取算法并行加速

视频字幕检索是视频检索领域的重要部分。随着OCR技术的不断完善,视频字幕检索算法也取得了很多重大突破,然而在检索效果提升的同时,视频包含的大量图像、文字信息使数据处理成为制约字幕提取的性能瓶颈。众核架构高性能协处理器近年发展迅猛,为高性能计算研究打下了良好的硬件基础。将Intel众核MIC应用到视频字幕提取中,选用OpenMP并行语言进行加速。通过在Intel Xeon Phi 7110P进行测试,获得了比较理想的加速比。     

基于特征补偿的视频字幕识别研究

视频中的字幕对多媒体检索技术提供了重要的信息,主要介绍视频字幕识别技术中的特征提取方法.根据字幕不同于印刷体和手写体中常出现的问题,提出了字符位置特征和字符区域笔画分布特征、字符笔画密度特征两种修改过的特征提取方法与传统的字符外围特征结合使用,并进行了实验测试,结果表明这些方法对字幕识别是可行的.     

基于边缘检测和线条特征的新闻字幕探测

新闻视频中的字幕包含有丰富的语义信息,对理解当前的视频内容,具有重要的意义.如何准确的探测出新闻字幕,显得尤为重要.通过对新闻字幕的特点进行分析,提出了一种基于边缘检测和线条特征的新闻字幕探测方法.算法首先对图像进行灰度变换,去除冗余颜色信息,然后进行边缘检测、线条过滤,去除不符合字符特征的线条,最后进行字幕区域探测与合并,提取出字幕.选用不同频道的新闻视频帧对文中算法进行实验,并与其他方法进行比较,结果表明,提出的算法具有较高的探测召回率与探测准确率.     

一种视频字幕检测定位新方法

简要介绍了现有视频字幕的检测提取方法及独立成分分析的基本理论和算法,探讨了独立成分分析在视频图像序列处理方面的应用,提出了一种基于独立成分分析的新的视频字幕检测提取方法。仿真实验结果表明,在图像背景复杂、图像分辨率低以及字幕字体、大小、颜色多变这些传统检测提取方法或多或少都存在困难的条件下,该方法都具有良好的视频字幕检测提取能力。     

一种自适应的视频帧中字幕检测定位方法

视频帧中的字幕往往包含当前视频的高层语意内容，对视频内容的自动理解、索引和检索有重要意义。文中提出了一种视频帧中字幕的自适应检测定位方法，与以往根据经验设定阈值的方法相比，该方法简单，对视频帧的复杂变化的适应能力更强，检测定位更快速、准确。大量实验结果显示该方法是有效的。     

一类可分离的视频游动字幕检测算法*

视频数据中游动字幕的检测是现代智能监播系统中的一个重要问题,同时也是后续诸多视频数据处理的一个基本前提和出发点。将基于内容的数据检索技术应用于视频游动字幕的检测算法,设计了游动字幕矢量化方法,给出了相似度的准则,提出了游动字幕的检测算法,并给出了相应的数值实验及算法的复杂度分析。实验证明结果是正确和有效的。     

Logistic视频字幕增强模型

目的：为提高复杂背景下的视频字幕在OCR中的识别率,需要对提取的视频字幕进行有效地字幕增强。该文首次将Logistic模型应用到视频字幕增强中,提出了基于Logistic模型的融合多帧信息的视频字幕增强方法。方法：对字幕进行检测与跟踪,将出现在连续多帧中的同一字幕片段进行对齐;通过分析字幕片段在多帧中信息,提出字幕背景在时域上的变化特征、背景和字幕文本的固有特征,并将三个特征进行量化与融合,构建适用于字幕增强的Logistic模型,实现对视频字幕的增强。结果：对含阴影或描边效果的特殊复杂背景字幕、普通复杂背景字幕、单一背景字幕分别进行实验,增强后的字幕在OCR软件中的识别正确率分别为81.76%、97.13%、98.19%,与对比方法比较均有一定的提高。结论：实验结果表明,该文方法既可以降低字幕背景的复杂度,又可以提高字幕背景与文本的对比度,从而可以对复杂背景和单一背景下的视频字幕进行有效地增强。     

玩转字幕，不过9招

作为保留DVD影音效果的最佳选择,DVDRip流行之势一浪高过一浪。当你从网上下载DVDRip电影或自己制作DVDRip时,字幕都是你要考虑的问题。如何制作字幕,搜索字幕,如何播放字幕,设置字幕……     

Enhancing remote sensing image retrieval using a triplet deep metric learning network

ABSTRACT

With the rapid growing of remotely sensed imagery data, there is a high demand for effective and efficient image retrieval tools to manage and exploit such data. In this letter, we present a novel content-based remote sensing image retrieval (RSIR) method based on Triplet deep metric learning convolutional neural network (CNN). By constructing a Triplet network with metric learning objective function, we extract the representative features of the images in a semantic space in which images from the same class are close to each other while those from different classes are far apart. In such a semantic space, simple metric measures such as Euclidean distance can be used directly to compare the similarity of images and effectively retrieve images of the same class. We also investigate a supervised and an unsupervised learning methods for reducing the dimensionality of the learned semantic features. We present comprehensive experimental results on two public RSIR datasets and show that our method significantly outperforms state-of-the-art.     

两阶段的视频字幕检测和提取算法

视频字幕检测和提取是视频理解的关键技术之一。文中提出一种两阶段的字幕检测和提取算法,将字幕帧和字幕区域分开检测,从而提高检测效率和准确率。第一阶段进行字幕帧检测:首先,根据帧间差算法进行运动检测,对字幕进行初步判断,得到二值化图像序列;然后,根据普通字幕和滚动字幕的动态特征对该序列进行二次筛选,得到字幕帧。第二阶段对字幕帧进行字幕区域检测和提取:首先,利用Sobel边缘检测算法初检文字区域;然后,利用高度约束等剔除背景,并根据宽高比区分出纵向字幕和横向字幕,从而得到字幕帧中的所有字幕,即静止字幕、普通字幕、滚动字幕。该方法减少了需要检测的帧数,将字幕检测效率提高了约11%。实验对比结果证明, 相比单一使用帧间差和边缘检测的方法,该方法在F值上提升约9%。     

深度学习图像描述方法分析与展望

图像描述任务是利用计算机自动为已知图像生成一个完整、通顺、适用于对应场景的描述语句，实现从图像到文本的跨模态转换。随着深度学习技术的广泛应用，图像描述算法的精确度和推理速度都得到了极大提升。本文在广泛文献调研的基础上，将基于深度学习的图像描述算法研究分为两个层面，一是图像描述的基本能力构建，二是图像描述的应用有效性研究。这两个层面又可以细分为传递更加丰富的特征信息、解决暴露偏差问题、生成多样性的图像描述、实现图像描述的可控性和提升图像描述推理速度等核心技术挑战。针对上述层面所对应的挑战，本文从注意力机制、预训练模型和多模态模型的角度分析了传递更加丰富的特征信息的方法，从强化学习、非自回归模型和课程学习与计划采样的角度分析了解决暴露偏差问题的方法，从图卷积神经网络、生成对抗网络和数据增强的角度分析了生成多样性的图像描述的方法，从内容控制和风格控制的角度分析了图像描述可控性的方法，从非自回归模型、基于网格的视觉特征和基于卷积神经网络解码器的角度分析了提升图像描述推理速度的方法。此外，本文还对图像描述领域的通用数据集、评价指标和已有算法性能进行了详细介绍，并对图像描述中待解决的问题与未来研究...     

联合自注意力和循环网络的图像标题生成

目前大多数图像标题生成模型都是由一个基于卷积神经网络(Convolutional Neural Network,CNN)的图像编码器和一个基于循环神经网络(Recurrent Neural Network,RNN)的标题解码器组成。其中图像编码器用于提取图像的视觉特征,标题解码器基于视觉特征通过注意力机制来生成标题。然而,使用基于注意力机制的RNN的问题在于,解码端虽然可以对图像特征和标题交互的部分进行注意力建模,但是却忽略了标题内部交互作用的自我注意。因此,针对图像标题生成任务,文中提出了一种能同时结合循环网络和自注意力网络优点的模型。该模型一方面能够通过自注意力模型在统一的注意力区域内同时捕获模态内和模态间的相互作用,另一方面又保持了循环网络固有的优点。在MSCOCO数据集上的实验结果表明,CIDEr值从1.135提高到了1.166,所提方法能够有效提升图像标题生成的性能。     

基于角点检测和自适应阈值的新闻字幕检测

目前用于提取新闻视频帧中字幕的方法准确率和检测速度普遍较低,尤其对于分辨率和对比度较小的标题文字,检测效果很差。针对上述问题,提出一种基于角点检测和自适应阈值的字幕检测方法。该方法利用角点检测确定标题帧中的文字区域并进行灰度变换,利用自适应阈值的方法对其进行二值化,得到OCR可识别的文字图片。实验表明,该方法可以快速有效地提取出分辨率和对比度较小的新闻视频标题字幕。     

Structured literature image finder: Parsing text and figures in biomedical literature

The SLIF project combines text-mining and image processing to extract structured information from biomedical literature.SLIF extracts images and their captions from published papers. The captions are automatically parsed for relevant biological entities (protein and cell type names), while the images are classified according to their type (e.g., micrograph or gel). Fluorescence microscopy images are further processed and classified according to the depicted subcellular localization.The results of this process can be queried online using either a user-friendly web-interface or an XML-based web-service. As an alternative to the targeted query paradigm, SLIF also supports browsing the collection based on latent topic models which are derived from both the annotated text and the image data.The SLIF web application, as well as labeled datasets used for training system components, is publicly available at http://slif.cbi.cmu.edu.     

图像标题生成中的人物类名实体填充方法研究

得益于深度学习的发展和大规模图像标注数据集的出现,图像标题生成作为一种结合了计算机视觉和自然语言处理的综合任务得到了广泛关注。受到神经机器翻译任务的启发,前人将图像标题生成任务看作是一种特殊的翻译任务,即将一张图像视作源端的信息表述,通过编码解码过程,翻译为目标端的自然语言语句。因此,现有研究引入了端到端的神经网络模型,并取得了较好的生成效果。然而,图像标题生成研究依然面临许多挑战,其中最值得关注的难点之一是解决确切性文字表述的问题。一条确切的标题往往是有形且具体的表述,例如“梅西主罚点球”,而目前机器生成的标题则较为粗浅和单调,例如“一个人在踢球”。针对这一问题,该文尝试开展标题生成的有形化研究,并在前瞻性实验中聚焦于标题中人名实体的识别与填充。在技术层面,该文将机器自动生成的图像标题作为处理对象,去除其中抽象人名实体的名称(例如,一个人、男人和他等)或错误的称谓,并将由此形成的带有句法空缺的表述视作完型填空题目,从而引入了以Who问题为目标的阅读理解技术。具体地,该文利用R-NET阅读理解模型实现标题中人名实体的抽取与填充。此外,该文尝试基于图像所在文本的局部信息和外部链接的全局信息,对人名实体进行抽取。实验结果表明,该方法有效提高了图像标题的生成质量,BLEU值相应提升了2.93%;实验结果也显示,利用全局信息有利于发现和填充正确的人名实体。