基于角点检测和自适应阈值的新闻字幕检测

目前用于提取新闻视频帧中字幕的方法准确率和检测速度普遍较低,尤其对于分辨率和对比度较小的标题文字,检测效果很差。针对上述问题,提出一种基于角点检测和自适应阈值的字幕检测方法。该方法利用角点检测确定标题帧中的文字区域并进行灰度变换,利用自适应阈值的方法对其进行二值化,得到OCR可识别的文字图片。实验表明,该方法可以快速有效地提取出分辨率和对比度较小的新闻视频标题字幕。     

基于支持向量机的垃圾邮件过滤方法

目前用于提取新闻视频帧中字幕的方法准确率和检测速度普遍较低,尤其对于分辨率和对比度较小的标题文字,检测效果很差.针对上述问题,提出一种基于角点检测和自适应阈值的字幕检测方法.该方法利用角点检测确定标题帧中的文字区域并进行灰度变换,利用自适应阈值的方法对其进行二值化,得到OCR可识别的文字图片.实验表明,该方法可以快速有效地提取出分辨率和对比度较小的新闻视频标题字幕.     

新闻视频帧中的字幕探测

提出了一种新闻视频中的字幕探测方法，该方法主要针对新闻视频中的编辑字幕(如标题字幕)进行探测，包括灰度变换、边缘检测、字幕区域探测、字幕区域合并与过滤以及二值化等步骤。该算法具有简单、高效，对阈值的设定不敏感等特点，对大多数新闻视频中的字幕都具有较好的效果。     

一种快速新闻视频标题字幕探测与定位方法*

新闻视频字幕包含有丰富的语义信息,尤其是标题字幕,对新闻视频高层语义内容的分析和理解具有 重要作用。利用标题字幕的时空分布特征,提出了一个新闻视频标题字幕的快速探测与定位方法。首先利用标 题字幕持续多帧出现的特点降低所需处理的帧数,然后基于标题字幕的边缘特征和位置特征,标记帧图像的候 选字幕块,对帧序列中的图像进行统计分析,探测出视频中标题字幕的位置及出现消失时间。实验结果表明所 提方法简单有效,能够快速、鲁棒地探测并定位新闻视频中的标题字幕。     

基于笔画提取和颜色模型的视频文字分割算法

提出综合利用视频文字时空、笔画、颜色和几何特征的文字分割算法,快速准确地从复杂背景的视频图像中分割出文字。利用多帧融合进行图像增强,基于笔画宽度特征,使用笔画特征算子提取文字笔画,根据笔画图标注的文字区域建立颜色模型,提取文字颜色层,并用改进的连通域分析法去除文字颜色层中的同色背景和噪声。实验结果表明,该算法比传统算法能更好解决复杂背景的视频文字分割问题。     

一种基于位平面的压缩域人脸识别算法

针对光照等干扰因素对人脸识别的不利影响,以及人脸图像的维度过高等问题,提出了一种新的基于位平面的压缩域人脸识别算法。该算法综合利用了图像丰富的位平面信息和压缩域内图像处理技术,提出新的人脸特征表达方法。实验结果表明,该方法不仅能够有效地降低图片维度,并且具有较好的鲁棒性。     

基于TMS320C6701EVM板的说话人识别系统

本文在TMS320C6701EVM板的基础上实现一种快速的说话人识别系统。本文提出一种基于段级语音特征的说话人识别的快速算法,该算法在传统的GMM算法的基础上使用段级语音特征对测试语音进行数据量压缩,以减少计算时间。并基于车比雪夫和不等式提出了基于协方差模型的段级特征的失真测度描述。本文根据实验选择了段级特征语音段长度,实验表明该算法在不显著影响识别率的基础上有效地减少了算法延迟,提高了识别速度。     

基于分块DCT的视频文字检测算法

针对大量视频图像中出现的各种文字信息,本文提出了一种基于离散余弦变换(DCT)的文字提取算法。该方法首先将图像分割为等大小基本块,然后对各小块提取DCT特征。在此基础上,利用图像对比度,设计了一种动态阈值分割方法,可将文字信息和背景信息进行分离。然后依据最小外接矩形算法,获得初始文字检测结果。最终使用Voronoi Diagram算法对初始区域进行合并得到最终文字区域检测结果。算法可以快速而精确定位文字所对应的区域,并且能适用于各种背景条件下的视频图像。     

一种压缩域中的体育视频慢镜头探测方法

慢镜头探测是基于内容视频分析的一项重要技术.在介绍视频压缩的基本理论及MPEG-1视频压缩标准的基础上,对压缩城内的慢镜头探测进行了研究,提出了一种两阶段压缩域下的慢镜头探测方法.该探测方法的第一步是基于宏块类型信息的镜头探测,在镜头探测的基础上定义和计算镜头密度,探测可能的慢镜头出现位置;第二步是计算压缩域下连续帧间差,从候选慢镜头中探测慢镜头.实验结果显示,相对于已有的方法,该方法具有较快的探测速度和较高的准确率.     

一种新的利用多帧结合检测视频标题文字的算法

视频中的标题文字通常在视频信息索引和检索中起到重要作用．提出了一种新的视频标题文字的检测算法．首先采用一种新的多帧结合技术来降低图像背景的复杂度，它基于时间序列对多帧图像进行最小(或最大)像素值搜索，搜索的具体方式由Sobel边缘图来决定．然后以块为单位来进行文字与非文字的分类，即用一扫描窗口对图像进行扫描，以Sobel边缘为特征，判断其是否为文字。一个2级的金字塔被用来检测不同大小的文字．最后，提出一种新的迭代的文字区域分解方法，它能够更精确地定位文字区域的边界．实验结果表明，这种文字检测算法能够取得很高的精度和召回率．     

两阶段的视频字幕检测和提取算法

视频字幕检测和提取是视频理解的关键技术之一。文中提出一种两阶段的字幕检测和提取算法,将字幕帧和字幕区域分开检测,从而提高检测效率和准确率。第一阶段进行字幕帧检测:首先,根据帧间差算法进行运动检测,对字幕进行初步判断,得到二值化图像序列;然后,根据普通字幕和滚动字幕的动态特征对该序列进行二次筛选,得到字幕帧。第二阶段对字幕帧进行字幕区域检测和提取:首先,利用Sobel边缘检测算法初检文字区域;然后,利用高度约束等剔除背景,并根据宽高比区分出纵向字幕和横向字幕,从而得到字幕帧中的所有字幕,即静止字幕、普通字幕、滚动字幕。该方法减少了需要检测的帧数,将字幕检测效率提高了约11%。实验对比结果证明, 相比单一使用帧间差和边缘检测的方法,该方法在F值上提升约9%。     

基于图像分析的数字视频字幕检测及恢复

视频已广泛应用于各个领域,所以对视频字幕的处理具有重要的意义。提出一种新的数字视频字幕检测及恢复算法。首先进行边缘检测,通过分析图像的边缘密度在水平和垂直方向的投影,得到字幕的粗略区域;再利用水平集方法进一步确定字幕的具体位置;最后用Criminisi算法对检测到的字幕进行恢复。通过对不同类型的视频素材进行实验验证,结果表明该方法能够达到理想效果。     

深度学习图像描述方法分析与展望

图像描述任务是利用计算机自动为已知图像生成一个完整、通顺、适用于对应场景的描述语句，实现从图像到文本的跨模态转换。随着深度学习技术的广泛应用，图像描述算法的精确度和推理速度都得到了极大提升。本文在广泛文献调研的基础上，将基于深度学习的图像描述算法研究分为两个层面，一是图像描述的基本能力构建，二是图像描述的应用有效性研究。这两个层面又可以细分为传递更加丰富的特征信息、解决暴露偏差问题、生成多样性的图像描述、实现图像描述的可控性和提升图像描述推理速度等核心技术挑战。针对上述层面所对应的挑战，本文从注意力机制、预训练模型和多模态模型的角度分析了传递更加丰富的特征信息的方法，从强化学习、非自回归模型和课程学习与计划采样的角度分析了解决暴露偏差问题的方法，从图卷积神经网络、生成对抗网络和数据增强的角度分析了生成多样性的图像描述的方法，从内容控制和风格控制的角度分析了图像描述可控性的方法，从非自回归模型、基于网格的视觉特征和基于卷积神经网络解码器的角度分析了提升图像描述推理速度的方法。此外，本文还对图像描述领域的通用数据集、评价指标和已有算法性能进行了详细介绍，并对图像描述中待解决的问题与未来研究...     

基于SVM和ICA的视频帧字幕自动定位与提取

视频字幕蕴涵了丰富语义,可以用来对相应视频流进行高级语义标注,但由于先前视频字幕提取考虑的只是如何尽可能定义好字幕特征,而忽视了分类学习机自身的学习推广能力.针对这一局限性,提出了一种基于支持向量机和独立分量分析的视频帧字幕定位与提取算法.该算法是首先将原始图象帧分割成N×N大小子块,同时将每个子块标注为字幕块和非字幕块两类;然后从每个子块提取能够保持相互高阶独立的独立分量特征去训练支持向量机分类器;最后结合金字塔模型和去噪方法,用训练好的支持向量机来实现对视频字幕区域自动定位提取.由于支持向量机能够在样本不是很多的情况下,具有良好的分类推广能力以及能使独立成分特征之间彼此保持高阶独立性,与其他视频帧字幕定位提取算法比较的结果表明,该算法具有明显的优点.     

基于多模态融合的城市道路场景视频描述模型研究

城市道路视频描述存在仅考虑视觉信息而忽视了同样重要的音频信息的问题,多模态融合算法是解决此问题的方案之一。针对现有基于Transformer的多模态融合算法都存在着模态之间融合性能低、计算复杂度高的问题,为了提高多模态信息之间的交互性,提出了一种新的基于Transformer的视频描述模型多模态注意力瓶颈视频描述（multimodal attention bottleneck for video captioning,MABVC）。首先使用预训练好的I3D和VGGish网络提取视频的视觉和音频特征并将提取好的特征输入到Transformer模型当中,然后解码器部分分别训练两个模态的信息再进行多模态的融合,最后将解码器输出的结果经过处理生成人们可以理解的文本描述。在通用数据集MSR-VTT、MSVD和自建数据集BUUISE上进行对比实验,通过评价指标对模型进行验证。实验结果表明,基于多模态注意力融合的视频描述模型在各个指标上都有明显提升。该模型在交通场景数据集上依旧能够取得良好的效果,在智能驾驶行业具有很大的应用前景。     

Quality assessment of perceptual color video based on a top-down framework and quaternion

Objective video quality assessment is of great importance in a variety of video processing applications. Most existing video quality metrics either focus primarily on capturing spatial artifacts in the video signal, or are designed to assess only grayscale video thereby ignoring important chrominance information. In this paper, on the basis of the top-down visual analysis of cognitive understanding and video features, we propose and develop a novel full-reference perceptual video assessment technique that accepts visual information inputs in the form of a quaternion consisting of contour, color and temporal information. Because of the more important role of chrominance information in the “border-to-surface” mechanism at early stages of cognitive visual processing, our new metric takes into account the chrominance information rather than the luminance information utilized in conventional video quality assessment. Our perceptual quaternion model employs singular value decomposition (SVD) and utilizes the human visual psychological features for SVD block weighting to better reflect perceptual focus and interest. Our major contributions include: a new perceptual quaternion that takes chrominance as one spatial feature, and temporal information to model motion or changes across adjacent frames; a three-level video quality measure to reflect visual psychology; and the two weighting methods based on entropy and frame correlation. Our experimental validation on the video quality experts’ group (VQEG) Phase I FR-TV test dataset demonstrated that our new assessment metric outperforms PSNR, SSIM, PVQM (P8) and has high correlation with perceived video quality.     

用于自动字幕生成系统的语音端点检测算法

字幕信息有助于观众对音视频内容进行理解,在音视频文件中起着不可或缺的作用.针对自动字幕生成系统的要求,提出了一种灵活、高效的语音端点检测算法,可以在复杂背景噪声的情况下,从连续的音频信号中提取语音端点.将短时能量、短时过零率、短时信息熵这3种基本音频参数进行结合,形成新的音频特征参数:短时能零熵(EZE-feature),在结合了音频信号时域特征和频域特征优点的同时,规避了它们各自的不足.在此基础上,还提出了一种环境自适应的语音端点判定算法,在端点检测过程中对背景噪声进行实时分析,并根据背景噪声的变化对短时能零熵参数进行调整.该语音端点检测算法已被成功应用于自动字幕生成系统中.     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

新闻视频的场景分段索引及摘要生成

在提出一种新闻视频检索系统结构的基础上，介绍了基于标题条检测的新闻场景分段索引方法，并阐述了两种新闻摘要的生成策略．该方法利用新闻节目标题条出现的时空位置线索，结合标题关键词的识别，建立起一个层次化的新闻视频索引结构，并帮助用户通过新闻摘要实现不同要求的视频浏览．实验证明该方法有较高的检索成功率，并且简单快捷，为新闻视频检索提供了新的有效途径．