自适应的新闻视频播音员镜头探测方法

提出一种基于聚类算法的新闻视频播音员镜头探测方法。该方法利用人脸探测得到的人脸属性进行聚类,在此基础上利用人物及人物边缘背景区域的颜色特征在聚类的结果中进行聚类分析,确定播音员镜头候选类型。通过背景边缘的颜色相似度分析对播音员镜头候选类型进行完善得到最终的播音员镜头类型。实验证明该方法通用性和效率都比较好。     

多模态特征融合的新闻视频故事分割方法

新闻视频故事分割是新闻视频分析的重要底层支持技术,本文提出了一种融合音频、视频等多模态特征的新闻视频故事分割方法.首先分析音频特征的静音片段作为音频特征候选点,对视频进行镜头分割,并将镜头分割结果分类为播音员镜头和新闻报道镜头,将所有的镜头分割点和播音员镜头片段提取为视频片段候选点;然后通过对新闻视频编辑规则的研究,对视频、音频特征候选点融合分析来获取新闻视频的故事分割,实验表明该方法在不同新闻视频编辑规则下都具有较好的分割效率.     

基于多模态特征融合的新闻故事单元分割

对新闻视频进行结构分析,提出一种基于多模态特征融合的新闻故事单元分割方法。将新闻视频分割成音频流和视频流,选择静音区间为音频候选点,将镜头边界切变点作为视频候选点,做主持人镜头和主题字幕的探测,挑选主持人镜头为候选区间,并记录主题字幕的起始位置和结束位置,利用时间轴融合音频候选点、视频候选点、主持人镜头和主题字幕,对新闻视频进行故事单元分割。实验结果表明,该方法的查全率为83.18%,查准率为83.92%。     

融合多特征的新闻故事探测

探测出新闻故事的边界,将对新闻视频的结构化分析以及新闻视频的语义理解产生积极的作用.通过对新闻视频的结构进行分析,提出了一种融合镜头、播音员、标题字幕、静音等多种特征的新闻故事探测方法.该方法避免了依赖单特征探测新闻故事边界的不足,实验证明,该方法可以获得平均96%的故事边界探准率,能够较好地完成新闻故事边界探测的任务.     

在线聚类算法用于基于内容的镜头检索

视频数据具有一定的隐舍层次性,因此在对视频进行镜头分割后,可以利用模糊聚类算法依据相似度提取关键帧和关键镜头,对视频内容进行抽象概括,并以此时镜头进行检索.本文用非监督学习方法中的在线聚类算法自动提取镜头的关键帧,以相似方法对关键帧进行聚类以自动提取关键镜头,并对分类结果进行自我调整.将上述方法实现并用于镜头检索,获得了良好的检索结果,并减少了经验对聚类的影响,而且较好地表示了视频内容的层次性.     

新闻视频主持人镜头检测方法

提出用于新闻视频主持人镜头检测的基于扩展人脸区域的模板匹配方法。利用一段新闻节目中主持人服装不变的重要线索,在线提取主持人镜头的扩展人脸区域模板,采用分块HSV颜色直方图作为模板参数,利用该模板对新闻视频镜头中检测出的扩展人脸区域进行匹配,根据匹配结果确定主持人镜头。实验结果表明,该方法计算简单、检测精度高、实时性强,具有很好的通用性。     

基于多模态信息融合的新闻独白镜头检测

新闻视频中的独白镜头具有较大的信息量,在视频检索和挖掘中具有较高的应用价值。提出了一种融合音频、视频、时域以及上下文信息等多模态特征进行独白场景检测的方法。首先利用规则移除广告和“其他”镜头,然后应用聚类的方法检测主持人镜头,最后应用条件随机场（CRFs）模型标记独白和记者镜头。该方法无需额外的信息,具有较好的普适性,实验取得了较好的性能。     

基于梯度距离的新闻镜头检测算法

新闻视频中存在的大量闪光灯镜头造成镜头检测正确率的下降。通过分析闪光发生前后图像内容的相关性,提出一种基于梯度距离的镜头检测算法。首先针对序列直方图差的计算,提出基于局部最小距离的计算方法,消除由于拍摄光线微弱变化对原本静止的图像造成的直方图变化;然后对序列中可能存在的镜头帧,根据其出现的时间间隔和直方图距离比例,使用两步自适应阈值法过滤掉可能存在的渐变或特技镜头;最后对可能误检的闪光镜头,提出一种基于图像梯度向量的过滤方法,将候选镜头帧与前后连续图像的梯度向量进行对比,过滤掉差值小于阈值的图像。实验结果显示,该算法对新闻视频中的闪光镜头有较好的过滤效果,对连续闪光也有一定的鲁棒性。     

一种用于电视新闻节目的播音员镜头检测算法

提出一种播音员镜头自动检测算法.利用播音员镜头频繁出现的统计规律,基于自动聚类方法找出候选播音员镜头,然后根据播音员镜头出现的时空特征,用神经网络分类器对候选播音员镜头进行确认,从而实现对播音员镜头的检测.该算法是自动分析电视新闻节目内容的重要手段之一,对建立视频数据库索引是必不可少的.实验结果表明,该方法具有准确、快速的特点,可有效地应用于视频检索系统.     

基于人脸检测与SIFT的播音员镜头检测

播音员镜头的检测是新闻视频结构化的关键步骤之一.提出了一种基于人脸检测与SIFT特征点匹配的播音员镜头自动检测算法.该方法首先利用人脸检测器过滤出具有人脸的候选镜头,然后利用颜色直方图判断镜头是否可能相似,再利用SIFT特征点匹配从候选镜头关键帧中找出相关的镜头组,最后利用各镜头组的信息判断出哪些是播音员镜头.对比传统的方法,该方法除了训练一个通用的人脸检测器外,不需要模板,也不需要针对某类新闻节目训练特别的分类器,可以直接利用算法对新类型的新闻节目提取播音员镜头.实验结果表明,该算法能够广泛地适应于各种不同种类的新闻节目、不同视觉质量的视频,可以有效地应用于新闻视频分析.     

基于COM技术的新闻视频主持人镜头实时检测方法

在新闻视频分析研究中 ,主持人镜头的实时检测具有十分重要的意义。文中提出了一种基于COM技术的新闻视频主持人镜头实时检测方法。实验证明 ,这种方法具有算法简单、可靠、实时性好的特点 ,具有较高的实用价值     

Real time repeated video sequence identification

In this paper, we present a real time system for detecting repeated video clips from a live video source such as news broadcasts. Our system utilizes customized temporal video segmentation techniques to automatically partition the digital video signal into semantically sensible shots and scenes. As each frame of the video source is processed, we extract auxiliary information to facilitate repeated sequence detection. When the video transition marking the end of the shot/scene is detected, we are able to rapidly locate all previous occurrences of the video clip. Our objective is to use repeated sequence information in our multimedia content analysis application to deduce semantic relationships among shots/scenes in the input video. Our real time video processing techniques are independent of source and domain and can be applied to other applications such as commercial detection and improved video compression.     

基于朴素贝叶斯模型的新闻故事分割方法

提出一种基于朴素贝叶斯模型的新闻视频故事分割方法。通过对新闻视频进行镜头检测,获得候选故事边界点,从候选边界点周围镜头提取多模态中级特征,形成属性集合作为输入,应用朴素贝叶斯模型对候选边界点进行分类后对结果进行后处理,得到新闻故事。实验结果表明,该方法获得了较高的查准率和查全率,对不同类型的新闻节目有良好的适应性。     

新闻视频中广告片段精确定位方法研究

由于广告节目制作风格的多样性,新闻视频中广告片段的检测和定位是一个非常具有挑战性的问题。提出了一种新闻视频中广告片段定位的新方法。首先针对镜头切换和非镜头切换数目不平衡问题,设计了一种新的分类方法进行镜头检测,然后利用聚类分析粗略地标识广告块,最后通过分析相邻镜头的平均持续时间和镜头关键帧的视觉特征准确定位广告边界。实验结果表明,该方法具有较高的定位精度。     

一种有效的半监督视频镜头聚类算法

视频镜头聚类是基于内容的视频分析和检索领域中的一个重要问题.提出了一种对视频镜头的半监督聚类算法(SSCA),该算法首先在初始化时对已知的成对实例约束集进行聚类,利用在初始化时生成的簇来指导高维空间中其他视频镜头数据的聚类.由于高维空间中不同的维度存在着不同的相关性,所以为每一个簇引入权重向量.之后提出了一种基于最大距离的聚类中心分割策略,来解决聚类中心的选取问题.最后,考虑到对于聚类个数的选择往往对最终的结果有很大的影响,算法中采用贝叶斯信息准则来评估给定范围的聚类个数.实验结果表明,提出的算法有效地提高了聚类算法的准确性并减少了算法的响应时间.     

视频检索中镜头分割方法综述

视频序列的镜头分割亦称镜头变化检测是视频检索中的关键技术之一。镜头变化是指视频序列中场景内容的变化。该文介绍了目前镜头分割的常用方法,包括灰度分割法、边缘分割法、彩色直方图分割法、MPEG视频的分割方法、块匹配镜头分割方法、统计判决镜头分割方法、基于聚类的镜头分割方法、镜头渐变的检测等,指出了研究场景内容的表征方法、特征提取方法、特征的检测尺度以及稳健可靠的实用镜头分割方法是目前主要的研究方向。