自适应的新闻视频播音员镜头探测方法

提出一种基于聚类算法的新闻视频播音员镜头探测方法。该方法利用人脸探测得到的人脸属性进行聚类,在此基础上利用人物及人物边缘背景区域的颜色特征在聚类的结果中进行聚类分析,确定播音员镜头候选类型。通过背景边缘的颜色相似度分析对播音员镜头候选类型进行完善得到最终的播音员镜头类型。实验证明该方法通用性和效率都比较好。     

视频图像中的实时人脸检测方法

给出了一种视频图像中的实时人脸检测方法，该方法综合了彩色视频图像的运动信息和颜色信息，可以快速地对图像中的人脸区域进行定位。算法通过对视频图像序列中每连续3帧图像进行对称差分，提取出运动区域；然后基于肤色聚类模型，再对运动区域进行肤色检测，经过候选人脸验证，最终定位图像中的人脸。实验表明，提出的方法检测速度快，实现简单、高效，满足实时系统的要求。     

一种基于多特征的视频人物聚类方法

检索一段视频中出现的人物并进行人物归类具有重要的研究意义和实用价值.本文提出一种基于多特征的视频人物检索聚类算法:先用一种结合人脸检测和物体跟踪的算法检测镜头人物,并提取人物衣服区域颜色以及声音作为人物特征,再用一种无监督模糊聚类方法对人物进行聚类,最后利用声音特征对聚类结果进行修正.该方法适用于人物数未知的条件下进行无监督的人物聚类.不同类型视频的试验证明该方法有效而实用.     

基于URL的中文多语义名词在线语义标注

中文语义标注在自然语言处理领域有广泛的应用,其目的在于挖掘并标注出中文多语义名词的多个语义。提出一种新颖的语义标注算法,通过在线URL分类目录,构建得到URL分类器。借助于URL分类器,对搜索引擎返回的多语义名词的搜索结果(包括网页URL及摘要)进行分类,得到多语义名词的初始语义分类结果。对初始语义分类结果按其网页摘要聚类,提取聚类特征后得到多语义词的语义标注结果。该算法利用基于URL的网页分类方法,能在线对中文多语义名词进行语义标注。实验结果证明,该语义标注算法可以取得70%的准确率及80%的召回率,适用于网络热词语义标注。     

小尺度区域生态调查数据的聚类算法研究

小尺度区域生态调查历史数据常出现地名的同地异名现象,单纯依靠地学距离,难以将小尺度区域不同调查区进行准确聚类。为此,我们引入中文语义,通过组合使用中文语义距离和地学距离,改进 DBSCAN 聚类算法,从而能够对较小尺度区域的历史数据进行按照调查区的聚类。实验证明,所提算法可以较好的将小尺度区域的生态调查数据进行聚类,为后续数据分析提供了可能。     

一种基于子镜头聚类的情节代表帧选取方法

情节代表帧选取方法是视频语义分析和基于内容的视频检索的很重要的方法。代表帧的使用大大减少了视频索引的数据量,同时也为视频摘要和检索提供了一种快捷的方法。该文在子镜头的关键帧提取方法基础上,利用模糊C-均值聚类算法,实现了一种基于子镜头聚类的情节代表帧选取方法。实验证明该方法计算简单,可以较好地代表视频情节。     

用无监督模糊聚类方法进行视频内容的分层表示

为了在视频数据库中提供有效的视频检索和浏览功能,必须用简明的方式表示视频的内容。由于视频数据具有层次性结构,在镜头边界检测后,可以利用聚类方法按不同的相似性尺度选取代表帧和代表镜头,对视频内容进行抽象概括的表示。文中提出了一种基于无监督模糊聚类对视频内容进行分层表示的算法,它用无监督聚类方法选取镜头的代表帧,并用模糊聚类算法对代表帧进行层次化聚类以选取代表镜头和代表场景。实验结果表明这种方法可以较好地概括视频的内容,方便用户检索和浏览。     

一种基于LDA的潜在语义区划分及Web文档聚类算法

该文应用LDA模型进行文档的潜在语义分析,将语义分布划分成低频、中频、高频语义区,以低频语义区的语义进行Web游离文档检测,以中、高频语义区的语义作为文档特征进行文档聚类,采用文档类别与语义互作用机制对聚类结果进行修正。与相关工作比较,该文不仅应用LDA模型表示文档,而且进行了深入的语义分布区域划分,并将分析结果应用于Web文档聚类。实验表明,该文提出的基于LDA的文档类别与语义互作用聚类算法获得了更好的聚类结果。     

基于时序概率超图模型的视频多语义标注

在基于语义的视频检索系统中,为了弥补视频底层特征与高层用户需求之间的差异,提出了时序概率超图模型。它将时间序列因素融入到模型的构建中,在此基础上提出了一种基于时序概率超图模型的视频多语义标注框架（TPH-VMLAF）。该框架结合视频时间相关性,通过使用基于时序概率超图的镜头多标签半监督分类学习算法对视频镜头进行多语义标注。标注过程中同时解决了已标注视频数据不足和多语义标注的问题。实验结果表明,该框架提高了标注的精确度,表现出了良好的性能。     

基于AP聚类和频繁模式挖掘的视频摘要生成方法

为了有效支持视频数据库浏览和检索,通过视频摘要来对视频进行紧凑表达变得十分重要.提出了一种新颖的基于近邻传播聚类AP(Affinity Propagation)和频繁镜头模式挖掘的视频摘要自动生成算法.视频频繁镜头模式被定义为在一定时间窗口内经常出现的镜头系列.首先通过近邻传播聚类,将相似镜头聚合到一起;然后采用频繁镜头模式挖掘的方法对视频聚类内容进行挖掘,去掉视频中冗余内容部分;最后通过覆盖视频语义信息的频繁镜头模式生成视频摘要.实验结果表明,视频摘要算法取得了良好的效果.     

新闻视频中基于主持人识别的新闻故事探测

新闻视频由一个个内容相互独立的新闻故事组成。新闻故事探测是新闻视频浏览、基于内容检索等操作的前提。该文根据新闻视频的特殊结构和新闻节目主持人固定的特征，采用基于人脸检测的主持人镜头识别和基于语音的主持人识别来分割新闻视频中的新闻故事。实验表明，该方法能准确地探测出新闻视频中的新闻故事。     

基于颜色特征的视频数据库检索系统

为了在视频数据库中提供有效的视频检索和浏览功能,必须建立高效的索引.由于视频数据具有层次性的结构,在镜头边界检测后,可以利用聚类方法按不同的相似性尺度对镜头关键帧进行处理,对视频数据建立索引.该系统采用颜色特征,使用Twin Comparison算法实现镜头检测和直方图平均法实现关键帧提取,对关键帧采用K均值聚类算法处理,建立视频数据库索引.实验结果表明该系统能较好地实现视频快速浏览和检索功能.     

新闻视频显著人脸检索系统

该文针对新闻视频设计并实现了一个显著人脸检索系统。首先将新闻视频分割成镜头序列,利用训练好的CascadeAdaboost人脸检测器对每个镜头检测出一定数目的候选人脸,按照一些规则选取可信度高的作为样本,用于提取该镜头内的肤色模型。接着对肤色分割后的区域进行位置、大小分析和模板匹配,以淘汰非人脸区域,确定待跟踪的对象列表。为了做精确的跟踪和识别,系统对每个跟踪对象建立更细致的肤色模型。跟踪过程中每间隔一定帧数重新进行人脸检测,以减少误差积累和探测是否有新人脸出现。最后从每个人脸序列挑选最适合进行人脸识别的图像建立其特征脸空间,结合肤色信息和PCA算法判断其是否为要检索的目标人脸。     

基于粗糙集和模糊聚类的新闻视频镜头边界检测方法

为了将视频分割成镜头,目前的方法都是提取某些特征然后构造不同的相异性函数。然而,太多的特征就会降低镜头分割算法的效率。因此,有必要对每一个镜头检测决策进行特征约简。基于此,提出了基于粗糙集和模糊聚类的分类方法并得到了相应的决策规则。针对新闻场景的特殊性,将镜头分割成突变过渡、渐变过渡以及无场景变化3类。用超过2个小时的新闻视频所做的实验获得了96.5%的查全率和97.9%的准确率。     

Video segmentation using a histogram-based fuzzy c-means clustering algorithm

The purpose of video segmentation is to segment video sequence into shots where each shot represents a sequence of frames having the same contents, and then select key frames from each shot for indexing. Existing video segmentation methods can be classified into two groups: the shot change detection (SCD) approach for which thresholds have to be pre-assigned, and the clustering approach for which a prior knowledge of the number of clusters is required. In this paper, we propose a video segmentation method using a histogram-based fuzzy c-means (HBFCM) clustering algorithm. This algorithm is a hybrid of the two approaches aforementioned, and is designed to overcome the drawbacks of both approaches. The HBFCM clustering algorithm is composed of three phases: the feature extraction phase, the clustering phase, and the key-frame selection phase. In the first phase, differences between color histogram are extracted as features. In the second phase, the fuzzy c-means (FCM) is used to group features into three clusters: the shot change (SC) cluster, the suspected shot change (SSC) cluster, and the no shot change (NSC) cluster. In the last phase, shot change frames are identified from the SC and the SSC, and then used to segment video sequences into shots. Finally, key frames are selected from each shot. Simulation results indicate that the HBFCM clustering algorithm is robust and applicable to various types of video sequences.     

Exploiting scene maps and spatial relationships in quasi-static scenes for video face clustering

Video face clustering is a fundamental step in automatically annotating a video in terms of when and where (i.e., in which video shot and where in a video frame) a given person is visible. State-of-the-art face clustering solutions typically rely on the information derived from visual appearances of the face images. This is challenging because of a high degree of variation in these visual appearances due to factors like scale, viewpoint, head pose and facial expression. As a result, either the generated face clusters are not sufficiently pure, or their number is much higher than that of people appearing in the video. A possible way towards improved clustering performance is to analyze visual appearances of faces in specific contexts and take the contextual information into account when designing the clustering algorithm. In this paper, we focus on the context of quasi-static scenes, in which we can assume that the people's positions in a scene are (quasi-)stationary. We present a novel video clustering algorithm that exploits this property to match faces and efficiently propagate face labels across the scope of viewpoints, scale and level of zoom characterizing different frames and shots of a video. We also present a novel publicly available dataset of manually annotated quasi-static scene videos. Experimental assessment on the latter indicates that exploiting information derived by the scene and the spatial relationships between people can substantially improve the clustering performance compared to the state-of-the-art in the field.     

一种基于视频流的快速人脸检测算法

人脸检测广泛用于计算机视觉和模式识别领域。结合肤色检测和镶嵌图方法,提出一种对视频流中人脸进行快速检测的算法。该方法首先根据肤色信息和人脸的几何规则初步得到可能的人脸区,然后在候选区中利用改进的镶嵌图方法准确定位人脸。实验表明,该方法能快速而且准确地在视频流中进行人脸检测。     

基于人脸检测与SIFT的播音员镜头检测

播音员镜头的检测是新闻视频结构化的关键步骤之一.提出了一种基于人脸检测与SIFT特征点匹配的播音员镜头自动检测算法.该方法首先利用人脸检测器过滤出具有人脸的候选镜头,然后利用颜色直方图判断镜头是否可能相似,再利用SIFT特征点匹配从候选镜头关键帧中找出相关的镜头组,最后利用各镜头组的信息判断出哪些是播音员镜头.对比传统的方法,该方法除了训练一个通用的人脸检测器外,不需要模板,也不需要针对某类新闻节目训练特别的分类器,可以直接利用算法对新类型的新闻节目提取播音员镜头.实验结果表明,该算法能够广泛地适应于各种不同种类的新闻节目、不同视觉质量的视频,可以有效地应用于新闻视频分析.