基于语义概念的视频检索系统的设计与实现

设计并实现了一种基于语义概念的视频检索系统,该系统包括视频镜头分割与关键帧提取、语义概念检测和用户检索3个部分。系统采用镜头分割与关键帧提取对视频进行层次分割,并对关键帧图像提取有效的图像低层特征,再使用支持向量机(SVM)进行概念的检测,最后针对概念内容进行视频检索。在概念检测中,提出了一种基于验证平均准确率的线性加权方法对SVM的分类结果进行后融合。实验结果表明,该方法可以达到较高的检索准确率。     

基于拓扑独立成分分析和高斯混合模型的视频语义概念检测

针对目前词袋模型(BoW)视频语义概念检测方法中的量化误差问题,为了更有效地自动提取视频的底层特征,提出一种基于拓扑独立成分分析(TICA)和高斯混合模型(GMM)的视频语义概念检测算法。首先,通过TICA算法进行视频片段的特征提取,该特征提取算法能够学习到视频片段复杂不变性特征;其次利用GMM方法对视频视觉特征进行建模,描述视频特征的分布情况;最后构造视频片段的GMM超向量,采用支持向量机(SVM)进行视频语义概念检测。GMM是BoW概率框架下的拓展,能够减少量化误差,具有良好的鲁棒性。在TRECVID 2012和OV两个视频库上,将所提方法与传统的BoW、SIFT-GMM方法进行了对比实验,结果表明,基于TICA和GMM的视频语义概念检测方法能够提高视频语义概念检测的准确率。     

基于多特征融合和SVM分类器的植物病虫害检测方法

针对农业领域植物病虫害检测问题,提出一种基于高清视频图像融合特征的支持向量机(SVM)的检测方法,实现农业生产中植物病虫害的快速检测。对每幅植物叶片图像的颜色、HSV、纹理和方向梯度直方图四种特征采用基于特征包的多特征融合方法,形成特征向量,并利用SVM分类器进行训练分类。对单特征与融合特征的SVM分类器性能进行试验比较,所提出的方法具有较高的准确率。     

基于局部SVM分类器的表情识别方法

提出了一种新的视频人脸表情识别方法. 该方法将识别过程分成人脸表情特征提取和分类2个部分,首先采用基于点跟踪的活动形状模型(ASM)从视频人脸中提取人脸表情几何特征;然后,采用一种新的局部支撑向量机分类器对表情进行分类. 在Cohn2Kanade数据库上对KNN、SVM、KNN2SVM和LSVM 4种分类器的比较实验结果验证了所提出方法的有效性.     

一种有效的基于证据理论的离线签名识别方法

提出了一种有效的基于证据理论的离线签名识别方法。从签名图像的3种信息载体中提取出4种特征,利用所提取的4种特征分别构造基于证据理论的k-NN分类器对签名图像进行初步识别,将各k-NN分类器的输出作为证据,用改进的证据理论合成公式融合不同分类器的输出得到最终识别结果。结果表明：该识别方法能有效地提高离线签名的识别率。     

基于自适应SVM的半监督主动学习视频标注

具有不同分布特性的视频包含相同的语义概念,会表现出不同的视觉特征,从而导致标注正确率下降。为解决该问题,提出一种基于自适应支持向量机(SVM)的半监督主动学习视频标注算法。通过引入?函数和优化模型参数将现有分类器转换为自适应支持向量(A-SVM)分类器,将基于高斯调和函数的半监督学习融合到基于A-SVM的主动学习中,得出相关性评价函数,根据评价函数对视频数据进行标注。实验结果表明,该算法在跨域视频概念检测问题上的平均标准率为68.1%,平均标全率为60%,与支持向量机半监督主动学习和基于直推式支持向量机半监督主动学习相比有所提高。     

基于语义的视频镜头的分类技术

提出了一种基于底层特征和基于高级语义特征的视频镜头分类方法,使用RBF核的支持向量机（SVM）作为分类器,分别将其应用于动漫/真人和足球比赛视频的镜头分类,前者的平均错误概率控制在了7.43%之内,而基于高级语义特征的足球比赛镜头分类的准确率达到了84%。     

基于支持向量机和k-近邻分类器的多特征融合方法

针对传统分类方法只采用一种分类器而存在的片面性,分类精度不高,以及支持向量机分类超平面附近点易错分的问题,提出了基于支持向量机（SVM）和k 近邻(KNN)的多特征融合方法。在该算法中,设样本集特征可分为L组,先用SVM算法根据训练集中每组特征数据构造分类超平面,共构造L个;其次用SVM KNN方法对测试集进行测试,得到由L组后验概率构成的决策轮廓矩阵;最后将其进行多特征融合,输出最终的分类结果。用鸢尾属植物数据进行了数值实验,实验结果表明：采用基于SVM KNN的多特征融合方法比单独使用一种SVM或SVM KNN方法的平均预测精度分别提高了28.7%和1.9%。     

基于神经网络和证据理论的离线签名识别

论文提出了一种有效的基于神经网络和证据理论的离线签名识别方法。利用从签名图象中提取的三种特征分别构造BP神经网络分类器对签名图象进行初步识别,然后将各分类器的输出作为证据,利用证据理论融合来自不同分类器的输出得到最终识别结果。实验表明,该识别方法能有效提高离线签名的识别率。     

液晶字符识别的CNN和SVM组合分类器

针对仪表液晶显示字符识别问题,提出一种结合了卷积神经网络(CNN)和支持向量机(SVM)的字符识别方法.分别采用具有并联结构的CNN模型和基于梯度方向直方图(HOG)特征的SVM方法构建基本分类器,当2个分类器的结果存在冲突时,利用CNN的softmax输出最大值判决最终结果,当其大于设定阈值时采用CNN分类器的结果,...     

一种基于语义的视频场景分割算法

针对如何在镜头基础上进行聚类，以得到更高层次的场景问题，提出了一个基于语义的场景分割算法。该算法首先将视频分割为镜头，并提取镜头的关键帧。然后计算关键帧的颜色直方图和MPEG-7边缘直方图，以形成关键帧的特征；接着利用镜头关键帧的颜色和纹理特征对支持向量机（SVM）进行训练来构造7个基于SVM对应不同语义概念的分类器，并利用它们对要进行场景分割的视频镜头关键帧进行分类，以得到关键帧的语义。并根据关键帧包含的语义概念形成了其语义概念矢量，最后根据语义概念矢量通过对镜头关键帧进行聚类来得到场景。另外．为提取场景关键帧，还构建了镜头选择函数，并根据该函数值的大小来选择场景的关键帧。实验结果表明，该场景分割算法与Hanjalic的方法相比，查准率和查全率分别提高了34．7％和9．1％。     

基于语义的体育视频场景分割方法

以网球视频为例,提出一种基于语义的体育视频场景分割方法。基于网球视频的先验知识设计一个具有6个语义场景的分类器,并根据各个场景的视觉特点提取球场地标线连接点、球场颜色、相机运动模式和人物等可感知特征作为特征。利用支持向量机技术对视频镜头进行语义分类,并给出一种利用聚类提取示例的主动学习算法。对大量网球视频进行实验,结果表明该方法能够得到比传统方法更好的效果。     

视频语义分析两级多模式融合算法

为了全面准确地获取视频高层语义信息,提出了一种基于仿生的视频语义分析两级多模式融合算法。该算法仿照人脑多感觉融合机理,先将视频中多模式特征按不同类别划分为组,然后对每一组中的多模低层特征用层次隐马尔可夫模型(HHMM)进行数据融合;同时将以似然率表示的多个低层融合结果作为高层融合的输入,再通过基于核的非线性算法把输入空间变换到高维特征空间;最后在特征空间中求取最优线性分类面,即可得到最终的多模式两级融合结果。实验表明,该方法不仅能有效融合视频中的多模式特征,而且能获取全面、准确的高层语义信息。     

Incorporating Concept Ontology for Hierarchical Video Classification, Annotation, and Visualization

Most existing content-based video retrieval (CBVR) systems are now amenable to support automatic low-level feature extraction, but they still have limited effectiveness from a user's perspective because of the semantic gap. Automatic video concept detection via semantic classification is one promising solution to bridge the semantic gap. To speed up SVM video classifier training in high-dimensional heterogeneous feature space, a novel multimodal boosting algorithm is proposed by incorporating feature hierarchy and boosting to reduce both the training cost and the size of training samples significantly. To avoid the inter-level error transmission problem, a novel hierarchical boosting scheme is proposed by incorporating concept ontology and multitask learning to boost hierarchical video classifier training through exploiting the strong correlations between the video concepts. To bridge the semantic gap between the available video concepts and the users' real needs, a novel hyperbolic visualization framework is seamlessly incorporated to enable intuitive query specification and evaluation by acquainting the users with a good global view of large-scale video collections. Our experiments in one specific domain of surgery education videos have also provided very convincing results.     

基于负样本精简概念格规则的语义概念检测

为挖掘视频中丰富的语义信息,提出基于负样本精简概念格规则的语义概念检测方法.分析基于概念格的语义分析系统,考虑训练数据中负样本的信息,提出利用负样本精简的语义规则提取算法,将其应用于视频语义检测.先将视频镜头的低层特征映射到低层语义特征,再利用该算法生成语义分类规则,进行视频语义概念检测.实验结果表明,该方法是有效可行...     

A novel framework for concept detection on large scale video database and feature pool

Large-scale semantic concept detection from large video database suffers from large variations among different semantic concepts as well as their corresponding effective low-level features. In this paper, we propose a novel framework to deal with this obstacle. The proposed framework consists of four major components: feature pool construction, pre-filtering, modeling, and classification. First, a large low-level feature pool is constructed, from which a specific set of features are selected for the latter steps automatically or semi-automatically. Then, to deal with the unbalance problem in training set, a pre-filtering classifier is generated, which the aim of achieving a high recall rate and a certain precision rate nearly 50% for a certain concept. Thereafter, from the pre-filtered training samples, a SVM classifier is built based on the selected features in the feature pool. After that, the SVM classifier is applied to classification of semantic concept. This framework is flexible and extensible in terms of adding new features into the feature pool, introducing human interactions in selecting features, building models for new concepts and adopting active learning.     

A discriminative structural model for joint segmentation and recognition of human actions

Achieving joint segmentation and recognition of continuous actions in a long-term video is a challenging task due to the varying durations of actions and the complex transitions of multiple actions. In this paper, a novel discriminative structural model is proposed for splitting a long-term video into segments and annotating the action label of each segment. A set of state variables is introduced into the model to explore discriminative semantic concepts shared among different actions. To exploit the statistical dependences among segments, temporal context is captured at both the action level and the semantic concept level. The state variables are treated as latent information in the discriminative structural model and inferred during both training and testing. Experiments on multi-view IXMAS and realistic Hollywood datasets demonstrate the effectiveness of the proposed method.     

基于内容的视频分层语义联想模型

提出一种视频的分层语义联想模型,构造三个层次的信息：概念层次树,场景网络和语义对象网络。利用概念层次树来适应不同的应用环境,场景网络表示视频的时间信息,而语义对象及其关系用来表示视频镜头的内容,通过分属不同镜头的语义对象的关系来表示镜头间的语义相关度。该模型采用基于时间和语义关系的检索方法,搜索结果是收敛的。