基于视觉缩略图的高维音乐信息可视化的关键技术研究

对基于视觉缩略图的高维音乐信息可视化技术作了深入探讨。对代表性的音乐可视化、特别是视觉缩略图的各种技术进行了广泛调研,通过一系列的用户调查分析了音乐内容的视觉缩略图应具备的基本特征。在此基础之上,提出了一种新颖的视觉缩略图ThumbnailDJ,并对其进行了一系列的用户测试。在对实验结果进行分析后,讨论了音乐信息可视化的应用前景、发展方向及相关研究重点。高维音乐内容的视觉描述有助于提高音乐库的浏览和检索效率,本研究将有助于缩小音乐视觉描述与用户音乐感知之间的语义鸿沟,提高音乐库的浏览和检索效率。同时,研究成果也将对高维数据的信息可视化研究起到重要的借鉴作用。     

从运动捕获数据中提取关键帧

在四元数表示下导出了两个旋转之间差异的一种简单形式，将人体各关节上总的旋转变化作为帧间距，设计了一种从运动捕获数据中提取关键帧的高效算法，通过向量的线性插值和四元数的球面线性插值重建了原始动画。实验表明，该算法具有很好的数据压缩效果，而且提取出的关键帧在视觉上对原始动画具有概括力。     

基于粒子群的关键帧提取算法

关键帧提取是基于内容的视频检索中的重要一步,为了能够有效地提取出不同类型视频的关键帧,提出一种基于粒子群的关键帧提取算法。该方法首先提取出视频中每帧的全局运动和局部运动特征,然后通过粒子群算法自适应地提取视频关键帧。实验结果表明,采用该算法对不同类型的视频提取出的关键帧具有较好的代表性。     

基于镜头间信息的关键帧提取

关键帧提取是视频检索和摘要的基本技术之一。高效的关键帧提取技术能促进广泛应用的视频浏览技术的发展。本文提出了一种新的选择关键帧的准则,并相应地提出了基于帧频-反比镜头频数的关键帧选取算法。它的新颖之处在于在关键帧提取中不但应用了镜头内的信息,而且运用了镜头之间的视觉信息。     

一种基于子镜头聚类的情节代表帧选取方法

情节代表帧选取方法是视频语义分析和基于内容的视频检索的很重要的方法。代表帧的使用大大减少了视频索引的数据量,同时也为视频摘要和检索提供了一种快捷的方法。该文在子镜头的关键帧提取方法基础上,利用模糊C-均值聚类算法,实现了一种基于子镜头聚类的情节代表帧选取方法。实验证明该方法计算简单,可以较好地代表视频情节。     

A motion-based scene tree for browsing and retrieval of compressed videos

This paper describes a fully automatic content-based approach for browsing and retrieval of MPEG-2 compressed video. The first step of the approach is the detection of shot boundaries based on motion vectors available from the compressed video stream. The next step involves the construction of a scene tree from the shots obtained earlier. The scene tree is shown to capture some semantic information as well as to provide a construct for hierarchical browsing of compressed videos. Finally, we build a new model for video similarity based on global as well as local motion associated with each node in the scene tree. To this end, we propose new approaches to camera motion and object motion estimation. The experimental results demonstrate that the integration of the above techniques results in an efficient framework for browsing and searching large video databases.     

基于多特征相似度曲线曲率检测的关键帧提取

网络多媒体的迅猛发展和普及使得对海量视频信息进行快速和低成本管理的需求日益迫切,而关键帧可以大大减少视频索引的数据量,同时也为查询和检索视频提供了一个组织框架。针对现有关键帧提取算法存在的特征选取单一、阈值选择困难和视频类型局限性等问题,提出了一种基于多特征相似度曲线最大曲率点检测的关键帧提取方法。算法利用多特征融合的相似性度量来捕获视频内容的显著变化,弥补了单一特征对视频内容描述不充分的不足,且基于滑动窗口的检测算法无需阈值选择,可以实时、局部地提取关键帧,解决了传统算法计算量大、通用性差的问题。最后通过实验利用一种保真度评估标准验证了该算法的有效性。     

语义视频检索的现状和研究进展

概述了图像的可视化特征如颜色、纹理、形状和运动信息,时空关系分析,以及多特征目标提取和相似度量度;分析了视频语义的提取,语义查询、检索;探讨了视频语义检索的性能评估,存在的问题和发展方向。     

Region-based image retrieval with high-level semantics using decision tree learning

Semantic-based image retrieval has attracted great interest in recent years. This paper proposes a region-based image retrieval system with high-level semantic learning. The key features of the system are: (1) it supports both query by keyword and query by region of interest. The system segments an image into different regions and extracts low-level features of each region. From these features, high-level concepts are obtained using a proposed decision tree-based learning algorithm named DT-ST. During retrieval, a set of images whose semantic concept matches the query is returned. Experiments on a standard real-world image database confirm that the proposed system significantly improves the retrieval performance, compared with a conventional content-based image retrieval system. (2) The proposed decision tree induction method DT-ST for image semantic learning is different from other decision tree induction algorithms in that it makes use of the semantic templates to discretize continuous-valued region features and avoids the difficult image feature discretization problem. Furthermore, it introduces a hybrid tree simplification method to handle the noise and tree fragmentation problems, thereby improving the classification performance of the tree. Experimental results indicate that DT-ST outperforms two well-established decision tree induction algorithms ID3 and C4.5 in image semantic learning.     

Efficient motion data indexing and retrieval with local similarity measure of motion strings

Widely used in data-driven computer animation, motion capture data exhibits its complexity both spatially and temporally. The indexing and retrieval of motion data is a hard task that is not totally solved. In this paper, we present an efficient motion data indexing and retrieval method based on self-organizing map and Smith–Waterman string similarity metric. Existing motion clips are first used to train a self-organizing map and then indexed by the nodes of the map to get the motion strings. The Smith–Waterman algorithm, a local similarity measure method for string comparison, is used in clustering the motion strings. Then the motion motif of each cluster is extracted for the retrieval of example-based query. As an unsupervised learning approach, our method can cluster motion clips automatically without needing to know their motion types. Experiment results on a dataset of various kinds of motion show that the proposed method not only clusters the motion data accurately but also retrieves appropriate motion data efficiently.     

基于SOM 特性和PCA 索引的三维运动检索

提出了一种基于自组织特征映射(SOM)和PCA 索引的三维运动数据检索方法.首先利用每一个运动序列来进行拓扑特性加强的SOM 的学习,其运动特性被映射到一个主曲面,然后利用主成分分析方法(PCA)提取主曲面的主成分来建立一个基于主成分的索引机制,加快检索速率.SOM 的引入避免了与原始数据的直接接触,后续的工作只是在主曲面的基础上展开,消除了不同骨架长度的位置信息对运动特性的影响.实验结果表明了算法的有效性.     

基于拉普拉斯分值特征选择的运动捕获数据关键帧提取

针对已有的运动捕获数据关键帧提取方法常常忽略运动数据局部拓扑结构特性问题,提出了一种基于拉普拉斯分值LS特征选择的人体运动数据关键帧提取方法。该方法首先从原始运动数据集中提取两种代表性的特征向量并对其归一化,利用LS算法对组合后的特征向量进行打分和特征权重学习,以获取能够判别性揭示局部运动信息的特征子向量;其次,通过构建综合特征函数并基于极值判别原理,得到初始候选关键帧序列;最后,根据时间阈值约束和姿态相似判别策略,利用改进的k-means算法对候选帧进行聚类筛选,以达到去除冗余关键帧的目的,从而得到最终关键帧序列集合。仿真实验结果表明,该方法提取的关键帧序列具有典型性,能较好地对整体运动捕获数据进行视觉概括。     

基于四元数描述和EMD的人体运动捕获数据检索

针对运动捕获数据的高效匹配问题,提出了一种新的基于四元数描述和EMD（ Earth Mover＆#39;s Distance）的人体运动检索算法。该算法主要包括特征提取和运动匹配两部分。在特征提取部分,为了解决高维数据检索效率低的问题,引入了四元数描述符对关节点的数据信息特征进行描述,通过映射姿态分布的原始数据,并采取K-means聚类方法对待查询动作和运动数据库的特征数据进行降维并归类。在运动匹配部分,根据聚类结果,建立每个特征数据集的距离矩阵,将匹配问题转换为运输优化问题。然后,用EMD算法度量待查询动作和数据库动作之间的相似值。仿真实验结果证明了提出的算法是有效的。     

一种层次视频摘要生成方法

视频摘要是视频内容的一种压缩表示方式。为了能够更好地浏览视频，提出了一种根据浏览或检索的粒度不同来建立两种层次视频摘要(镜头级和场景级)的思想，并给出了一种视频摘要生成方法：首先用一种根据内容变化自动提取镜头内关键帧的方法来实现关键帧的提取；继而用一种改进的时间自适应算法通过镜头的组合来得到场景；最后在场景级用最小生成树方法提取代表帧。由于关键帧和代表帧分别代表了它们所在镜头和场景的主要内容，因此它们的序列就构成了视频总结。一些电影视频片段检验的实验结果表明，这种生成方法能够较好地提供粗细两种粒度的视频内容总结。     

基于稀疏学习的人脸语义子空间提取

人脸语义检索在识别技术中有着重要的作用,如表情检索、性别判断、年龄估计等,上述识别技术通过捉捕人脸语义信息来实现。研究将人脸语义信息融入到人脸检索中,提出一种基于稀疏学习的人脸语义子空间提取方法。语义子空间学习被分为字典构建和稀疏学习2个部分。在字典构建的过程中,给出语义差的方法来对互斥语义进行计算,使提取的某类语义不受其他类语义干扰语义子空间,并对不同语义环境和不同语义差组合进行测试。在稀疏学习部分,使用Lasso算法对其进行改进。实验结果表明,与传统Fisher方法相比,该方法撇除其他语义干扰的子空间稳定性更强,且有一定的降维效果。     

基于子窗口区域的足球视频镜头分类

为了对海量视频数据进行有效的管理和快速浏览,急需对数字视频进行基于内容的视频检索。镜头分类是足球视频处理与检索的重要部分,针对目前现有足球镜头分类方法存在算法准确性不高或运算量过大的问题,提出了一种新的基于子窗口区域的镜头分类方法。该方法采用在HSV颜色空间中计算足球视频帧子窗口区域球场色像素比率,并辅以边缘信息的检测,对足球视频中的主镜头、中镜头、特写镜头和其他镜头进行了分类,实验结果表明该方法切实可行,具有很高的检出率和准确率。     

Deep Event Learning boosT-up Approach: DELTA

Nowadays, the video surveillance systems may be omnipresent, but essential for supervision everywhere, e.g., ATM, airport, railway station and other crowded situations. In the multi-view video systems, various cameras are producing a huge amount of video content around the clock which makes it difficult for fast browsing, retrieval, and analysis. Accessing and managing such huge data in real time becomes a real challenging task because of inter-view dependencies, illumination changes and the bearing of many inactive frames. The work highlights an accurate and efficient technique to detect and summarize the event in multi-view surveillance videos using boosting, a machine learning algorithm, as a solution to the above issues. Interview dependencies across multiple views of the video are captured via weak learning classifiers in boosting algorithm. The light changes and still frames are tackled with moving an object in the frame by Deep learning framework. It helps to reach the correct decision for the active frame and inactive frame, without any prior information about the number of issues in a video. Target, as well as subjective ratings, clearly indicate the potency of our proposed DELTA model, where it successfully reduces the video data, while keeping the important information as events.     

基于语义概念的视频检索系统的设计与实现

设计并实现了一种基于语义概念的视频检索系统,该系统包括视频镜头分割与关键帧提取、语义概念检测和用户检索3个部分。系统采用镜头分割与关键帧提取对视频进行层次分割,并对关键帧图像提取有效的图像低层特征,再使用支持向量机(SVM)进行概念的检测,最后针对概念内容进行视频检索。在概念检测中,提出了一种基于验证平均准确率的线性加权方法对SVM的分类结果进行后融合。实验结果表明,该方法可以达到较高的检索准确率。     

基于压缩域的关键帧快速提取方法

关键帧提取技术是基于内容检索和视频分析的基础。关键帧的使用减少了视频索引的数据量,同时也为视频摘要和检索提供了一个组织框架。首先介绍了目前的关键帧提取技术,然后提出了一种基于运动特征利用模糊推理算法从MPEG视频流中提取关键帧的方法。由于处理过程是直接从MPEG的压缩视频提取,不需对其解压,所以计算复杂度低,提高了提取速度。实验证明该方法效率高,可以比较好地代表视频内容。     

改进的蚁群算法与凝聚相结合的关键帧提取

关键帧提取技术,对基于内容的视频检索有着重要的作用。为了从不同类型的视频中有效地提取关键帧,提出了改进的蚁群算法与凝聚相结合的关键帧提取算法。该方法提取视频中每帧的颜色与边缘特征向量,利用改进的蚁群算法自组织地对颜色和边缘特征向量进行聚类,得到初始聚类。通过凝聚算法对初始聚类进行优化,得到最终聚类。提取每类中距离聚类中心最近的向量,将其对应帧作为关键帧。实验结果表明:使用该算法提取的关键帧不仅可以充分表达出视频的主要内容,而且可以根据视频内容的变化提取出适当数量的关键帧。