基于数据网格环境的k近邻查询

提出一种在网格环境下的k近邻查询方法——GkNN．到目前为止,尚未有文献提出数据网格环境下的k近邻查询算法．当用户在查询节点提交一个查询向量和k,首先以一个较小的查询半径。在数据节点进行基于双重距离尺度的向量缩减,然后将缩减后的向量按照向量“打包”传输的方式发送到执行节点,在执行节点并行地对这些候选向量进行距离（求精）运算．最终将结果向量返回到查询节点．当返回的向量个数小于k时,扩大半径值,继续循环直到得到k个最近邻向量为止．理论分析和实验证明该方法在减少网络通信开销、增加I／O和CPU并行、降低-向应时间方面具有较好的性能,非常适合海量高维数据的查询．     

视觉知识：跨媒体智能进化的新支点

回顾跨媒体智能的发展历程,分析跨媒体智能的新趋势与现实瓶颈,展望跨媒体智能的未来前景。跨媒体智能旨在融合多来源、多模态数据,并试图利用不同媒体数据间的关系进行高层次语义理解与逻辑推理。现有跨媒体算法主要遵循了单媒体表达到多媒体融合的范式,其中特征学习与逻辑推理两个过程相对割裂,无法综合多源多层次的语义信息以获得统一特征,阻碍了推理和学习过程的相互促进和修正。这类范式缺乏显式知识积累与多级结构理解的过程,同时限制了模型可信度与鲁棒性。在这样的背景下,本文转向一种新的智能表达方式——视觉知识。以视觉知识驱动的跨媒体智能具有多层次建模和知识推理的特点,并易于进行视觉操作与重建。本文介绍了视觉知识的3个基本要素,即视觉概念、视觉关系和视觉推理,并对每个要素展开详细讨论与分析。视觉知识有助于实现数据与知识驱动的统一框架,学习可归因可溯源的结构化表达,推动跨媒体知识关联与智能推理。视觉知识具有强大的知识抽象表达能力和多重知识互补能力,为跨媒体智能进化提供了新的有力支点。     

基于改进的数据驱动决策树分析的3维人体运动检索

随着大量3维人体运动捕获数据库的出现,使得如何对人体运动数据进行高效分析和处理,从而有效利用运动捕获数据库成为一个新的挑战。为了高效地进行3维人体运动检索,首先通过从人体运动中提取一种基于3维空间变换特征规律的空间变换特征和运动的一些关键的时间特性来得到人体运动的3维时序特征;然后针对不同的训练需求,通过改进的数据驱动决策树的学习方法来分析关节点对运动相似的不同影响,并在检索过程中按照不同影响程度依次对关键点进行相似度计算;最终实现了一个高效的运动检索仿真系统。     

多媒体交叉参照检索系统研究

描述并实现了一个面向数字图书馆的多媒体交叉参照检索系统．该系统将对多模态数据的检索无缝地融合到一个系统中,基于交叉参照图模型,多模态交叉参照搜索引擎综合计算媒体对象与查询之间在语义和内容层上的相似度;系统还支持用户相关反馈调整交叉参照图模型．实验结果表明,该系统能够比较有效地进行多模态交叉参照检索．     

三角形约束下的图像特征点匹配方法

为了在特征点匹配过程中控制错误传播,提出一种基于三角形约束来进行图像特征点匹配的方法.首先检测可能误匹配或者位于变化区域的三角形,然后在后续三角形匹配细分过程中将这些三角形赋予较低优先级,从而可有效地控制错误在匹配过程中传播.实验结果表明,采用该方法能有效地控制匹配过程中的错误传播,提高匹配精度.     

基于对象形状的图象查询技术

基于图象内容的查询是根据图象实体(或区域)的颜色、形状、纹理、空间关系等特征属性来查询图象.它把图象处理、图象识别、图象数据库3个领域的技术成果结合起来,是一个有前途的发展方向.本文所作的工作是研究和实现根据图象实体(或区域)的形状来查询图象,内容包括：(1) 人对于形状的认知过程；(2) 表征形状的特征量集合；(3) 一种快速有效的图象匹配算法；(4) 原型系统Photo Engine.     

视频相似度的衡量

基于内容的视频检索系统中,最常用的检索方式是例子视频查询,即用户提交一部视频,系统返回相似的一系列视频,但是,怎样定义的两部视频是相似的,仍然是一个困难的问题。文中介绍了一种新的方法以解决这一难点。首先,提出了镜头质心特征向量的概念,减少了关键帧特征的存储量。其次,利用人类视觉判断中所潜在的因子,提出了视频在镜头间相似度的衡量,以及总体上相似度的衡量的方法,为不同粒度上的衡量提供了很大的灵活性,在现实意义上也是合理的。检索实验的结果证明了算法的有效性。     

基于压缩域特征话者识别的电视节目分类检索

本文提出在压缩域上直接对MPEG音频信号进行分析,达到电视节目实时分析检索目的.算法分为三步:首先利用压缩域特征对音频信号进行分割,然后应用分层方法把分割出来的音频片段粗分成音乐、语音和其它三个基本类别;由于话者身份是语音信号中的重要检索线索,最后利用隐马尔可夫链实现了与文本无关的话者识别,并用识别出来的话者身份对语音信号和其相应的视频进行标注     

一种基于稀疏典型性相关分析的图像检索方法?

图像语义检索的一个关键问题就是要找到图像底层特征与语义之间的关联,由于文本是表达语义的一种有效手段,因此提出通过研究文本与图像两种模态之间关系来构建反映两者间潜在语义关联的有效模型的思路。基于该模型,可使用自然语言形式(文本语句)来表达检索意图,最终检索到相关图像。该模型基于稀疏典型性相关分析(sparse canonical correlation analysis,简称sparse CCA),按照如下步骤训练得到：首先利用隐语义分析方法构造文本语义空间,然后以视觉词袋(bag of visual words)来表达文本所对应的图像,最后通过Sparse CCA算法找到一个语义相关空间,以实现文本语义与图像视觉单词间的映射。使用稀疏的相关性分析方法可以提高模型可解释性和保证检索结果稳定性。实验结果验证了Sparse CCA方法的有效性,同时也证实了所提出的图像语义检索方法的可行性。     

一种基于内容相关性的跨媒体检索方法

针对传统基于内容的多媒体检索对单一模态的限制,提出一种新的跨媒体检索方法.分析了不同模态的内容特征之间在统计意义上的典型相关性,并通过子空间映射解决了特征向量的异构性问题,同时结合相关反馈中的先验知识,修正不同模态多媒体数据集在子空间中的拓扑结构,实现跨媒体相关性的准确度量.实验以图像和音频数据为例验证了基于相关性学习的跨媒体检索方法的有效性.