基于小世界模型的高维数据查询算法

提出了一种从海量高维数据中进行高效查询的算法,该算法基于小世界网络模型,并采用网络节点表示高维数据的特征向量。算法主要包含两个部分,基于K-Means的索引生成算法和随机逼近查询算法,两个算法均给出了具体的操作步骤。算法经大量实验仿真,得出通过合理设置小世界网络节点的近邻节点数量以及最大查询路径和最大迭代次数等参数,算法可以满足不同精度的用户查询请求。实验结果表明,实现的算法在高维度海量数据查询中具有良好的检索效果。     

逐维聚类的相似度索引算法

随着多媒体信息技术的迅速发展，多维度索引技术在图像、视频等可视信息的存储、检索方面成为一个重要的研究领域，针对“维数危机”难题，提出逐维聚类相似度索引算法，该算法根据数据集的分布特性，对特征矢量的每一维进行聚类，算法在实现检索时可以逐步滤除与查询矢量不相似的数据集，缩小检索范围，进而提高了检索速度，实验结果表明，逐维聚类算法适用于基于相似度的高维数据矢量检索和查询，是一种简单、灵活的索引结构。     

金字塔多维索引分析及其算法实现

许多多维索引结构随着维度的增加会遇到“维度灾难”问题,而金字塔技术是基于一种依赖特殊优化数据维度的非平均分割策略,能够克服“维度灾难”问题。本文提出了基于金字塔技术的完整算法集,并针对完备高维索引算法,对金字塔索引技术的性能特性进行了深入分析。     

VAR-Tree--一种新的高维数据索引结构

在多媒体信息检索和数据挖掘等应用领域,实现高维矢量的K近邻搜索是非常具有挑战性的研究课题,为此人们提出了很多种索引结构．然而,现有研究成果表明,随着矢量维数的增加,基于树状索引结构的查询性能急剧下降,例如在R-Tree,X-Tree和SS-Tree中都会出现“维数灾难”．为此,又引入近似压缩的思想,即通过压缩数据来减少查询过程中的磁盘读写代价,例如VA-File等,不过,VA-File没有对近似矢量数据做任何的排序或层次处理．提出了一种新的索引结构VAR-Tree,它将VA-File与R-Tree有机结合起来,用R-Tree管理和组织VA-File中的近似数据,并用已提出的R-Tree类相似查询算法实现基于VAR-Tree的查询．实验结果表明,VAR-Tree较好地提高了检索性能．     

基于DHT的高维数据相似性检索方法研究

以在P2P网络下实现对海量、高维数据的高效相似性检索为目标,提出PLCID索引方法(modified iDistance based on Proximity Location Code),该方法有效地缩小了需要搜索的范围,减少了数据对象间的距离计算次数,提高了检索性能;根据PLCID索引方法,在结构化P2P网络上实现高维数据检索.通过实验表明,相比原来的iDistance索引方法,在时间性能和系统开销上都有了明显提高.     

高维主存的反向K最近邻查询及连接

对高维主存的反向K最近邻(KNN)查询进行研究,提出一种Δ-RdKNN-tree索引结构。通过在该索引结构上进行主存KNN自连接,预处理数据集中点的KNN距离信息。将这些距离扩展到索引的各层节点中,基于该索引设计高维主存的反向KNN查询算法以及反向KNN连接算法。分析结果表明,该算法在高维空间中是有效的。     

基于位置的路网Skyline查询处理研究

基于位置的路网Skyline查询可根据用户的需求及用户所处的位置,从大量数据中快速返回给用户期望的数据,但已有的道路网络技术需要计算大量的路网距离及数据点间支配关系的运算,导致查询效率较低。提出一种基于路网数据点的倒排索引查询算法DSR。通过计算少量数据点的路网距离求得最终结果,减小路网距离计算的代价,从而加快数据点间支配关系的判定,提升查询效率。在此基础上,在数据点更新情况下给出算法的动态维护,仅通过维护少量数据,DSR即可以快速地计算出Skyline集合。实验结果表明,与SSI、BSS等算法相比,该算法具有较高的查询效率,且时间性能明显提升。     

基于集合运算的数据立方体结构

提出一种新的数据立方体结构,通过索引和集合的交并运算来获得查询结果,特别是在进行区域查询时,避免了将区域分解为点后再依次进行点查询的方式,从而在保持较少的磁盘空间和较好的点查询响应速度的情况下,改善区域查询的性能;同时给出其生成和查询算法,并使用合成数据和实际数据进行了实验验证.     

一种有效的支持海量图像数据库QBE查询的聚类索引算法

对海量图像数据进行基于内容的查询与检索有赖于高效的索引和检索机制。因此,如何将海量图像数据进行合理的分类,人而建立相应的索引机制就成为了一个亟待解决的问题。本文提出了一种有效的支持海量图像数据库QBE查询的聚类索引算法。实验在1万多幅的图像数据库上进行了反复测试,结果表明该算法可以极大地提高检索效率。     

基于多媒体图像数据的查询检索

本文对多媒体图像数据提出一套较灵活的存储、索引查询方式。针对多媒体数据库信息查询通用性的问题，构建了一个较为集成的特征库。针对高维数据查询效率问题，将基于内容、颜色、距离和形状的匹配算法与FNN算法及查找聚类重心的加速检索算法集成于查询检索引擎IRE，使查询更高效、应用更广泛。     

大规模人脸检索系统设计与实现

基于深度学习的大规模人脸检索系统通常面临两个主要困难:海量高维人脸特征导致查询速度慢;深度特征维数高,导致传统的树状索引算法失效。针对这些困难,设计并实现一种大规模人脸检索系统。使用ArcFace作为人脸特征提取器,通过构建正轴体LSH(Locality-Sensitive Hashin)和VLH(Variable Length Hashing)索引,加速大规模K近邻特征查询。通过有针对性地设计存储结构与访问机制,降低系统部署成本,提升系统可扩展性。     

基于R树的图像检索方法

高维索引技术作为高维空间数据的快速查询手段,对使用高维数据的基于内容图像检索有着广泛的应用。本文提出以Guttm an提出的R树结构建立存储图像的特征值的高维索引结构来提高图像检索效率。首先对R树的结构进行介绍,然后通过对比相同情况下使用线性查询和R树查询各自的查询次数和查询时间分析R树查询的优势。实验结果表明,利用R树结构可以减少图像检索的查询次数和查询时间,明显地提高图像检索的效率。     

Intelligent multimedia data: data + indices + inference

In this paper, we present a novel approach for multimedia data indexing and retrieval that is machine independent and highly flexible for sharing multimedia data across applications. Traditional multimedia data indexing and retrieval problems have been attacked using the central data server as the main focus, and most of the indexing and query-processing for retrieval are highly application dependent. This precludes the use of created indices and query processing mechanisms for multimedia data which, in general, have a wide variety of uses across applications. The approach proposed in this paper addresses three issues: 1. multimedia data indexing; 2. inference or query processing; and 3. combining indices and inference or query mechanism with the data to facilitate machine independence in retrieval and query processing. We emphasize the third issue, as typically multimedia data are huge in size and requires intra-data indexing. We describe how the proposed approach addresses various problems faced by the application developers in indexing and retrieval of multimedia data. Finally, we present two applications developed based on the proposed approach: video indexing; and video content authorization for presentation.     

基于索引和相关反馈的图像检索研究

在基于图像内容的图像检索(CBIR)系统中,搜索引擎检索图像类似于按照相似标准来查询图像,它应该有足够快的速度并且有较高的检索准确率.索引用来提高系统响应,而相关反馈用于帮助提高检索准确率.在本文中,主要说明基于人感知的相似性度量,以及讨论综合相关反馈的索引方案.该索引方案通过分析特征熵而得出的主从键,而相关反馈是根据Mann-Whitnev检验而提出的,该检验通常用来识别来自同一搜索集中相关图像和不相关图像之间不同特征,并利用不同特征的特点提高检索性能.相关反馈方案针对两不同相似标准来执行,检验判定了这个方法的有效性.最后,把索引机制和相关反馈机制结合起来建立搜索引擎.     

基于索引结构的高效运动视频检索

视频片断检索是视频领域的研究热点,为了提高查询效率,利用高维索引结构Vector-Approximation File（VA-File）来组织视频子片段,并采用新的相似度模型和基于限定性滑动窗口的高效视频检索算法进行视频片段检索．提出的子片段的分割算法能够较好地区分运动的细节动作,且相似度模型充分考虑了对应子片段之间的视觉相似性以及时间顺序关系,因此对于运动视频的检索十分有效．实验证明,对于运动视频片段检索不仅具有较高的查询效率,而且能够得到较高的查全率和准确率．     

FAST: Toward more effective and efficient image retrieval

This paper focuses on developing a Fast And Semantics-Tailored (FAST) image retrieval methodology. Specifically, the contributions of FAST methodology to the CBIR literature include: (1) development of a new indexing method based on fuzzy logic to incorporate color, texture, and shape information into a region-based approach to improving the retrieval effectiveness and robustness; (2) development of a new hierarchical indexing structure and the corresponding hierarchical, elimination-based A* retrieval (HEAR) algorithm to significantly improve the retrieval efficiency without sacrificing the retrieval effectiveness; it is shown that HEAR is guaranteed to deliver a logarithm search in the average case; (3) employment of user relevance feedback to tailor the effective retrieval to each user's individualized query preference through the novel indexing tree pruning (ITP) and adaptive region weight updating (ARWU) algorithms. Theoretical analysis and experimental evaluations show that FAST methodology holds great promise in delivering fast and semantics-tailored image retrieval in CBIR.     

基于子向量距离索引的高维图像特征匹配算法

图像局部不变特征已经成功地应用在计算机视觉当中的许多领域,而如何快速有效地匹配高维图像局部特征向量是解决这类问题的关键步骤。提出了一种新的基于子向量距离索引的高维特征向量匹配算法,将高维空间中最近邻搜索问题转化为一维索引值的查找和局部搜索问题,在保证较高的搜索精度的同时大大提高了搜索速度。大量的图像匹配和图像检索实验验证了该算法的有效性。     

Indexing expensive functions for efficient multi-dimensional similarity search

Similarity search is important in information retrieval applications where objects are usually represented as vectors of high dimensionality. This leads to the increasing need for supporting the indexing of high-dimensional data. On the other hand, indexing structures based on space partitioning are powerless because of the well-known “curse of dimensionality”. Linear scan of the data with approximation is more efficient in the high-dimensional similarity search. However, approaches so far have concentrated on reducing I/O, and ignored the computation cost. For an expensive distance function such as L _p norm with fractional p, the computation cost becomes the bottleneck. We propose a new technique to address expensive distance functions by “indexing the function” by pre-computing some key values of the function once. Then, the values are used to develop the upper/lower bounds of the distance between a data vector and the query vector. The technique is extremely efficient since it avoids most of the distance function computations; moreover, it does not involve any extra secondary storage because no index is constructed and stored. The efficiency is confirmed by cost analysis, as well as experiments on synthetic and real data.     

Efficient high-dimensional indexing by sorting principal component

The vector approximation file (VA-file) approach is an efficient high-dimensional indexing method for image retrieval in large database. Some extensions of VA-file have been proposed towards better query performance. However, all of these methods applying sequential scan need read the whole vector approximation file. In this paper, we present a new indexing structure based on vector approximation method, in which only a small part of approximation file need be accessed. First, principal component analysis is used to map multidimensional points to a 1D line. Then a B⁺-tree is built to index the approximate vector according to principal component. When performing k-nearest neighbor search, the partial distortion searching algorithm is used to reject the improper approximate vectors. Only a small set of approximate vectors need to be sequentially scanned during the search, which can reduce the CPU cost and I/O cost dramatically. Experiment results on large image databases show that the new approach provides a faster search speed than the other VA-file approaches.