一种适用于汉语的索引文件结构

本文给出一种以词语为索引项的索引文件存储结构,以及基于这种结构的索引查询算法.首先分析中文索引库的分布规律,接着在此基础上设计了一种逆序存储的三层索引结构,这种结构在创建索引时能根据词语频率自动调整存储顺序,最后给出一种基于自动机和逆向最大匹配的索引查询算法.实验系统TIFS将三层索引结构与B树、哈希方法在时间和空间复杂度方面进行对比,结果表明,对于大规模的中文文本检索,三层索引结构的综合效果最好.     

一种基于VARdnn-Tree的反向最近邻查询方法*

空间数据库中反向最近邻查询在低维查询时一般利用基于R-Tree的改进树作为索引结构,由于树型索引结构本身的限制,R-Tree等索引结构的查询在高维中都会出现维数灾难。针对这个问题,提出了一种基于VARdnn-Tree的索引结构,采用量化压缩的方法存储数据,能够有效地支持高维查询。     

Native XML数据库XSQS查询处理系统的设计与实现

XML已经成为互联网中数据表示和数据交换事实上的标准.实现专门对于XML数据的有效存储和查询变得十分重要.报告了当前NativeXML数据库在国内外的发展情况,讨论了一种NativeXML数据库管理系统原型XSQS的功能及概要设计.系统采用了基于压缩表的存储方式和索引结构,采用了基于结果集的查询处理方法.重点讨论了系统查询处理部分的设计及实现.实践结果表明,这种存储索引结构和查询方式相结合,使系统在查询效率上有了显著的提高.     

X-Hop:传递闭包的多跳数压缩存储和快速可达性查询

海量图数据上的可达性查询是图数据管理的基本问题。目前解决这个问题的基本方法是对可达关系传递闭包进行压缩存储,再辅以快速查询算法来回答两顶点是否可达。在此基础上,重点研究了稠密图条件下可达传递闭包的高压缩比存储和有效查询算法,提出了多跳(简称为X-Hop)压缩存储方法。通过采用生成树的结构对2-Hop中的中心顶点进行组织,X-Hop存储有效地降低了2-Hop方法中需要记录的索引点数量,从而极大地提高了压缩比。实验证明,X-Hop在索引的规模上要远远小于2-Hop存储,并且在查询效率上也取得优势。     

OrientStore+: 一种支持高效更新的Native XML存储方法

XML数据在数据库中的存储模式对XML数据的查询、索引及更新有重要的影响.而目前许多XML存储方法在更新上都需要较高的代价.提出一种Native XML存储方法OrientStore ,可以完全保留XML树结构信息,同时还具有如下特点:1)易于对XML数据建立各种索引; 2)存储记录间相互独立,进行更新时,可以减少对XML存储及索引的修改,减小了更新的代价; 3)在Native XML数据库系统OrientX中实现了这种存储模式.另外,在这种存储模式基础上提出一种基于空间利用率的XML存储更新算法.并通过实验比较了在不同存储方法上的查询与更新效率.     

一种多对象时间序列数据存储设计

本文讨论了在现有的数据存储和索引技术的基础上,结合固定周期产生状态数据设备的检测特点定义了一种存储结构和索引结构,以获得更高的空间利用率和查询效率。首先深入分析状态数据所具有的时间和设备二维性并定义了相应的二维存储结构,分别针对每一维建立了索引,然后分析了基于此结构的存储和查询方法。     

列存储数据库中压缩位图索引技术

为提高压缩码的利用率,提出一种适用于列存储数据库的压缩位图索引技术。定义反转、合并等操作,将所有计算的输入值与输出值格式化为位向量形式。通过活跃度衡量索引中位向量的复杂度,并对压缩位向量进行直接计算,优化where子句和group by子句在查询执行过程中的数据提取。在SSB数据集上的实验结果证明,该技术能提高29.7%~38.9%的压缩位图索引性能。     

一种有效的空间数据仓库区域聚集查询索引结构

空间数据仓库有效地支持对空间数据的管理和分析,提供更加全面的决策支持．讨论了一种有效的空间决策支持手段——空间区域聚集查询的实现．基于aggregate cubetree和aR—tree提出了一个可以有效地在空间维和非空间维上进行区域聚集查询的索引结构aCR-tree及其相关算法,并计算分析了查询算法的时间复杂度．与现有技术相比aCR-tree降低了存储代价和每次查询访问的节点数,通过实验证明,该索引结构可以提供较好的存储性能和查询性能．     

云存储中基于二进制向量索引的密文云数据排序查询方法

设计一种适用于公共云存储环境下的密文云数据排序查询方法,其核心思想是使用二进制向量索引,并且使用Hash函数计算向量元素为1的位置。这种方法使得建立索引向量非常方便,并且更易于建立查询向量以及进行后续数据更新操作。由用户对其文件集构建二进制向量索引,当用户要求访问包含某些关键词的文件时,首先根据查询关键词构建查询二进制向量,然后根据查询二进制向量与文件的索引二进制向量之间的内积判断该文件是否包含用户的查询关键词。根据内积计算结果可知哪些文件的相关性更强,并且内积计算效率高。实验表明,该方法的索引创建与查询效率都非常高。     

一种支持Top-k空间关键词检索的高效压缩索引

基于位置的服务可以指引用户找到在特定位置或区域内能够提供所需要服务的对象(比如找某个高校附近(经纬度标识)的咖啡店).向这类服务提交一个查询位置和多个关键词,该类服务返回k个最相关的对象,对象和查询的相关性同时考虑空间相近性和文本相似性.为了支持高效的top-k空间关键词查询,出现了多种混合索引,然而现有的这些索引为了提供实时响应均耗费大量存储空间.提出一种基于压缩技术的索引CSTI,该索引显著减少了存储开销(至少减少80%甚至到两个数据量级),同时保持高效的查询性能.大量基于真实和仿真数据集的实验结果表明,CSTI在空间开销和响应时间上均优于已有方法.     

基于压缩感知和音频指纹的固定音频检索方法

针对现有音频检索中样本音频特征库数据量较大且检索速率慢问题, 本文提出一种基于压缩感知和音频指纹降维的固定音频检索方法. 在音频检索的训练阶段, 首先, 对样本音频信号进行稀疏化处理, 并通过压缩感知算法对稀疏化后的音频数据进行压缩; 其次, 提取压缩信号的音频指纹; 再次, 引入音频指纹离散基尼系数通过计算音频指纹各维度的离散基尼系数对指纹实施降维, 最终得到检索特征库. 在音频检索阶段用和训练阶段相同的算法提取待检音频的特征与音频特征库数据匹配得出检索结论. 实验结果表明, 所提音频检索方法在确保较好的检索准确率的基础上, 大幅度减小了样本音频数据库的存储量, 提高了音频的检索速率.     

Image retrieval based on index compressed vector quantization

Increased amount of visual data in several applications necessitates content-based image retrieval. Since most of visual data is stored in compressed form, it is crucial to develop indexing techniques for searching images based on their content in compressed form. Therefore, it is desirable to explore image compression techniques with capability of describing image content in compressed form. Vector Quantization (VQ) is a compression scheme that exploits intra-block correlation and image correlation reflects image content, hence VQ is a suitable compression technique for compressed domain image retrieval.This paper introduces a novel indexing scheme for compressed domain image databases based on indices generated from IC-VQ. The proposed scheme extracts image features based on relationship between indices of IC-VQ compressed images. This relationship detects contiguous regions of compressed image based on inter- and intra-block correlation. Experimental results show effectiveness superiority of the new scheme compared to VQ and color-based schemes.     

基于压缩的海量不完整数据近似查询方法

随着数据的爆炸式增加,不完整数据普遍存在,传统的数据修复方法对于海量数据处理代价过高,且不能彻底修复,在这些不完整的海量数据上进行满足给定需求的近似查询引起了学术界的关注.因此,提出一种基于压缩的海量不完整数据近似查询方法,该方法对属性值缺失字段进行标记,根据频繁查询条件对标记后的数据进行压缩,并建立对应索引;根据属性划分对索引文件再次压缩以节省存储空间,采用编码字典对索引压缩文件进行选择和投影操作,最终获得不完整数据的近似查询结果.实验表明,该方法能够快速定位不完整数据的压缩位置,提高了查询效率,节省了存储空间,并且保证了查询结果的完整性.     

Image and video indexing using vector quantization

Visual (image and video) database systems require efficient indexing to enable fast access to the images in a database. In addition, the large memory capacity and channel bandwidth requirements for the storage and transmission of visual data necessitate the use of compression techniques. We note that image/video indexing and compression are typically pursued independently. This reduces the storage efficiency and may degrade the system performance. In this paper, we present novel algorithms based on vector quantization (VQ) for indexing of compressed images and video. To start with, the images are compressed using VQ. In the first technique, for each codeword in the codebook, a histogram is generated and stored along with the codeword. We note that the superposition of the histograms of the codewords, which are used to represent an image, is a close approximation of the histogram of the image. This histogram is used as an index to store and retrieve the image. In the second technique, the histogram of the labels of an image is used as an index to access the image. We also propose an algorithm for indexing compressed video sequences. Here, each frame is encoded in the intraframe mode using VQ. The labels are used for the segmentation of a video sequence into shots, and for indexing the representative frame of each shot. The proposed techniques not only provide fast access to stored visual data, but also combine compression and indexing. The average retrieval rates are 95% and 94% at compression ratios of 16:1 and 64:1, respectively. The corresponding cut detection rates are 97% and 90%, respectively.     

基于数据隐藏的图像检索系统

本文提出一种新的图像检索系统,采用数据隐藏算法把图像的标注信息和特征信息嵌入压缩域图像中,用于快速检索。由于DCT在图像压缩中得到了广泛的应用,本文分析了基于DCT的JPEG图像格式编码流程,实现了一种基于JPEG压缩的数据隐藏算法。实验结果表明,该算法未引起图像质量明显下降,可嵌入较多数据。     

基于压缩倒排文件的中文全文检索仿真系统

探讨基于压缩倒排文件的中文全文检索技术,包括数据压缩方法、存储、检索与排名机制。借助中科院的高精度ICTCLAS中文分词系统,采用C++/STL语言仿真实现了一个中文全文检索系统。该文列出部分关键代码,利用搜狗实验室提供的数据进行实验。通过改进压缩算法,系统的磁盘利用率提高了近80%。     

A Privacy-Preserving Compression Storage Method for Large Trajectory Data in Road Network

The prevalence of GPS applications and other mobile devices has led to the accumulation of a large amount of trajectory data that contains valuable information for intelligent transportation, route planning, city computing etc. However, massive data not only brings new challenges to data storage and retrieval but also leads to serious privacy risks because of the abundant spatiotemporal information. In this paper, we propose a storage scheme that strikes a balance between the compression ratio and precision. We then introduce a road segment generalization method to address privacy issues stemming from sensitive places. Next, we design a two-layer index mechanism to provide an effective retrieval. Furthermore, a privacy preserving storage system PP-TrajStore is implemented. It provides efficient storage based on a road segment compression scheme, preserves privacy by employing sensitive segment generalization technologies, and achieves rapid retrieval by a two-layer index strategy. Finally, a realworld dataset is utilized to demonstrate the performance of PP-TrajStore     

基于压缩域的图像检索技术

图像检索技术是多媒体应用中的关键技术，现有的基于内容图像检索技术大都是基于非压缩域的，对于目前普遍存在的压缩格式图像，采用这种技术必须先解压再检索，不但计算量大，而且需占用较多的中介存储空间，所以严重影响了检索系统的实时性和灵活性，同时各种压缩标准(如JPEG，MPEG，JPEG2000等)的推出与普及也促使人们寻求可以直接在压缩域操作的检索技术，该文对现有的压缩域图像检索技术的发展进行综述，并讨论了未来可能的研究方向。     

一种基于加权色彩直方图的快速图像检索方法

传统的基于颜色直方图的彩色图像检索方法的缺陷非常明显．首先是数据存储和运算量大,更重要的是在光照条件改变的情况下,图像检索效果不理想．为克服此缺陷,提出了一种基于加权色彩直方图的快速图像检索方法,它利用光照不变性模型,消除光照变化对图像的影响,并对归一化后的二维色彩直方图图像在加权后进行子波变换和DCT压缩,其中根据色彩直方图图像的像素点对应色彩值在原始图像中所占的比例,对该像素点的灰度值进行加权．实验结果表明,此方法不仅检索效果比传统方法有所提高,同时图像检索的平均耗时也大大降低．     

Image database indexing using JPEG coefficients

Image database indexing is used for efficient retrieval of images in response to a query expressed as an example image. The query image is processed to extract information that is matched against the index to provide pointers to similar images. We present a technique that facilitates content similarity-based retrieval of jpeg-compressed images without first having to uncompress them. The technique is based on an index developed from a subset of jpeg coefficients and a similarity measure to determine the difference between the query image and the images in the database. This method offers substantial efficiency as images are processed in compressed format, information that was derived during the original compression of the images is reused, and extensive early pruning is possible. Initial experiments with the index have provided encouraging results. The system outputs a set of ranked images in the database with respect to the query using the similarity measure, and can be limited to output a specified number of matched images by changing the threshold match.