结合分段位图和B 树的云数据索引机制研究

位图索引因其简单有效的优势被广泛应用于海量数据的分析处理。针对位图索引数据存储空间大,检索效率低的问题,提出了一种结合分段位图和B 树的云数据索引机制(简称BBI索引)。BBI索引在索引创建时按照一定的基数对元组数据进行分段,以段为单位建立位图索引,索引数据量的决定因子由属性值的取值范围转变为分段数与基数的乘积,大大减少了索引数据量;同时,在每个数据节点上建立B 树,避免了数据检索时对非结果数据的逐个遍历,从而显著提高了数据的检索效率。实验结果表明,BBI索引是一种性能较优的云数据索引机制。     

一种适用于嵌入式数据库的新索引机制

由于嵌入式系统具有内存资源极为有限和处理器速度不高等特点,因此适用于嵌入式数据库的索引机制应在尽量减少内存占用量的基础上进一步提高数据操作的速度.现有的数据库索引机制不能同时满足时空双方面要求,因此本文在传统混合索引机制hybrid-TH的基础上提出一种新索引机制-H-T*-tail,探讨它的基本操作算法并通过具体实验验证其优良的时空性能.     

并行框架下基于位图索引的多表星型连接算法

分析面向大数据平台的MapReduce分布式编程技术以及实现数据查询时的连接算法,针对SSB数据模型,提出基于分布式缓存的多表星型连接优化技术.利用谓词向量技术,将维表中间连接的数据依赖转化为表上的位图索引过滤,减少数据依赖产生的巨大网络开销;采用分布式缓存技术充分利用处理节点的内存,优化网络传输,减少查询代价.     

一种适用于汉语的索引文件结构

本文给出一种以词语为索引项的索引文件存储结构,以及基于这种结构的索引查询算法.首先分析中文索引库的分布规律,接着在此基础上设计了一种逆序存储的三层索引结构,这种结构在创建索引时能根据词语频率自动调整存储顺序,最后给出一种基于自动机和逆向最大匹配的索引查询算法.实验系统TIFS将三层索引结构与B树、哈希方法在时间和空间复杂度方面进行对比,结果表明,对于大规模的中文文本检索,三层索引结构的综合效果最好.     

基于哈希算法的增强编码位图数据方体索引的研究与实现

随着信息技术的蓬勃发展,信息技术应用领域的数据量也越来越大,数据仓库的运用也越来越广泛和普遍,特别是在大数据时代,随着数据量的增加,数据仓库管理的数据也越来越多,数据方体的数据量也越来越大,因此也给数据方体的存储和查询带来了巨大的挑战,怎样能够支持对大型数据方体的快速查询,又能减少存储空间,在联机分析处理系统将是非常关键的一环,通过基于哈希算法的增强编码位图索引技术能够有效地减少存储空间并且提高查询效率。     

基于压缩-字对齐位图的天文海量数据实时索引

澄江一米新真空大型天文望远镜（NVST）当前每天最大能产生2 TB,约十多万条的观测数据。由于这些数据量巨大并具有非结构化特性,使用离线构建索引会带来巨大时间开销,传统的关系型数据库难以满足快速索引和检索需求。针对这些问题,结合数据采集流程,提出了使用基于压缩的字对齐位图索引算法来在线实时构建索引。这种方式不仅克服了离线构建索引方式时,文件访问、FITS头读取和解析FITS头等操作带来的大量额外时间消耗问题,而且有助于解决海量太阳观测数据的高效检索难题。通过实验证明了在线实时构建索引方式能够极大地降低时间开销,也表明了该方式在天文海量数据索引和检索应用中的有效性和可行性。     

相似索引：适用于重复数据删除的二级索引

由于EB（extreme binning）使用文件的最小块签名作为文件的特征, 它不适合处理主要包括小文件的数据负载, 会导致较差的重复数据删除率。为了改进EB, 提出了相似索引。它把相似哈希作为文件的特征, 是一种适用于以小文件为主的数据负载的重复数据删除的二级索引。实验结果表明, 相似索引的重复数据删除率比EB高24. 8%; 相似索引的内存使用量仅仅是EB的0. 265%。与EB相比, 相似索引需要更少的存储使用量和内存使用量。     

一种适用于外包数据库的综合密文索引技术

外包数据库中密文索引技术的主要困难是如何减少查询结果中冗余元组的数量.目前的方案面临着查询命中率低和查询条件单一等问题.本文首先根据查询的不同要求,将数据分类,即需要执行各种模糊查询的数据和数值比较的数据.然后分别对它们建立密文索引.对于前者,通过映射函数为构成属性域的所有字符确定字符索引,从而形成一种新的基于映射的密文索引方法;对于后者,采用保序加密方法作为密文索引方法.并在此基础上,提出一种适用于外包数据库的综合密文索引技术,同时分析了该方法的有效性和安全性.最后,给出了应用于外包数据库的密文查询策略.     

一种适用于P2P存储系统的索引管理算法

PB-link Tree通过哈希定位将B 树分布到多个节点上,解决了动态P2P环境中索引的完整性和准确性问题.实验表明,即使节点频繁加入或离开系统,仍能保持数据的可靠性和一致性.而且,PB-link Tree较之传统DB-link Tree在查询过程中数据传输量更小,查询时间更短.     

Google map的数据管理和表现机制的讨论研究

Google作为全球最大的搜索引擎,将GoogleMap加入其服务范围内,它集成了全球不同分辨率的遥感图像。Ajax技术改变了传统的客户端与服务器端进行交互的方式,进一步提高了GoogleMap的友好交互界面,增强了其服务质量。     

使用Broadcast Disks方法分布的空中位图索引

提出一种使用Broadcast Disks算法来分布位图索引的空中索引方法,根据数据项访问概率,使用位图作为数据广播的索引,减少了移动终端等待数据时保持激活状态的时间,达到节能的目的。     

一个移动计算环境中的缓存管理协议

提出了缓存协议SSUR,采用在服务器端保存移动客户的状态、同步发送更新报告的方法,保证了数据的一致性和定时限制,并优化使用有限的无线带宽。     

云计算环境下的数据存储

近年来,越来越多的人和企业开始关注云计算这种新的计算模式,高性能的云存储是实现云计算服务的基本条件.介绍了云计算与云存储,讨论了云计算环境下的数据存储体系结构.对其中的分布式文件系统的设计进行了详细的探讨.为企业创建自己的基于云计算的数据中心提供了一个具有可用性、可扩展性、可管理性、安全性的设计方案.最后对几种典型的商业化云存储平台进行了简单的分析并讨论了云计算的发展趋势,同时针对企业在云计算的发展中所处的角色不同,给出了不同的发展策略.     

云计算环境下的数据存储

该文对云计算环境下的数据存储技术进行了分析。对云计算下的存储需求,云计算IAAS层的云存储架构方法．PAAS层的云存储实现方法进行了探讨。分析比较了几种商业化云存储系统,并给出了企业环境下构建云存储的一种方案。     

基于层次位图连接索引的数据仓库查询优化

在数据仓库的联机分析处理的查询处理中,经常会涉及到大量数据的复杂即席查询.用户通过提交联机分析处理查询对数据进行分析和决策支持,这通常需要较快的查询响应速度.因此,提高联机分析处理的查询性能就成为了数据仓库领域的关键问题.为了提高数据仓库的查询性能,结合维表层次结构的特点,提出一种将分段位图索引和位图连接索引有效结合的方法.实验证明,该方法节省了位图索引的储存空间,减少了I/O开销,有效地提高了数据仓库的查询效率.     

分布式计算中可靠的数据放置方法

数据放置活动在以计算为主的分布式计算中被看作是次要的任务。文章将数据放置工作与计算工作区别对待,定义分布式计算过程中的数据放置模型,给出数据放置协议和可靠的数据传输算法,使得数据放置活动在分布式计算中像计算工作一样被排列、调度、监控、管理以及检测。对数据放置方法进行了系统的评价,取得了较好的效果。     

普适计算环境下的网络管理

本文首先介绍了普适计算的基本概念;然后对当前经典的SNMP、CMIP等几种网络管理模型的基本原理和特点进行分析。在此基础上总结普适环境下网络管理的特点,建立了基于SOA、支持管理服务组合的普适网络管理参考模型。最后介绍了当前国内外有关普适计算的研究热点及未来的发展方向。     

探究大数据云计算环境下的数据安全

随着网络信息技术的迅速发展,拓展云计算与大数据技术的应用范围,使其深入人们日常生活中,改变了人们的生活方式和工作方式,可以快速处理和保存数据信息,提高工作效率,带来一场重大的科技革命。对此,笔者在研究中以数据安全为核心,分析大数据云计算环境下的数据安全问题,并提出大数据云计算环境下的数据安全保障措施,提高数据的准确性和及时性,并为相关研究人员提供一定的借鉴和帮助。     

云计算环境下的数据准确性评估

数据质量是数据挖掘和数据分析结论有效性和准确性的基础、前提和保障,数据质量评估是解决数据质量问题的关键。数据质量评估的标准是多种多样的,其中准确性评估是一个重要的指标。设计并实现了一个基于OpenShift云计算环境的数据质量评估平台,利用Benford法则对数据的准确性进行评估。     

一种打印图形中曲线数据提取方法的研究

给出了一种从打印图形中提取曲线数据的方法，可在占用较少内存的情况下从点阵图形中提取曲线数据，并采用区域插值的算法去除曲线中的间断点。该方法可用在基于打印输出的设备的网络化设计中。