基于决策树分类算法异构数据的索引优化

海量数据的索引是提高分布式环境下海量数据的查询重要手段。为了构建高效的索引结构,人们提出了多种异构数据索引优化方法。文中给出了基于决策树分类算法下的索引优化方法。基于决策树分类算法构建索引决策树,利用该索引决策树对各个子空间表的属性列进行决策,建立索引表,根据索引表数据建立索引,再根据各子空间上的索引构建全局索引。该二级索引结构为快速定位索引信息提供了技术支持。实验结果表明,索引决策树是一个对优化异构数据索引合适的方法。     

空间索引并行批量加载算法研究

空间索引是提高空间数据库查询性能的关键技术。空间数据具有海量、空间目标不规则、结构和关系复杂等特征,要动态地维护空间索引结构,传统R树的构建方法插入代价非常高。在深入分析空间索引批量加载算法基础上,面向多核处理器的新型硬件架构,基于OpenMP并行编程模型,实现Hilbert R树索引的并行批量加载算法。实验结果表明,相对于串行经典算法,该算法的并行效率接近50%,通过查询实验验证,并行加载算法保持了串行算法生成索引的优良查询性能。     

面向空间数据的LSM树索引研究综述

空间数据在城市规划、天气预报、资产管理以及路线导航上有着广泛的应用.传统的关系型数据库不能满足空间数据高频存取的需求,面向空间数据的LSM树索引能够提高空间数据的写入和查询性能.但在索引设计中,需要面临索引结构设计、提升查询性能和降低更新开销三方面问题.对此,本文分别对基于空间填充曲线的LSM树索引结构和基于树状结构的...     

一种新的空间数据服务发现模型及其在P2P网络上的实现

针对集中式机制的空间数据服务发现的各种弊端,如单点失效、扩展性差等,提出一种分布式空间数据服务发现机制.基于信息检索模型来实现分布式的空间数据服务发现,将空间数据服务元数据分别表达为索引词汇和地理范围,其中,索引词汇表示服务的非空间属性;地理范围表示服务的空间属性,并提出索引词汇相似性和地理范围相似性来计算查询请求与服务对象间的匹配程度.最后给出了该发现模型在P2P网络的设计与实现,提出一种节点相关模型来将空间数据服务聚簇成不同的地理语义组,查询协议在组间采用有偏漫步试探性查询,在组内则采用泛洪机制查询.实验表明,上述分布式空间数据服务发现模型具备良好的可行性;基于该模型在P2P网络上的实现系统性能较好,是有效克服集中式空间数据服务发现机制各种弊端的途径之一.     

大规模数据集的分布式索引机制研究

对大规模结构化半结构化数据集分布式存储环境下索引结构的建立进行了研究,提出了一种基于聚簇索引与分布式B 树的混合索引结构.该结构对数据集的输入,存储及查询等操作进行了定义,并分析了索引服务器与客户端的通信模型建立.由于对记录的主关键字与其他属性进行了不同处理,在各种记录检索情况下具有良好的性能.     

基于索引框架的XPath求值算法

本文为了解决用倒排表索引XML节点而导致的查询效率低下,以及现有结构连接算法对值约束考虑不够的问题,本文给出运用原生XML数据库索引框架的结构索引合并PC子路径,运用XML值索引及全文索引处理比较运算符,产生查询优化树。实验表明,本文提出的算法极大的减少了查询树节点的个数,缩短了CPU时间开销和磁盘I/O开销。     

QDM-Tree：支持数据流频繁更新的Cache敏感索引

随着硬件和通信技术的飞速发展,数据流技术已广泛应用于金融分析、网络监控及传感器网络等诸多领域,这类应用通常具有高速、海量、连续和实时等特性.因此,在数据流上渐进、实时地更新索引成为一个极具价值和挑战性的问题.为了克服现有支持频繁更新的索引树性能大都深受处理器缓存失效率的影响,提出了一种新颖的基于双Memo的量化R*索引树-QDM-Tree(Quantized R*-tree with Double Memos),并给出了相应的插入、删除、更新和范围查询算法,理论分析表明:与已有R*树及其变种相比,该索引树能成倍地压缩树结点,具有更强支持频繁更新的能力.     

SCBT-index:基于谱编码的子图索引算法

随着图模型规模的扩大,单机算法难以适应大规模数据集下的子图查询.而现有的分布式算法基于无索引的简单遍历,join过程容易出现内存溢出,而且查询图分布异常时易出现负载不均衡.提出了一种基于谱编码的二叉索引树（SCBT-index）,首先对数据图中的顶点谱编码,根据编码信息构建二叉索引树.然后对查询图使用最小查询计划进行分解,最后join过程使用3个剪枝策略：基于拓扑结构的预剪枝、序列化join和基于分布式下的join优化.实验结果表明,SCBT-index在图集下的综合性能优于现有主流算法,单图下的查询时间为现有算法的1/2到1/4.     

SQL Server 2012的列存储索引技术有效运用

若想为加强数据库查询的性能,可通过SQL Server 2012在表中建立列式的索引,提高工作的效率。文章主要分析了列存储缩影存储的原理,探讨列存储索引应用局限和优势,以便相关用户能够在列式索引下挖掘各种交互式数据,进而获取既有数据商业价值。     

面向空间索引树的授权机制

鉴于现有空间数据的访问控制中不能同时支持矢量数据和栅格数据,且效率较低的问题,提出一种面向空间索引树的访问控制模型,兼容栅格数据和矢量数据;在此基础上,提出一套授权方法,提高了查询判断的效率,解决了策略冲突的问题.对多种空间数据查询方式进行实验,结果表明本方法可同时支持栅格和矢量数据,并有效提高了访问控制判断效率.     

一种可应用于大流量环境的双层散列算法研究

提出了一种可应用于大流量环境的双层散列算法,两个散列函数均直接作用于原始输入,键值散列函数用于产生可惟一表征原始输入的键值,下标散列函数用于产生键值在数据结构中的存储地址。针对上述两种需求给出了相应的算法评估测度,并通过实验从若干候选算法中选出较优的算法。实验表明,双层散列算法实用且有效,网络管理人员可将此算法应用于大流量环境,以减少网络中的冗余流量、过滤垃圾信息及进行流量分析。     

Sead协议哈希链机制的分析与改进

由于ADHOC网络是一种特殊的无线网络,其路由安全性显得尤为重要。文中深入研究了ADHOC网络中安全路由协议sead,对其中的哈希链保护机制进行了深入的分析,包括哈希链中链值的传播,哈希链值在节点间的验证机制。在对sead协议哈希链机制深入分析的基础上,发现其重新生成新链后所带来的哈希链过长以及其链值利用率低的问题,并提出了一个解决方案,节省了资源空间,提高了资源利用率。     

基于主题和物理位置相近原则的层次化对等语义覆盖网络结构

对等语义覆盖网络构建主要采用索引和超级节点的方法,不可避免地存在瓶颈问题,同时忽略了覆盖网络与实际网络拓扑一致性问题对语义覆盖网络性能的重要影响。该文提出的对等语义覆盖网络结构TPPH充分结合了结构化P2P网络高效的定位和非结构化P2P网络的复杂检索功能,采用分布式哈希表机制将相同主题节点组织成主题区域,在同一主题区域内通过物理位置相近原则进行群的划分,从而在物理网络拓扑基础上建立语义P2P覆盖网络结构。性能分析和仿真实验表明,该结构显著提高了查全率并缩短了平均查询时延,是一种支持复杂查询、高性能的语义覆盖网络结构。     

视频版权自动认证系统的思考与设计

希望设计一套自动化,智能化,高效率的视频版权认证系统,系统总体采用了五层结构,设计了帧内数据的采样方法和由帧内采样数据构成的采样值数组,对该采样值数组进行哈希变换,求得了基本特征值,将得到的值组织成了四树权帧顺序寻址多层哈希树,将该哈希树与其他数据一起组织成了数据区块,本区块包含着前一数据区块的加密哈希值和当前时间戳,计算本数据区块的哈希值,将其加密存储在本区块的最后的数据位置,形成了数据区块链,对封面、封底区块进行加密,对整个数据打包,形成视频节目自动版权证书,论述了容错机制.     

Key storage management scheme based on keyed hash tree with state

To solve the problem of massive keys storage caused by multi-source data encryption in ciphertext retrieval system,a key storage scheme based on keyed hash tree with state was proposed.The scheme computes encryption key according to the root key and key derivation tree,and just needs to store the root key and the tree structure,which greatly reduces the key storage costs.In addition,the scheme manages key revocation according to the revocation state value,thereby solving the problem of key revocation and structure update.Strict security analysis shows that the partial data key disclosure does not leak the data confidentiality of remaining data,and the performance analysis using real-world dataset shows that the proposed key storage management scheme is acceptable in ciphertext retrieval system.     

SERP: secure energy-efficient routing protocol for densely deployed wireless sensor networks

In this paper, we present secure energy-efficient routing protocol (SERP) for densely deployed wireless sensor networks which aims to achieve robust security for transmitted sensor readings with an energy-efficient network backbone. When the sensors with limited energy budgets are deployed in hazardous environment, ensuring energy efficiency and security of the sensor readings becomes a crucial task. Here, we address how to deal with such a deployment scenario. Our protocol ensures secure transmission of data from the source sensors to the base station in a way that it can best utilize the available amount of energy in the network. We use one-way hash chain and pre-stored shared secret keys for ensuring data transmission security. In SERP, first, a sink rooted tree structure is created as the backbone of the network. This energy-efficient network structure is used for authenticated and encrypted data delivery from the source sensors to the base station. To introduce data freshness, SERP includes an optional key refreshment mechanism which could be applied depending on the application at hand. Our analysis and simulation results show that SERP provides a good level of confidentiality and authenticity of data that are transmitted from the sensors to the base station. It also helps for energy-efficient structuring of the network so that the maximum lifetime of the network could be achieved.     

Hierarchical scalable storage architecture for massive electronic bill

The rise of e-commerce and other network services have greatly promoted the development of electronic bill service,while traditional data storage schemes can no longer satisfy the rapid access requirements of massive electronic bill data.To solve these problems,a hierarchical scalable storage architecture for massive electronic bill was proposed,which combined hash modular algorithm and consistent hash algorithm,and supported fast data locating.A horizontal expansion scheme based on hash modular algorithm was designed to reduce the amount of data that needed to migrate when adding or deleting data nodes.Besides,a data caching scheme based on hot data and a load balancing scheme based on access delay were designed and implemented,further improving the speed of data access.Finally,the experiments prove the effectiveness of proposed architecture and schemes.