海量数据管理平台MDMP中并行加载与查询技术研究

海量数据的产生对传统的数据库技术在数据存储、实时数据加载、实时数据查询等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量数据的存储及管理需求而研制的. MDMP中基于流水的多路并行加载技术提供了高性能的加载,并实现了在加载的同时进行实时查询;基于语义缓存的并行查询技术对于MDMP中频繁的聚集查询进行了优化,提高了查询速度.主要研究了这两个关键技术.     

基于CORBA的并行数据库中间件

集群技术在大型数据库应用系统中得到了越来越多的应用。无共享结构的集群易于实现，具有良好的可扩展性。但是目前的数据库集群工具非常少，往往与数据库相关。针对这一问题，该文提出了一种灵活有效的构建数据库集群的方法，研究并实现了并行数据库中间件StarTP。StarTP的基本思想是：屏蔽后端数据库的细节，为应用提供单一的虚拟数据库；通过流水并行加速数据加载；利用数据划分和复制将查询本地化从而实现并行查询。StarTP支持大型数据库集群，具有容错和负载均衡功能。试验结果证明了StarTP的有效性和可扩展性。     

XML数据库技术研究

XML database is a new database technology. This paper gives an overview about the last research about XML database and its related productions ,then comparing XML database with traditional RDBMS. We analyze and point out some weaknesses about XML database,and give out our viewpoint.     

一种复制数据库恢复协议研究

数据复制是提高数据库系统性能和可用性的重要技术。近年来出现的基于组通信技术的数据库复制协议较之传统的数据库复制协议因其实现简单灵活、性能较优,在构建实用复制数据库系统时得到广泛应用,维持各节点副本一致性是数据复制技术研究的核心问题。本文讨论了当故障节点恢复后重新加入系统或增加新节点后如何恢复、维护系统节节点副本间的一致性的问题。本文提出了一个针对分布复制数据库系统的恢复协议,该协议结合基于组通信技术的复制协议,可在不影响系统正常事务处理的情况下,实现故障恢复后节点或全新节点重新加入系统时的系统正确恢复,并给出了理论证明。同时还证明,该恢复协议对于分布在不可靠网络上的复制数据库的恢复问题同样适用。     

基于CORBA的海量数据加载并行任务调度技术研究与实现

基于多集群的并行任务调度技术，简要描述在使用Oracle 10g进行海量数据加载中的并行任务调度问题，设计实现了一个基于CORBA的海量信息加载服务中的并行任务调度算法。通过测试结果表明，在适当的任务并行度的前提下，采取并行任务调度算法的加载服务的数据加载能力要优于传统的加载服务。     

适用于不确定文本分类的特征选择算法

基于Hilbert-Schmidt依赖性准则提出了一种新颖的特征选择算法FSUNT,重点考虑特征选择过程中可能出现的模糊性和不确定性.针对类标号不确定而其他特征值确定的文本数据,通过考察特征与不确定的类标号间的Hilbert-Schmidt相关性,对特征进行排序,并选取最终的结果子集.最后大量真实与仿真实验结果表明,基于该算法可得到良好的分类效果和稳定性.     

一种高效的分布式Skyline查询算法

本文提出了一种新的分布环境中的Skyline查询算法--一种新的四阶段Skyline算法FDSL。现有的算法，如Distributed Skylining算法，在节点数m较大时会消耗大量的网络带宽。FDSL算法在任意数据集上只需要四次交互就能完成，并且通过剪除不必要的对象来减少网络带宽的消耗。本文通过模拟数据验证了FDSL算法的效率。实验表明，当节点点数m大于4时，FDSL算法的性能比现有算法提高了15％～30％。     

基于大规模事务处理系统的中间层语义缓存技术的研究

对当前的中间层语义缓存的研究进行了分析,以一个大规模事务处理系统为背景,提出了一个针对海量数据统计分析的中间层语义缓存解决方案,给出了其相关定义、体系结构及管理机制,并在大规模事务处理系统上对语义缓存进行了测试。     

缺陷硬盘数据恢复新技术中的影子方法

论述了缺陷硬盘数据恢复的最新技术——影子方法.介绍了影子技术的实现方案.同传统的磁盘镜像技术相比,该技术不是单纯地创建磁盘镜像,而是通过一定的算法组织影子盘的数据,只有成功读取过的数据才会在影子盘上建立相应的影子,以后读取缺陷盘时会优先从影子盘上读取,减少了缺陷盘的读取次数,从而对缺陷盘起到了很好的保护作用.     

一种高效的OLAP最值查询算法

In the process of analyzing the large-scale network security situation, the data we faced are always flooded and messy, and the information is difficult to obtain with respond to the query timely. Online analytical processing which use the Data-cube as a data source directly, calculated all or part of the Data-cube in advance, and it can reduce the query response time significantly. This paper considers a class of queries,called the Partial-MAX/MIN query. We introduce Rank Decision Tree(RD-Tree) and it’s searching algorithm for efficient processing of the partial-max/min queries.Through experiments, we show our approach has an efficient processing capability for partial-max/min queries.