基于CORBA的并行数据库中间件

集群技术在大型数据库应用系统中得到了越来越多的应用。无共享结构的集群易于实现，具有良好的可扩展性。但是目前的数据库集群工具非常少，往往与数据库相关。针对这一问题，该文提出了一种灵活有效的构建数据库集群的方法，研究并实现了并行数据库中间件StarTP。StarTP的基本思想是：屏蔽后端数据库的细节，为应用提供单一的虚拟数据库；通过流水并行加速数据加载；利用数据划分和复制将查询本地化从而实现并行查询。StarTP支持大型数据库集群，具有容错和负载均衡功能。试验结果证明了StarTP的有效性和可扩展性。     

基于构件的海量信息存储中间件的研究与实现

目前,中间件技术正成为构建大规模信息系统的主流技术。通过构件化一个已有的基于CORBA对象模型技术的海量数据存储中间件,构建了一个海量信息存储中间件。该中间件基于CORBA CCM技术实现,在保持原有中间件高性能,可扩展特性的同时,增强了其可管理性、可重用性和可维护性。     

海量数据离散化算法的并行设计与实现

连续属性的离散化是机器学习和数据挖掘的重要预处理步骤,如何高效处理海量数据连续属性离散化已成为急需要解决的问题。近年来兴起的Hadoop技术能够有效处理基于海量数据的应用。为此,设计和实现一种基于MapReduce编程模型的连续属性离散化并行算法,并给出算法设计的方法和策略。在保证离散效果的情况下,使用不同大小数据集在不同节点的集群环境下的实验结果表明,所设计的并行离散化算法具有较高的执行效率和较好的可扩展性,适合用于海量数据的快速离散化处理。     

数据库中间件的设计与实现

针对两层客户,服务器结构模式的缺点,提出了采用三层客户,月良务器模式,并且商务服务层采用数据库中间件来实现它的功能的思想.设计了基于JDBC的数据库中间件对数据库进行访问操作,同时介绍了数据库中间件的实现方法.该数据库中间件满足了日常应用环境的访问需求,并在异构替换等方面体现了优越性.     

海量文本数据库中的高效并行频繁项集挖掘方法

针对大规模文本数据库中频繁项集挖掘的特殊要求,本文提出了一种新的并行挖掘算法parFIM。parFIM以一种简单的数据结构H-Struct为基础,对数据进行纵向划分从而实现并行挖掘。算法同时考虑了去除短模式和减少重复模式。实验结果表明,parFIM能够很好地适用于大规模文本数据库中的频繁项集挖掘任务。     

面向海量文本数据的多任务并行调度加载技术研究与实现

随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加栽子任务,从而利用合理的并行调度算法使各个加栽子任务高度并行执行.MDMP中基于多任务并行调度加栽技术提供了高性能的加载.主要研究了多任务并行调度加载技术.     

基于并行数据库的海量商务数据管理系统研究

为了使海量商务数据得到高效、稳定、安全的处理,提出了一种针对基于并行数据流技术的海量数据管理系统,详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。     

时态数据库中间件的设计与实现

时态数据库理论研究取得了丰富的成果,但是时态数据库实现技术尚处于发展阶段.在总结前人工作的基础上,讨论了时态数据库中间件平台的实现难点、选择ATSQL2的原因、整体架构、语法和语义处理算法等内容;采用符合当前现实条件的中间件形式,实现了一个基于ATSQL2的时态数据库平台.     

基于机群架构的并行数据库中间件系统改进研究

基于机群架构的高性能计算机已经被应用到很多领域,如大气预测、油藏模拟、CFD仿真模拟和Web服务等.随着数据量的爆炸式增长,传统的集中式的数据库系统已经难以满足各种应用的需求,基于机群式架构的并行数据库系统为增强海量数据的存储以及处理能力提供了一种途径.对以前实现的一个基于机群架构的并行数据库中间件系统ParaMidSQL进行了改进.通过对并行选择、并行排序、并行连接等关键操作的测试,给出对并行数据库中间件系统改进后的性能分析.     

信息处理单元测试系统并行测试技术研究

针对信息处理单元测试的功能需求,设计实现了基于PXIe总线的测试系统,系统包括测控单元、供电单元和接口单元三个组成部分,并完成了测试系统的软件设计;根据信息处理单元测试系统实际的测试流程和所需资源的使用情况,将并行测试技术引入到系统中,重新对相互独立的测试任务进行了并行化分析,构建了该测试系统的任务调度数学模型,提出了一种改进的自适应遗传算法(即IAGA算法),解决了并行测试模块中复杂且难以优化的任务调度问题;对任务调度模型进行了算法仿真验证和实验结果分析,验证了所得解的全局性,所得出的执行序列与串行测试相比,测试效率提高了43.57%,并与其他算法进行了对比,验证了IAGA算法的可行性与优越性;最后将IAGA算法嵌入到了测试系统的软件当中,实现了该优化策略的实际工程应用。     

大流量网络平台下并行数据库的设计与实现

随着计算机网络的迅猛发展,网络速度已经从10Mb/s、100Mb/s达到了1Gb/s,因此,一般工作在网络平台下的数据库随着数据量的增加,往往难以满足用户的需求。因此,该文将并行处理与数据库技术相结合,设计并实现了应用于大流量网络平台的并行数据库。     

基于移动代理的分布式并行计算中间件设计与实现

文中提出了一个基于移动代理(Mobile Agent)的分布式并行计算中间件,用于将Internet用户闲置的计算资源与其他成员共享。针对分布式并行计算中存在的问题,利用移动代理技术的特点,将中间件的体系结构分为两层,为分布式并行计算提供各种基础服务,尤其是任务迁移和容错机制。着重介绍了分布式并行计算中间件的主要实现技术,实现了一个分布式并行计算原型系统并给出实验结果。     

一种基于海量信息处理的云存储模型研究

提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce弱于SQL,以Hadoop++为基础的一种针对互联网海量数据文件处理且具有语义计算效能的计算模型THMapReduce;针对THDFS及其THCloudDB的具有语义效能的智能挖掘分析工具THBI;最后以"清华通"为案例分析了该模型平台的具体应用.     

中间件负载均衡的模型和实现

由于客户机访问服务器的随机性,中间件服务器负载不均衡的现象时有发生,所以负载均衡是提高三层系统效率的重要手段。文中介绍了中间件负载均衡的原理,提出了两种中间件负载均衡的实现模型,并且评价了这两种模型的性能,指出了各自的优越点与适用范围,最后给出了基于COM 的的实现方法与关键技术。     

数据处理中间件的存储分配策略

提出一种用于高性能数据处理中间件系统的数据分配策略,以提高系统并行性、减少通信开销、使总体查询负载代价最小并增强系统响应能力。基于该策略的基本思想和工作原理,给出中间件系统的体系结构和主要功能模块,通过实验证明其有效性。该系统已在一项国家大型工程中得到应用。     

嵌入式RFID中间件系统的研究与实现

射频识别技术(RFID)中间件是RFID系统中前端阅读设备与后端数据处理系统之间的一个中枢环节,屏蔽阅读器差异为数据处理的客户端提供了一个统一的开发平台。在研究EPCglobal的基础上,提出一种嵌入式RFID中间件系统,分别从硬件的框架设计与结构组成以及软件的架构与实现方法两方面对嵌入式RFID中间系统件进行讨论,并介绍了具体的实现。在实际RFID系统的应用当中取得良好的效果,证明了该中间件系统的可行性。     

一种基于群集的并行数据处理中间件

HPDPM系统是基于无共享群集结构的支持并行数据处理的中间件.提出了中间件系统的体系结构和主要功能模块,详细论述了利用中间件系统实现并行数据处理的方法.阐述了实现数据放置、缓存管理等关键技术的策略和方法.给出了实验和现场测试结果.利用中间件系统,为用户提供统一的服务接口和管理平台,提高了系统性能,增强了系统的可用性和可维护性,保护了用户已有投资.系统目前在大型应用工程中得到实际应用,应用中涉及的数据规模达到TB级.     

数据库中间件及其在AES中的应用研究

数据库是计算机应用的热点之一,在软件开发中利用数据库中间件技术可提高软件质量和软件开发效率。文中对当前两种主流的数据库中间件ODBC和JDBC技术规范作了深入的阐述,把该技术分别应用于农业专家系统与数据库的通讯接口中,知识库以统一的格式来调用不同的数据库,解决了以往调用不同数据库所带来的不一致性问题,扩大了农业专家系统的知识获取范围。并对这两种数据库中间件的异同做了比较。     

CPU+GPU海量信息集群高速显示技术

针对集群显示系统中存在的CPU多核闲置、GPU利用不足、CPU与GPU结合困难等问题,研究了CPU多核多线程处理、GPU并行处理及CPU+GPU整合运算等技术,提出并构建了CPU+GPU集群并行显示系统,提升了集群并行显示系统的综合运算能力,实验结果表明CPU+GPU集群并行显示技术是有效的,为海量信息高速显示提供了有效的解决方案。     

大规模并行计算机作业调度评价

大规模并行计算机的作业调度直接关系到其计算能力的发挥,因而相应的研究具有十分重要的意义。论文通过对国外现有作业调度评价体系的研究,建立了更能反映并行作业特点的作业调度策略评价体系,在此基础上设计并实现了一个作业模拟调度环境。模拟调度环境采用事件驱动的工作模式,支持FCFS、大作业优先、小作业优先、长作业优先、短作业优先、GANG等调度策略。模拟测试结果表明,GANG调度策略优于所有测试的空间共享调度策略;同时在空间共享调度策略中,短作业优先策略和大作业优先策略具有较好的性能。