数据模型及其发展历程

数据库是数据管理的技术,是计算机学科的重要分支.经过近半个世纪的发展,数据库技术形成了坚实的理论基础、成熟的商业产品和广泛的应用领域.数据模型描述了数据库中数据的存储方式和操作方式.从数据组织形式,可以将数据模型分为结构化模型、半结构化模型、OLAP分析模型和大数据模型.20世纪60年代中后期到90年代初,结构化模型最早被提出,其主要包括层次模型、网状模型、关系模型和面向对象模型等.20世纪90年代末期,随着互联网应用和科学计算等复杂应用的快速发展,开始出现半结构化模型,包括XML模型、JSON模型和图模型等.21世纪,随着电子商务、商业智能等应用的不断发展,数据分析模型成为研究热点,主要包括关系型ROLAP和多维型MOLAP.2010年以来,随着大数据工业应用的快速发展,以NoSQL和NewSQL数据库系统为代表的大数据模型成为新的研究热点.对上述数据模型进行了综述,并选取每个模型的典型数据库系统进行了性能的分析.     

基于集成分类器的数据流分类算法

作为一种典型的大数据,数据流具有连续、无限、概念漂移和快速到达等特点,因此传统的分类技术无法直接有效地应用于数据流挖掘。本文在经典的精度加权集成（Accuracy weighted ensemble,AWE）算法的基础上提出概念自适应快速决策树更新集成（Concept very fast decision tree update ensemble,CUE）算法。该算法不仅在基分类器的权重分配方面进行了改进,而且在解决数据块大小的敏感性问题以及增加基分类器之间的相异性方面,有明显的改善。实验表明在分类准确率上,CUE算法高于AWE算法。最后,提出聚类动态分类器选择（Dynamic classifier selection with clustering,DCSC）算法。该算法基于分类器动态选择的思想,没有繁琐的赋权值机制,所以时间效率较高。实验结果验证了DCSC算法的有效和高效性,并能有效地处理概念漂移。     

分布式环境中的多作业执行调度策略与优化

分布式大数据计算引擎是科研机构、互联网企业和政府部门处理大规模数据必不可少的工具,它们的使用和推广促进了各个领域的快速发展,为社会进步做出了巨大贡献。但是,在多作业处理的情况下,目前主流的大数据计算引擎在资源分配和作业调度方面仍有许多不足之处,它们通常对多作业平均划分内存资源并以先进先出FIFO的方式调度作业,这样简单的资源划分方式和作业调度机制并不能充分利用系统性能。针对此问题,从计算引擎的作业层面做出了改进：在资源划分方面,通过提取作业特征对作业的任务量进行预估,判断作业任务量和作业预分配资源间的差异,合并对集群资源浪费较高的作业,充分利用计算资源;在作业调度方面,对作业池中的作业进行特征提取,使用多路K-means算法对作业进行聚类分析,然后基于分析的结果,使用自平衡轮询调度算法对作业进行调度,达到负载均衡的目的。为了验证所提算法的有效性,使用大规模文本数据集在分布式集群环境中进行对比实验,实验结果表明,提出的作业合并算法和多作业调度算法可以减少5%~23%的作业运行时间,提高了7.5%~29%的系统吞吐量,在最好情况下可减少40%的线程启动数。     

关系数据库中支持语义的Top-K关键字搜索

为了增强关系数据库中的关键字搜索查询结果,考虑了多表之间以及元组之间的语义关系,提出了一种语义评分函数.该语义评分函数不仅涵盖了当前的评分思想,并且加入新指标来衡量查询结果与查询关键字之间的相关性.基于该评分函数,提出两种以数据块为处理单位的Top-K搜索算法,分别为BA(blocking algorithm)算法和EBA(early-stopping blocking algorithm)算法.EBA在BA基础上引入了过滤域值,以便尽早终止算法的迭代次数.最后实验结果显示语义评分函数保证了     

A non-blocking locking method and performance evaluation on network of workstations

A network of workstation(NOW) can act as a single and scalable powerful computer by building a paralle and distributed computing platform on top of it.WAKASHI is such a platform system that supports persitent object management and makes full use of resources of NOW for high perforance transaction processing,One of the main difficulties to overcome is the bottleneck caused by concurrency control mechanism.Therefore,a non-bloking locking method is designed,by adopting several novel techniques to make it outperform the other typical locking methods such as 2PL:1) an SDG (Semantic Dependency Graph)based non-blocking locking protocol for fast transaction scheduling;2) a nmassively virtual memory based backup-page undo algorithm for fast restart;and 3) a multi-processor and multi-thread based transaction manager for fast execution.The new mechanisms have been implemented in WAKASHI and the performance comparison experiments have been implemented in WAKASHI and the performance comparison experiments with 2PL and DWDL have been done.The results show that the new method can outperform 2PL and DWDL under certain conditons.This is meaningful for choosing effective concurrency control mechanisms for improving transaction-rpocessing performance in NOW environments.     

移动对象环境下的Topk差值聚合查询策略

聚合查询(GNN)在空间数据库以及网络环境中是一个相对比较新的操作.与传统的只有一个查询结点的kNN查询相比,GNN具有多个查询结点,由于查询点的数目以及它们在数据库空间中分布的任意性,使得GNN查询比只有一个查询点的kNN查询复杂得多.提出了一种基于2个查询点的差值聚合查询,在GNN查询方法中提出的将多个查询点分布于一个MBR的算法并不适用于此类差值查询.基于单查询点的YPK-CNN,利用双曲线性质把查询空间分成几大部分,在此基础上计算出双曲线的渐近线以简化删减条件,直接删减掉不符合条件的搜索空间.实验结果显示,针对这种特定的差值聚合查询,所提出的基于双曲线渐近线过滤策略的查询算法要比基本查询算法在查询响应时间和访问结点次数方面更高效.     

XML函数依赖的定义及分析

函数依赖是XML数据约束研究的重要组成部分.针对XML中存在的复杂的多种形式的函数依赖约束,分析了数据约束的特点,引入节点值相等的概念,提出了一种DTD的路径语言,进而提出了一种新的XML函数依赖(XFD)的定义,包括相对XFD和绝对XFD.其中,绝对键和相对键是XFD的特例.研究了XFD的逻辑蕴涵与闭包问题,给出一组相应的推理规则,并证明了推理规则的正确性及完备性.     

基于控制理论的数据流QoS自适应框架及卸载技术的研究

数据流管理系统中的查询处理需要满足各种服务质量(QoS)要求,其中延迟是用户非常关注的QoS参数.如何在系统资源有限、数据输入速度及特征可变,且单个元组的CPU处理代价动态变化的情况下,使系统具有自适应的能力以确保高质量的QoS,是迫切需要解决的问题.为此,提出了一种全面考虑CPU处理能力及内存容量的QoS自适应框架,并运用基于控制理论的PID控制器管理内存负载,超载时进行卸载处理;同时提出有效的清洗策略和队列调度策略,保证系统在动态环境中具有良好的自适应性.实验结果表明,该框架具有稳定性好、健壮性强的优点,在错失率相同的情况下,卸载率、系统资源利用率等几方面性能均优于其他现有方法.     

面向方面XML查询技术

提出一种有效的方法对XML文档进行描述,解决原有方法中改变XML文档结点时需要对XML文档结点进行重新编码,并改进结构连接查询效率.提出利用面向方面编程方式对XML文档进行定义.在XML文档定义中引入织入,并通过实现对XML Schema的扩充,使XML文档定义具有面向方面编程技术的功能,给出相关结构连接算法.方法避免了由于扩充XML文档而对结点重新编码,减少了修改结点信息的次数,提高文档的重用性.提供了不同织入文档情况下的实验结果,比较不同结构连接算法的性能,实验结果表明该文工作有意义.