基于磁盘表存储FP-TREE的关联规则挖掘算法

随着现实待挖掘数据库规模不断增长,系统可使用的内存成为用FP-GROWTH算法进行关联规则挖掘的瓶颈.为了摆脱内存的束缚,对大规模数据库中的数据进行关联规则挖掘,基于磁盘的关联规则挖掘成为重要的研究方向.对此,改进原始的FP-TREE数据结构,提出了一种新颖的基于磁盘表的DTRFP-GROWTH(disk table resident FP-TREE growth)算法.该算法利用磁盘表存储FP-TREE,降低内存使用,在传统FP-GROWTH算法占用过多内存、挖掘工作无法进行时,以独特的磁盘表存储FP-TREE技术,减少内存使用,能够继续完成挖掘工作,适合空间性能优先的场合.不仅如此,该算法还将关联规则挖掘和关系型数据库整合,克服了基于文件系统相关算法效率较低、开发难度较大等问题.在真实数据集上进行了验证实验以及性能分析.实验结果表明,在内存空间有限的情况下,DTRFP-GROWTH算法是一种有效的基于磁盘的关联规则挖掘算法.     

HT树：缓存敏感的内存数据库索引

在内存数据库系统中,针对处理器缓存对提高内存数据库的性能有重要影响的情况,在B＋树的基础上提出一种新的缓存敏感的索引——HT索引。将Hash方法和树结构相结合,构造一种适用于内存数据库的索引。结果证明,该索引结构能提高处理器缓存的利用率,其整体操作性能优于传统的缓存敏感索引。     

倒排文件索引缓存机制的优化

为了有效提高搜索引擎检索服务系统的整体性能,提出了一种基于倒排文件索引的缓存机制优化方法。具体研究过程是：首先分析倒排文件缓存的体系结构和数据加载,接着讨论负载数据对倒排文件缓存和缓存替换算法的影响,最后通过设计仿真实验研究倒排文件的缓存优化。研究结果表明,采用倒排文件索引的缓存机制优化方法可以明显减少磁盘系统I/O访问次数,提高磁盘系统带宽的利用率。     

一种基于管算存分离的内存数据库实现技术

在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以...     

一种基于闪存的混合存储仿真系统

近年来闪存发展非常迅速,已成为一种大容量、高性能、低功耗、非易失的新型存储产品,其可以有效弥补内存和磁盘的性能差距完善存储系统。为此,设计一种基于闪存的混合存储仿真系统HybridArch,增加文件分布层,支持文件的分割、分布和文件接口访问,并实现5种混合存储体系结构,包括传统的内存-磁盘双层结构、纯闪存结构、闪存作为部分磁盘结构、塔式结构和水平缓存结构。基于HybridArch对上述混合存储体系结构进行仿真实验,分析比较其在性能和闪存写入量等方面的优劣,结果表明,水平缓存体系结构在性能、性价比、闪存设备寿命等方面综合表现较好。     

一种闪存敏感的多级缓存管理方法

基于闪存的固态硬盘(solid state driver,简称SSD)已经广泛应用于各种移动设备、PC机和服务器.与磁盘相比,尽管SSD具有数据存取速度高、抗震、低功耗等优良特性,但SSD自身也存在读写不对称、价格昂贵等不利因素,这使得SSD 短期内不会完全取代磁盘.将SSD和磁盘组合构建混合系统,可以发挥不同的硬件特性,提升系统性能.基于 MLC 型 SSD 和 SLC 型 SSD 之间的特性差异,提出了一种闪存敏感的多级缓存管理策略——FAMC.FAMC将SSD用在内存和磁盘之间作扩展缓存,针对数据库系统、文件管理中数据访问的特点,有选择地将内存牺牲页缓存到不同类型的SSD.FAMC同时考虑写请求模式和负载类型对系统性能的影响,设计实现对SSD友好的数据管理策略.此外,FAMC基于不同的数据置换代价提出了适用于SSD的缓冲区管理算法.基于多级缓存存储系统对FAMC的性能进行了评测,实验结果表明,FAMC可以大幅度降低系统响应时间,减少磁盘I/O.     

位图连接索引服务机制研究

位图连接索引是数据仓库中一种有效的优化表间连接操作性能的索引机制。在大内存分析处理应用场景下,位图连接索引不仅需要权衡索引的内存和CPU开销,还需要进一步考虑处理器平台所带来的性能收益和数据访问延迟。提出了基于服务的位图连接索引管理机制,其主要特点体现在三个方面：独立于数据库的自管理索引机制;基于存储空间约束的TOP K关键字位图连接索引机制;处理器敏感（processor-conscious）的位图连接索引技术。索引服务将索引从数据库中内置的数据结构变成数据库外的索引服务层,通过对用户查询负载的分析模块和索引服务管理模块改变传统的由数据库管理员人工管理索引的模式,同时借助于协处理器和内存云技术提高索引服务的性能和灵活性。实验测试结果表明,索引服务机制能够有效地提高索引存储和访问效率,在通用GPU的强大并行处理能力的支持下,位图连接索引服务的性能和数据库整体查询处理性能都得到了显著的提升。     

面向实时应用的时态数据库系统体系结构 *

提出了面向实时应用的时态数据库系统 Agilor-TDB,详细介绍了系统的体系结构。针对实时应用 ,实现了实时任务调度。在数据存储方面介绍了基于时间区间的多级文件索引结构和高效的内存数据管理机制 ;在数据查询方面提出了高速查询缓存优化策略。此外 ,用 PN模型对系统并发控制进行了详细描述。     

面向虚拟机的远程磁盘缓存

在虚拟机(virtual machine)系统中,随着虚拟机数量和应用程序需求的不断增长,内存容量已经成为应用程序性能的主要瓶颈。为了提升内存密集型和I/O密集型程序的页面交换性能,提出了虚拟机的远程磁盘缓存机制REMOCA,它允许运行在一台物理主机上的虚拟机将其他物理主机的内存作为其二级磁盘缓存。由于网络传输延迟远远小于磁盘访问,用网络传输代替磁盘访问就能够有效地降低虚拟机的平均磁盘访问延迟。REMOCA的目标就要尽可能地减少磁盘访问。REMOCA运行在虚拟机管理器中,其基本工作原理是截获并处理虚拟机的页面淘汰、磁盘访问等事件。REMOCA能够与现有的虚拟机内存管理机制(如气球技术、影子缓存)相结合,从而提供更加灵活的内存资源管理策略。实验数据表明,REMOCA能有效地降低页面抖动对虚拟机性能的影响,并在很大程度上提升虚拟机中I/O密集型应用的性能。     

管道流量泄漏监测的网络数据流分段存储模型的实现

针对管道流量泄漏及网络数据流存储面临的瓶颈问题,将网络数据流分段存储设计应用于管道流量泄漏监测中,提出同时保持时序性和属主性的网络数据流分段存储模型.模型在内存中采用基于弱时序性的高速缓存数据结构,提高网络数据流实时存储的效率;在磁盘中采用基于多级索引结构的数据流生成树结构,提高基于时序性和属主性的检索效率.仿真结果表明,模型显著提高网络数据流的实时存储能力,有效降低索引数据的信息量.     

内存数据库在彩铃业务中的应用

传统的磁盘数据库由于I/O瓶颈的限制,愈来愈不能满足实时高性能应用的需求。内存数据库由于能够提供更快的响应速度和更大的事务吞吐量,在电信领域得到愈来愈多的应用。在对内存数据库技术进行研究的基础上,首次将内存数据库应用到彩铃业务中,提出一种改进的彩铃业务数据库结构。测试结果表明,引入内存数据库之后,彩铃应用的性能得到有效提高,并且CPU占用降低,系统能够承载更多的用户。     

实时内存数据库的装入

实时数据库(real-time database,简称RTDB)要求以内存数据库(main memory database,简称MMDB)作为其底层支持.内存数据库的脆弱性使得数据库的装入(包括初装和重装)极为频繁,对系统性能影响极大,而传统的装入算法对实时内存数据库不适用.为此给出影响数据装入的实时数据及事务特征,并提出一种数据装入策略与算法.     

主存数据库中恢复问题的研究与实现

主存数据库ＭＭＤＢ是在应用驱动下，硬件和体系结构的发展，特别是在出现大容量内存的情况下而产生的。由于环境的不同，使ＭＭＤＢ数据库管理系统在实现技术的各个方面均表现出与传统的ＤＲＤＢ不同的特性。本文研究ＭＭＤＢ的恢复技术，并讨论恢复技术在ＥＤＳＴ－ＭＭＤＢ原型系统中的具体实现。     

内存数据库关键技术研究

随着存储器价格的下降、64位系统的引入和广泛使用，内存数据库（MMDB）技术得到了更广泛的研究，并出现了一些原型系统和商业系统。首先对比了内存数据库与磁盘数据库在查询处理、索引技术等几个方面的差异，总结分析了内存数据库的关键技术和研究内容，内存数据库需要研究的问题，最后展望了未来的研究方向。     

关键业务中内存数据库的T树索引优化

在关键业务中，提高DBMS性能的一个途径是把数据库放在主存巾而不是硬盘中，这样便可以设计新的数据结构和算法，来提高内存数据库(MMDB)的效率。该文列举了当前MMDB研究中关于索引结构的一些成果，并设计了一个新的索引结构——T-tail树，最后给出T-tail树的主要算法和这些算法的性能分析。结果表明在内存数据库中，T-tail树具备非常好的性能。     

Optimizing main-memory join on modern hardware

In the past decade, the exponential growth in commodity CPU's speed has far outpaced advances in memory latency. A second trend is that CPU performance advances are not only brought by increased clock rates, but also by increasing parallelism inside the CPU. Current database systems have not yet adapted to these trends and show poor utilization of both CPU and memory resources on current hardware. In this paper, we show how these resources can be optimized for large joins and translate these insights into guidelines for future database architectures, encompassing data structures, algorithms, cost modeling and implementation. In particular, we discuss how vertically fragmented data structures optimize cache performance on sequential data access. On the algorithmic side, we refine the partitioned hash-join with a new partitioning algorithm called "radix-cluster", which is specifically designed to optimize memory access. The performance of this algorithm is quantified using a detailed analytical model that incorporates memory access costs in terms of a limited number of parameters, such as cache sizes and miss penalties. We also present a calibration tool that extracts such parameters automatically from any computer hardware. The accuracy of our models is proven by exhaustive experiments conducted with the Monet database system on three different hardware platforms. Finally, we investigate the effect of implementation techniques that optimize CPU resource usage. Our experiments show that large joins can be accelerated almost an order of magnitude on modern RISC hardware when both memory and CPU resources are optimized     

内存数据库系统SwiftMMDB存储管理的设计与实现

该文在深入研究内存数据库系统存储管理技术的基础上,给出了自主开发的内存数据库系统SwiftMMDB存储管理模块的设计与实现方案,针对不同种类的应用背景,设计了两种数据库系统的运行结构以加快本地数据访问;分析并比较了三种内存空间分配方式,使SwiftMMDB能够根据不同应用场合的需求特点选用不同的底层内存分配方式;将哈希索引与T树索引相结合对查询进行优化,提高内存数据库的查询效率。     

用于二级缓存的一种改进的自适应缓存管理算法

在机群系统或数据库服务器等应用环境下,由于本地内存资源限制,某些大内存应用与磁盘交互过多,会严重损害其性能.在高速网络支持下,把其他节点内存或采用专门的内存服务器作为系统的二级缓存,可减少对磁盘访问并提高应用性能.在二级缓存应用模式下,基于LIRS算法并对其存在的缺点进行改进,提出了一种自适应缓存管理算法LIRS-A.LIRS-A可根据应用访问特征自适应调整,避免了LIRS不适应某些具有时间局部性模式的情况.在TPC-H应用中,LIRS-A比LIRS最多有7.2%的性能提升;在网络流分析数据库的典型Groupby查询中,LIRS-A比LIRS的命中率最多可提高31.2%.     

面向多核CPU和GPU平台的数据库星形连接优化

针对联机分析处理（OLAP）中事实表与多个维表之间的星形连接执行代价较高的问题,提出了一种在先进的多核中央处理器（CPU）和图形处理器（GPU）上的星形连接优化方法。首先,对于多核CPU和GPU平台的星形连接中的物化代价问题,提出了基于向量索引的CPU和GPU平台上的向量化星形连接算法;然后,通过面向CPU cache和GPU shared memory大小的向量划分来提出基于向量粒度的星形连接操作,从而优化星形连接中向量索引的物化代价;最后,提出了基于压缩向量的星形连接算法,将定长向量索引压缩为变长的二元向量索引,从而在低选择率时提高cache内向量索引的存储访问效率。实验结果表明,在CPU平台上向量化星形连接算法相对于常规的行式或列式连接性能提升了40%以上,在GPU平台上向量化星形连接算法相对于常规星形连接算法性能提升超过了15%;与当前主流的内存数据库和GPU数据库相比,优化的星形连接算法性能相对于最优内存数据库Hyper性能提升了130%,相对于最优的GPU数据库OmniSci性能提升了80%。可见基于向量索引的向量化星形连接优化技术有效地提高了多表连接性能,与传统优化技术相比,基于向量索引的向量化处理提高了较小cache上的数据存储访问效率,压缩向量进一步提升了向量索引在cache内的访问效率。     

Main memory database systems: an overview

Main memory database systems (MMDBs) store their data in main physical memory and provide very high-speed access. Conventional database systems are optimized for the particular characteristics of disk storage mechanisms. Memory resident systems, on the other hand, use different optimizations to structure and organize data, as well as to make it reliable. The authors survey the major memory residence optimizations and briefly discuss some of the MMDBs that have been designed or implemented