关系型数据库内存化存储模型研究

大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值（RB-KVM）和分段列式键值交叉（PCB-KVCM）存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。     

一种实时事务并发控制的新方法:SMVCC

提出了新颖的实时数据库事务并发控制方法：语义多版本并发控制协议（SMVCC）。利用实时数据库中存在多版本数据的特点，考虑实时数据和实时事务语义，结合实时数据库相似性概念，对传统多版本并发控制方法进行扩展，对不同事务采用不同并发控制策略，提高了事务并发度。     

近数据计算下键值存储中Compaction并行优化方法

大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写,从而提升性能.然而,LSM-tree键值存储也存在一些...     

基于SCM与SSD的混合高效键值存储系统研究

具有高性能以及非易失特性的SCM（Storage Class Memory,存储级内存）技术逐渐成熟并开始运用到存储系统设计中,而传统的SSD仍然在存储容量上具有优势,为键值存储系统提供大容量存储的支持。现有键值存储系统不能充分发挥SCM与SSD混合存储架构的优势,需要对数据布局以及系统结构进行重新设计。针对SCM和SSD的特点,设计了基于SCM与SSD的混合式高效键值存储系统（SCM and SSD Hybrid Key-Value store,SSHKV）。SSHKV通过将键值存储中元数据信息存储到SCM中,将数据部分以日志方式存储到SSD中,实现性能与容量的兼顾。在SSD空间管理上,SSHKV采用逻辑空间放大策略,通过重映射TRIM指令释放的无效空间,减小了垃圾回收带来的数据迁移开销。SSHKV基于半异步半同步式IO模型实现,经过对比测试,SSHKV的随机写入性能相较于传统基于LSM-Tree的LevelDB提升了约20倍。     

多线程内存数据库服务器设计

文章介绍了一个多线程内存数据库服务器（MTMDS）,由于采用多线程技术,克服了多进程体系结构资源消耗多、进程调度开销大、难以实现大容量共享存储等主要缺陷。文中详细阐述了采用“移动平均反馈”事务预测法（MMFP）的实时数据库引擎（RDE）、动态内存管理（DMM）、用户数据索引及并发控制。     

一个基于SQL的并发控制机制

传统的读写事务模型（由ｒｅａｄ（ｘ）和ｗｒｉｔｅ（ｘ）序列组成）不能使调度机制充分利用应用程序的语义信息对事务进行灵活调度，从而不能有效提高系统的并发度．本文根据ＳＱＬ语言的操作语义，给出了基于ＳＱＬ的事务模型．利用这种事务模型并结合２ＰＬ方法，设计了并发控制机制：Ｃｏｎｄｉｔｉｏｎ—ｌｏｃｋｉｎｇ．这个机制可以：（１）避免数据库中的幽灵（ｐｈａｎｔｏｍ）问题，（２）利用应用程序的语义信息和完整性约束提高系统的并发度，（３）减少发生死锁的机会．因此，这是一个实用的并发控制机制．     

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。     

网格数据库并发事务串行化研究

网格数据库就是使传统数据库能够充分利用网格平台的这种优势,实现传统数据库的存储、管理、处理、分析等能力的共享和协同。本文给出了网格数据库事务模型,以及对并发事务串行化进行研究。     

对象事务服务与数据库集成机制研究

在分布式事务处理系统中需要持久存储的数据资源的参与来保证事务的持久性,数据库系统（DBMS）的广泛使用为事务系统提供了丰富的数据源,将分布式事务系统同现有的数据库系统的集成具有非常重要的意义,本文研究了通用请求代理体系结构（CORBA中的对象事务服务（OTS）和关系数据库系统的集成机制,提出了对象事务服务和数据库系统集成模型,设计并实现了数据库连接器DBConnector,完成了事务服务系统和数据库系统的无缝集成。     

多数据库系统中的一致性维护

在多数据库环境中存在着全局事务和局部事务,它们必须相互协作,从而为应用程序提供一致性的数据。为了维护多数据库系统（MDBS）的一致性,提出一种事务管理机制。该机制基于扩展事务的原理,对全局子事务和局部事务进行扩展,并为各个局部数据库引进一些控制表。局部数据库管理系统（LDBMS）和局部数据库和控制表之上执行扩展务,这些扩展事务负一局可串行性及事务的恢复。由于它不依赖于LDBMS的各种特征,因此该方法易于实现,是实用的。     

基于远程直接内存访问的高性能键值存储系统

随着数据与系统规模的不断扩大,网络传输成为了键值存储系统的性能瓶颈。同时,远程直接内存访问（RDMA）技术能够支持高带宽和低时延的数据传输,为键值存储系统设计提供了新的思路。结合高性能网络中的RDMA技术,设计并实现了高性能、低CPU负载的键值存储系统Chequer;结合RDMA原语的特性,重新设计了键值存储系统的基本操作工作流程;并设计了基于线性探测的共享hash表,解决客户端缓存失效的问题以及提高hash命中率来减少客户端的读取轮数,进一步提高了系统的性能。在小规模集群上实现了Chequer系统,并通过实验验证了其性能。     

移动数据库事务处理模型的研究

在移动数据库系统中,事务的移动性、频繁断接性以及长事务等特性使得传统的事务处理模式不再适用。提出一种扩展的乐观两阶段提交事务处理模型（O2PC-MT）,该模型吸收了O2PC-MT模型的设计思想,解决了由短暂的通信失效造成不必要的事务中止以及移动事务协调器故障导致的阻塞等问题。实验结果表明,与O2PC-MT事务处理模型相比,EO2PC-MT提高了系统的事务吞吐率以及改善了系统的总体性能。     

支持大数据管理的NoSQL系统研究综述

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统。针对基于key-value数据模型的 NoSQL 数据库的相关研究进行综述。首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望。     

结合最近邻与闭模式子空间聚类方法

针对传统距离度量在高维数据上效果不明显问题,提出一种共享最近邻子空间聚类算法（SNN_SC）,按照维把数据集转变为多个最近邻事务数据库,挖掘事务数据库中最大共现对象集,即一维上聚类。在一维聚类集上进一步挖掘闭频繁项集,包含闭频繁项集的维是子空间,闭频繁项集是子空间上聚类。实验对比结果表明,SNN_SC能够更准确定位子空间,并在子空间上产生完整聚类。     

基于内存映射文件的进化算法数据存储引擎

为了观察和分析进化算法的执行情况,往往需要将算法执行过程中产生的大量数据存储在磁盘文件中。用于进化算法的嵌入式数据存储引擎EADB（Evolutionary Algorithm Database）提供了简便灵活的数据存储接口,通过使用内存映射文件技术来实现数据的快速和大量存储。相较于传统文件I/O存储方式和一般的通用数据存储引擎,EADB大大加快了存储速度。     

基于增量学习的RocksDB键值系统主动缓存机制

由于分层结构的约束,基于日志结构合并（LSM）树的RocksDB键值存储系统面临着读取性能低下的问题。一种有效的解决方法是对热点数据进行主动缓存,但其面临两个挑战：一是如何在数据分布持续动态变化时对热点数据进行预测,二是如何将主动缓存机制与RocksDB存储结构衔接起来。针对这些挑战,基于预测分析技术,构建了由数据采集、系统交互、系统测试等部分组成的面向RocksDB键值系统的主动缓存框架,能够将热点数据缓存在LSM树的较低层级中;并对数据访问模式进行建模,设计并实现了基于增量学习的热点数据预测分析方法,能够有效减少存储介质的I/O访问次数。实验结果表明该机制能有效提升RocksDB在不同动态工作负载下的数据读取性能。     

Apriori-sort算法研究

Apriori算法虽然在候选集的产生时利用了剪支技术,但每次扫描数据库时都必须扫描整个数据库,因此扫描的数据量大,速度较慢。Apriori-sort算法是在Apriori算法基础上的改进,基本思想是把事务数据库变为以度表示的事务度数据库,并对事务度数据库进行排序。Apriori-sort算法查找频繁项集时,只扫描数据库Dd中满足d（Ck）≦d（Ti）的事务。对扫描数据库进行了有效剪支,因此Apriori-sort算法的计算效率高。并用仿真数据对Apriori-sort算法和Apriori算法进行了仿真对比实验,实验结果证明了新算法的高效性。     

网格数据库事务管理策略

网格技术的本质就是提高资源的共享能力和实现计算资源的协同处理能力.网格数据库就是使传统数据库能够充分利用网格平台的这种优势,实现传统数据库的存储、管理、处理、分析等能力的共享和协同.网格数据库中的事务也存在全局事务和局部事务之分,对全局事务要保证得到正确的执行结果,其串行化是关键.给出了网格数据库全局事务的形式化定义,以及全局事务实现串行化的条件,并进行了相关证明.