基于内存映射文件的复杂对象快速读取方法

当前内存数据库(NoSQL)、嵌入式数据库技术在高并发高性能系统中得到了广泛的应用,但对于复杂对象数据的读取效率仍然低下,研究发现主要性能瓶颈有两个:一是内核态与用户态间的内存拷贝,拷贝消耗时间与复杂对象的数据量成线性增长;二是从数据库数据到运行时数据对象的格式转化操作,不但需要开辟新的内存空间存储运行时数据对象,而且还需要解析原始数据并拷贝至新对象之中。为此,提出了一种基于内存映射(memory mapping)文件的复杂对象共享读取方法。借助内存映射文件与自定义内存分配器,实现了结构复杂的C++标准模板库容器对象跨进程无拷贝、无格式转化的共享,有效降低了数据读取延时。通过性能的分析比较表明,与NoSQL内存数据库、嵌入式数据库比,读取性能效率提升10倍以上。再加上底层技术成熟稳定,复用了标准模板库,具有开发成本低、可维护性强、实用性高等优点,因此,适用于高并发高性能的高可用后台服务系统。     

内存数据库的图论存取方法

对内存数据库（MMDB）而言,数据库的存储结构与存取方法是关键,文中给出了一种MMDB组织与存取的图论方法,它引入“内存数据库图”（MM－DBG）的概念,提出了一种片段式的集数据和索引在一起的存储结构,具体给出了MM－DBG上维护和关系查询操作的算法,并从存储空间和操作执行时间两方面进行性能分析。     

内存映射文件及其在大数据量文件快速存取中的应用

分析了Win32系统下的虚拟内存系统模式及内存映射文件的工作机理,介绍了如何用Windows API将文件映射至内存,并通过实验数据得出,采用内存映射文件在对大数据量文件进行存取,其效率远远高于传统的基于I/O方式的数据存取。     

内存数据库组织分区法的评析

实时数据库系统(RTDBS)的高性能要求以内存数据库(MMDB)作底层支持。内存数据库分区方法是将数据库逻辑对象存储在内存中的组织管理方法。该文提出了比较不同的数据库组织分区方法的模型和方法,试图找出适合于内存数据库的分区方法。     

一种内存数据库物理数据组织与管理方法

用内存数据库(MMDB)作为主动实时事务的底层支持是必要且最为理想的,本文给出一种合理的内存数据库定义,针对一个支持主动实时事务的内存数据库系统ARTs—MMDBS,讨论相应的MMDB的物理数据组织与管理方法,包括其数据空间组织、索引结构、以及内外存数据交换策略。     

内存数据库关键技术研究

随着存储器价格的下降、64位系统的引入和广泛使用，内存数据库（MMDB）技术得到了更广泛的研究，并出现了一些原型系统和商业系统。首先对比了内存数据库与磁盘数据库在查询处理、索引技术等几个方面的差异，总结分析了内存数据库的关键技术和研究内容，内存数据库需要研究的问题，最后展望了未来的研究方向。     

一个支持实时内存数据库的恢复系统

实时数据库要求以内存数据库（MMDB）作为其底层支持，内存数据库存储介质的易失性，以及实时数据库系统应用目标的根本转变使得MMDB数据库的恢复对系统整体性能的影响很大，传统的数据恢复技术已不再适用，为此本文给出了一个完整的支持实时数据库的MMDB恢复系统，文中给出了恢复系统的体系结构，重要数据结构，执行模型和执行算法，同时，文中对一些关键技术，如LAW日志的可行性进行了详细分析和论证。     

关系型数据库内存化存储模型研究

大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值（RB-KVM）和分段列式键值交叉（PCB-KVCM）存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。     

实时内存数据库的内外存交换

实时数据库系统(RTDBS)的高性能要求以内存数据库(MMDB)作为其底层支持,为了保证MMDB在事务的执行过程中没有内外存的I/O,必须设计合理的存贮结构,提供合适的数据安置策略,给出合理的内外存交换算法。本文给出了适合实时应用要求的四层存贮体系结构,详细讨论了实时应用环境下的数据及事务特征,然后针对它们的特征,给出了一个内外存交换算法。     

内存数据库相关技术的研究与分析

所谓内存数据库,简单地说就是任何时刻任意一个活动事务所操作的数据集都要存放在内存中,换句话说,内存数据库系统就是数据库的“工作版本”常驻内存的数据库系统。显然,它要求较大的内存量,至少应能存储当前处理的数据,但并不要求在任何时刻整个数据库都存放在内存。内存数据库是支持高性能信息处理的有力工具,是实现诸如实时数据库、智能数据库等的基础,其核心问题是数据库的存储结构及存取方法,以提高空间利用率。为此,首先讨论了内存数据库的定义,接着分析了并发控制﹑MMDB的逻辑优化规则﹑动态降低锁粒度和动态提高锁粒度,最后做了总结。     

动态二进制翻译中不对界问题的处理

复杂指令集计算机体系结构向精简指令集计算机体系结构的动态二进制翻译过程中经常出现地址不对界的问题。本文以I386到Alpha平台的动态二进制翻译为例,研究了内存映射时的不对界和数据存取时的不对界问题,提出了一种改进的内存映射方法以及在中间表示层处理不对界地址访存问题的方案,有效地解决了此类问题。经实验验证,该方法正确并有较高效率。     

实时内存数据库的装入

实时数据库(real-time database,简称RTDB)要求以内存数据库(main memory database,简称MMDB)作为其底层支持.内存数据库的脆弱性使得数据库的装入(包括初装和重装)极为频繁,对系统性能影响极大,而传统的装入算法对实时内存数据库不适用.为此给出影响数据装入的实时数据及事务特征,并提出一种数据装入策略与算法.     

工程数据库管理系统设计、实现的几个关键问题

本文针对工程领域的特点，提出基于关系／网状的语义超图模型描述，以表达工程中不同语义类的多对多复杂对象关系；将该模型描述和表达的管理机制和基本数据在内存中统一管理和运行，使工程数据的存取效率大为提高；增加了大量通用和特殊功能，形成了功能更强、使用方便的Ｃ语言界面．在上述基础上自行研制并有自主版权的工程数据库管理系统ＥＤＢＭＳ（ｅｎｇｉｎｅｅｒｉｎｇｄａｔａｂａｓｅｍａｎａｇｅｍｅｎｔｓｙｓｔｅｍ）已在建筑ＣＡＤ领域中得到实际应用.     

内存数据库交叉属性存储模型的研究

探讨数种在MMDB系统中可以使用的存储模型,并列举出他们各自的不足之处,尤其在MMDB系统要求处理器缓存操作高效率的前提下,这些存储模型的性能缺陷。随后,提出"交叉属性存储模型",该存储模型通过在页面内将相同属性的值分组存放来提高缓存性能,能更好的满足MMDB系统对处理器缓存操作效率的要求,提供更好地存储和操作性能。     

关键业务中内存数据库的T树索引优化

在关键业务中，提高DBMS性能的一个途径是把数据库放在主存巾而不是硬盘中，这样便可以设计新的数据结构和算法，来提高内存数据库(MMDB)的效率。该文列举了当前MMDB研究中关于索引结构的一些成果，并设计了一个新的索引结构——T-tail树，最后给出T-tail树的主要算法和这些算法的性能分析。结果表明在内存数据库中，T-tail树具备非常好的性能。     

PC／104系统数据存取技术在工业色谱仪中应用

主要介绍了工业色谱仪PC／104系统中大容量扩展内存存取大量过程数据以及数据存储的结构化方法。在简要介绍工业色谱仪PC／104系统内存结构的基础上．提出了大容量扩展内存用于过程数据的分配方法和内存优化措施。并以实例(Borland C 语言)介绍了在中断方式下．使用32M扩展内存存储A／D转换的大量数据、数据存储的结构化以及将内存存储的大量数据再存入硬盘的方法与技巧。     

内存数据库相关技术的研究与分析

所谓内存数据库,简单地说就是任何时刻任意一个活动事务所操作的数据集都要存放在内存中,换句话说,内存数据库系统就是数据库的“工作版本“常驻内存的数据库系统.显然.它要求较大的内存量,至少应能存储当前处理的数据,但并不要求在任何时刻整个数据库都存放在内存.内存数据库是支持高性能信息处理的有力工具,是实现诸如实时数据库、智能数据库等的基础,其核心问题是数据库的存储结构及存取方法,以提高空间利用率.为此,首先讨论了内存数据库的定义,接着分析了并发控制、MMDB的逻辑优化规则、动态降低锁粒度和动态提高锁粒度,最后做了总结.     

基于遗传算法的实时内存数据库查询优化

各种事务类型的查询处理是实时数据库实现的关键点之一．由于现有的关系查询处理不能适合于实时数据库，因此实时数据库系统必须具有自己的查询处理器．为此，结合正在开发的嵌入式实时数据库系统ERTDBMS，给出了一个实时数据库查询处理的系统RTQP，并在对实时数据库查询处理做了一般性探讨后，将重点放在内存代价和遗传算法上，类似于关系系统RTQP提供了在MMDB环境下节省内存的查询处理的实现算法，以及遗传算法和实时数据库规则相结合的查询优化方案。     

主动实时内存数据库系统的数据交换策略及实现

实时数据库系统的高性能要求以内存数据库(MMDB)做底层支持。内存数据库事务在运行过程中没有内外存I/O,这就要求在对事务进行预处理(知识提取)的基础上合理地进行内外存交换。该文针对一个自主开发的主动实时内存数据库系统(ART-Ⅱ),介绍了其内外存数据交换的策略及实现。     

基于内存云的大块数据对象并行存取策略

由于内存云(RAMCloud)只支持最大1 MB的小块数据对象存储,因此当大于1 MB的对象需要存储在内存云集群中就会受到对象大小的限制,无法在集群中进行存储。为了解决内存云存储限制的问题,提出了基于内存云的大块数据对象并行存取策略。该存储策略首先将大块数据对象分割成若干个1 MB的小块数据对象,然后在客户端生成数据摘要,最后使用并行存储算法将客户端分割成的小块数据对象存储在内存云集群中。读取时首先读取数据摘要,然后根据数据摘要从内存云集群中并行读取小块数据对象,并将小块数据对象合并生成大块数据对象。实验结果表明:大块数据对象的并行存取策略在不破坏内存云集群体系结构的前提下存储时间为16~18 μs,读取时间为6~7 μs。在InfiniBand网络架构下,所提并行算法的加速比呈现类似线性的增长,它使大块数据对象也能够像小块数据对象一样在微秒级别下快速、高效地进行存取。