用于内存数据库的Hash索引的设计与实现

电信领域已成为数据密集型行业,需要高性能的数据库系统作为支撑系统,基于磁盘的数据库系统不能满足“实时”、“近实时”访问数据库的需求,将数据库核心数据驻留在内存中,可以使用内存数据库来满足需求。Hash索引是数据库系统中广泛使用的索引技术之一,它能够快速地访问数据,易于设计和实现。该文根据内存数据库的特点,为电信网管系统的内存数据库设计并实现了Hash索引。     

一种基于管算存分离的内存数据库实现技术

在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以...     

面向实时应用的时态数据库系统体系结构 *

提出了面向实时应用的时态数据库系统 Agilor-TDB,详细介绍了系统的体系结构。针对实时应用 ,实现了实时任务调度。在数据存储方面介绍了基于时间区间的多级文件索引结构和高效的内存数据管理机制 ;在数据查询方面提出了高速查询缓存优化策略。此外 ,用 PN模型对系统并发控制进行了详细描述。     

实时数据库混合索引机制的设计与实现

在卫星地面设备监控中,需要将大量实时数据实时地存进数据库并提供实时查询。针对实时数据和Judy array数字树的特点,提出了一种基于内存映射文件的位图分配法,然后设计了一种哈希表、B+树和Judy array混合索引机制。通过大量记录的插入和查询,结果表明位图分配法能避免大量不可利用的内存碎片的产生,结合内存位图分配法的混合索引机制也为应用程序提供了实时的索引插入和查询。     

内存数据库一种紧凑的存储结构

文章分析和研究了当前针对内存数据库的存储结构,提出了索引与记录相结合的存储结构,通过索引与记录数据的结合存储,以提高内存数据库存储空间利用率和操作的效率。     

航天实时内存数据库存取机制MCacheTree的研究

考虑到空间环境探测、空间科学实验所产生的数据时效性比较强,为了对它们进行有效的管理,研究了提高实时性能的索引技术.由于IO速度较慢、外存延迟时间难以预测,实时数据库系统通常采取内存数据库技术.基于此,提出了一种新的适合航天实时内存数据库系统的索引结构:MCacheTree,它将内存缓存和检索树有机地结合起来,并应用延迟写和延迟删除的优化技术,有效地降低了查询时间,提高了实时性能.最后通过实验验证了该设计的高效性.     

一种磁盘历史数据库模型研究

为解决流程工业中过程历史数据的存储以及大量数据的快速查询问题,提出一种基于关系数据库的磁盘历史数据库模型。在数据存储方案设计中,将关于位号和数据采集接口的静态信息存储在关系数据库中,历史数据以文件形式存放,采用三重二级缓存机制避免频繁访问磁盘,并使用经典的SDT算法对实时数据进行压缩存储,降低存储成本。数据查询方案采用三级索引文件结构,即总索引文件、二级索引文件和位号索引文件,提高查询效率。该磁盘历史数据库的第一版已经成功实现,应用结果表明,数据存储方案和查询方案的设计是合理的,100个位号的查询时间约为500 ms。     

内存数据库相关技术的研究与分析

所谓内存数据库,简单地说就是任何时刻任意一个活动事务所操作的数据集都要存放在内存中,换句话说,内存数据库系统就是数据库的“工作版本”常驻内存的数据库系统。显然,它要求较大的内存量,至少应能存储当前处理的数据,但并不要求在任何时刻整个数据库都存放在内存。内存数据库是支持高性能信息处理的有力工具,是实现诸如实时数据库、智能数据库等的基础,其核心问题是数据库的存储结构及存取方法,以提高空间利用率。为此,首先讨论了内存数据库的定义,接着分析了并发控制﹑MMDB的逻辑优化规则﹑动态降低锁粒度和动态提高锁粒度,最后做了总结。     

多线程内存数据库服务器设计

文章介绍了一个多线程内存数据库服务器（MTMDS）,由于采用多线程技术,克服了多进程体系结构资源消耗多、进程调度开销大、难以实现大容量共享存储等主要缺陷。文中详细阐述了采用“移动平均反馈”事务预测法（MMFP）的实时数据库引擎（RDE）、动态内存管理（DMM）、用户数据索引及并发控制。     

内存数据库的图论存取方法

对内存数据库（MMDB）而言,数据库的存储结构与存取方法是关键,文中给出了一种MMDB组织与存取的图论方法,它引入“内存数据库图”（MM－DBG）的概念,提出了一种片段式的集数据和索引在一起的存储结构,具体给出了MM－DBG上维护和关系查询操作的算法,并从存储空间和操作执行时间两方面进行性能分析。     

NGN业务平台内存数据库的设计与实现

在下一代网络(NGN)业务的运行过程中,由于大量的呼叫同时存在,因此对数据的访问实时性要求高。针对该情况,提出一种内存数据库的设计开发思路,把业务需要访问的表和数据,通过一个二级散列表的方式,在内存中进行统一存储,并对内存中数据的加载、同步、访问接口等进行了实现。该内存数据库已在上线的NGN业务中成功使用,其可靠性、安全性得到了实际检验。     

分布式混合数据库系统

为了进一步提高混合数据库系统的实用性, 本文提出了一种分布式混合数据库系统. 首先, 散布服务器将关系数据库中的实体表复制到本地内存数据库中, 散布客户端从服务器内存中载入数据库的完整快照, 而不涉及到关系数据库. 在完成最初的数据初始化后, 散布客户端与散布服务器通过散布机制持续保持同步及异常恢复. 本文还给出了数据分类和数据存储设计, 重点强调了散布机制设计过程, 它主要涉及散布模块定义、散布客户端Poll模式、Delta ID的用法、散布复原协议、散布客户端的DB记录同步等.     

内存受限的实时内存数据库数据装入策略

实时数据库要求以内存数据库为其底层的支持。传统的内存数据库要求内存数据库能容纳全部外存数据库，因此没有数据装入的问题。而要实现内存受限的内存数据库，就是在内存数据库不能容纳全部外存数据库的前提下，保证一个事务执行前，其数据被装入内存。而内存数据库的脆弱性使得数据的装入比较频繁(包括初装和运行时装入)，因此传统的装入策略对实时内存数据库就显得不合适。为此给出了新的数据装入策略，并在此基础上实现了ERTMMDB(Embedded Real-time Main Memory Database)。     

基于遗传算法的实时内存数据库查询优化

各种事务类型的查询处理是实时数据库实现的关键点之一．由于现有的关系查询处理不能适合于实时数据库，因此实时数据库系统必须具有自己的查询处理器．为此，结合正在开发的嵌入式实时数据库系统ERTDBMS，给出了一个实时数据库查询处理的系统RTQP，并在对实时数据库查询处理做了一般性探讨后，将重点放在内存代价和遗传算法上，类似于关系系统RTQP提供了在MMDB环境下节省内存的查询处理的实现算法，以及遗传算法和实时数据库规则相结合的查询优化方案。     

OA系统与档案管理系统数据交换的研究与实现

Lotus Domino是当今办公自动化系统的主流开发平台之一,苏州大学的OA系统正是基于这个平台开发的。Domino自带一个非关系型数据库——文档型数据库,而苏州大学的档案管理系统的数据存储在SQL Server——关系型数据库中。因此要实现OA系统与档案管理系统的数据交换,必须要解决Domino和关系数据库的数据交换问题。本文利用ODBC实现Domino和关系数据库的互操作。     

基于图的服务起源追踪机制

针对服务起源数据存储在关系型数据库和文档型数据库中无法提供高效的服务追踪以及采用图形数据库存储无法进行快速聚合运算等问题,提出了一种基于图的服务起源追踪机制。该机制以图形数据库存储服务起源数据为基础,重新定义服务起源在图形数据库中的存储结构,并提供基于此存储结构的聚合操作。然后提出了基于静态权值、基于混合操作与基于实时任务三种不同的服务起源追踪模型。实验结果表明该服务起源追踪机制能够满足聚合、追踪等不同类型的服务起源数据的查询需求,减少了服务追踪耗时,提高了服务起源数据的追踪效率。     

基于Neo4j的海量石油领域本体数据存储研究

语义网技术的发展促进了石油领域中多学科本体之间的整合技术的发展。随着数据的规模的增大,传统的基于关系型数据库的数据存储和信息检索等存在较多问题。对此,提出了一个基于Neo4j数据库的领域本体构建过程,专注于改进数据存储和信息检索两个方面。首先,提出了一种基于图形数据库Neo4j的大规模本体数据存储问题的解决方案,通过设计一种基于Neo4j的存储模型配合分布式存储机制,实现存储空间的高效利用。其次,在Neo4j数据模型的基础上,设计了一种两层索引结构的检索算法。实验评估表明, 提出的方法与基于关系数据库的方法相比,在数据存储方面可以节省10％以上的存储空间,在信息检索方面将检索效率提高了30多倍。     

内存数据库系统SwiftMMDB存储管理的设计与实现

该文在深入研究内存数据库系统存储管理技术的基础上,给出了自主开发的内存数据库系统SwiftMMDB存储管理模块的设计与实现方案,针对不同种类的应用背景,设计了两种数据库系统的运行结构以加快本地数据访问;分析并比较了三种内存空间分配方式,使SwiftMMDB能够根据不同应用场合的需求特点选用不同的底层内存分配方式;将哈希索引与T树索引相结合对查询进行优化,提高内存数据库的查询效率。     

可扩展的云关系型数据库的研究

为解决用户使用目前的云数据库服务时他们必须对应用做大量的修改的这种问题,在分析和研究现有的云数据库服务的基础上,提出了一种新型的云关系型数据库平台,它支持多语言开发的SDK机制,同时对数据的垂直、水平分布机制和算法进行了描述.描述了云关系型数据库的可靠性,包括数据存储管理和各种保护机制.仿真性能测试结果表明,在大海量数据量下,该云关系型数据库具有很好的可靠性、可扩展性和易用性.