一种多存储引擎Key-Value分布式内存数据库的研究与实现

可持久化的分布式内存数据库不仅可以解决内存容量的水平扩展,还可以将历史数据可持久化,这样既可达到内存高速读写性能,也满足了数据海量存储的要求。本文根据中国移动电子渠道的业务特性,在业界目前流行的分布式数据库中上做了不少调查和研究,提出了一种可挂接多存储引擎的分布式内存数据库。     

一种混合内存系统访存热点控制方法

相变内存(Phase-Change Memory,PCM)被认为是最有可能取代DRAM的非挥发存储器件,它与DRAM读取性能相当且无需动态刷新,但存在着读写非对称和寿命受限的问题,因此在设计新型计算机系统存储结构时被考虑与DRAM共同构建内存子系统.针对PCM-DRAM平面混合内存架构中由于访存局部性所引起的热点区域集中读写访问所带来的不利影响,提出了一种基于访存热点控制的有效策略,来降低内存系统功耗和增加PCM使用寿命.     

基于新型非易失存储器的混合内存架构的内存管理机制

随着互联网和云计算技术的迅猛发展,现有动态随机存储器（Dynamic Random Access Memory,DRAM）已无法满足一些实时系统对性能、能耗的需求.新型非易失存储器（Non-Volatile Memory,NVM）的出现为计算机存储体系的发展带来了新的契机.本文针对NVM和DRAM混合内存系统架构,提出一种高效的混合内存页面管理机制.该机制针对内存介质写特性的不同,将具有不同访问特征的数据页保存在合适的内存空间中,以减少系统的迁移操作次数,从而提升系统性能.同时该机制使用一种两路链表使得NVM介质的写操作分布更加均匀,以提升使用寿命.最后,本文在Linux内核中对所提机制进行仿真实验.并与现有内存管理机制进行对比,实验结果证明了所提方法的有效性.     

基于内存数据库的存储集群的关键技术研究

基于磁盘数据库的存储集群由于内外存交换开销过大,无法支撑数据的实时存储与处理,因此使用基于内存数据库的存储集群成为目前很多业务数据存储的设计方案。本文主要研究了基于内存数据库的存储集群中的数据库代理、单点故障恢复等关键技术。     

多年媳妇熬成婆:Flash Memory撑起关边天!闪存产业现况与厂商策略定位

闪存(Flash Memory)是非掉电易失性内存的一种,具有关掉电源仍可保存数据的优点,同时又具备掉电易失性内存可重复读写且读写速度快、单位体积内可储存最多数据量,以及低功耗特性等优点,故是现阶段行动储存装置的首选.近年来由于手机、PDA、MP3、DSC等应用系统的带动,Flash Memory的需求量和容量也有了跳跃式的成长.     

基于RTX的实时数据库系统关键技术研究

针对半实物仿真实时数据管理需求和传统实时数据库的不足,基于windows+RTX构架设计了一种新型实时数据库系统。实时数据库系统由RTX下的内存数据库和Windows下的外存数据库组成,结合了RTX实时系统的高精度实时性能与关系型数据库SQL Server数据存储安全性能。采用RTX内存锁定技术,避免了因内存块被windows置换所引起的数据丢帧。采用高精度定时采集技术,克服了因windows定时不准所导致的数据误码。采用IPC数据传递技术,实现了将高速度大容量实时数据刷新到windows下的外存数据库的存储任务。测试结果表明,普通数据采集频率可达2 000 Hz,图像数据采集速率可达60 MB/s,并且没有丢帧现象发生。     

嵌入式内存数据库持久性策略研究

针对嵌入式内存数据库系统的数据持久性需求,对现有数据库系统持久性保证策略进行了分析,并根据嵌入式系统和全内存存储环境的特点,提出了嵌入式内存数据库系统的数据库备份和恢复策略,为研制具有持久性的嵌入式内存数据库提供了指引。     

上位内存的遍历与使用

常规内存640K以上、1MB以下的384K内存区域称为上位内存(Upper Memory),此区域通常留作与系统有关的用途,其中的已占用块之间夹杂着一些闲置未用的块即是上位内存块UMB(Upper Memory Blocks)。这些UMB位于1MB的实模式物理地址空间内,DOS可以直接访问。     

分布式实时抽取计算框架设计与应用

针对任务类型的多样化、大量化、复杂化带来的数据源结构、数据类型的问题,文中提出了将Zookeeper消息调度和Redis内存计算相结合的方式,设计分布式实时抽取框架。利用Zookeeper消息通知,队列优先,共享锁等功能,结合Redis支持网络、可基于内存计算亦可持久化日志存储等特性,系统的吞吐量、执行效率、存储效率等都有显著提高。     

基于性能分析的片上影子堆栈存储器设计

针对堆栈访问局部性特征,通过建立片上影子堆栈存储器(Shadow Stack Scratch-Pad Memory,简称S~3PM),将堆栈访问热点映射至SPM,从而减少堆栈访问时内核对外存的访问次数,提高系统性能.在研究S~3PM的基础上,还对包含指令、数据和堆栈优化的SoC存储子系统进行总体设计空间探索,从而合理分配SPM资源.实验结果表明,7个基准测试程序仅使用128字节的S~3PM映射堆栈,可以取得最高30.8%,平均12.4%的性能提升.