基于PCM的大数据存储与管理研究综述

大数据已经成为当前学术界和工业界的一个研究热点.但由于计算机系统架构的限制,大数据存储与管理在性能、能耗等方面均面临着巨大的挑战.近年来,一种新型存储介质——相变存储器(phase Change Memory,PCM)——凭着其非易失、字节可寻址、读取速度快、低能耗等诸多优点,为计算机存储体系结构和数据管理设计带来了新的技术变革前景,也为大数据存储和管理带来了新的契机.PCM既是一种非易失存储介质,同时又具备了内存的字节可寻址和高速随机访问特性,模糊了主存和外存的界限,有望突破原有的存储体系架构,实现更高性能的存储与数据管理.概述了PCM存储器的发展现状;总结了目前基于PCM的持久存储技术和基于PCM的主存系统等方面的研究进展;并讨论了PCM在多个领域的应用现状.最后,给出了基于PCM的大数据存储与管理研究的若干未来发展方向,从而为构建新型存储架构下的大数据存储与管理技术提供有价值的参考.     

嵌入式系统的高速度大容量非易失随机数据存储

介绍现代高速度大容量非易失随机数据存储的性能特点和典型器件;分析对比常见各种高速度大容量非易失随机数据存储器件的关键特性;阐述如何在嵌入式应用体系设计中选择合适的高速度大容量非易失随机数据存储器件。     

新型非易失存储研究

近年来,由于处理器性能和存储性能之间的差距不断扩大,存储系统成为计算机整体系统性能提升的瓶颈.随着微电子技术的迅速发展,新型非易失存储器件由于具有非易失、低能耗、良好的可扩展性和抗震等优良特性,得到了学术界和工业界的广泛关注.介绍了4种新型非易失存储器件,分别是STT-RAM,RRAM,PCRAM和FeRAM,对比了其与传统存储器件的性能参数.讨论了目前在存储架构中的不同层面(即缓存层、主存层和外存层)针对这些非易失存储器件的利用所开展的一些探索性工作,并分析了其中针对非易失存储器件的写次数有限、读写性能不均衡等不足所作出的一些策略设计.最后,对新型非易失存储器件的研究现状进行了总结,并提出了未来可能的发展方向.     

非易失处理器安全备份机制研究

非易失处理器NVP可以在自供能环境下快速恢复,非常适合物联网等应用环境。备份(Checkpointing)是NVP的核心保障技术。然而,现有的备份策略假设NVP处于理想的工作环境,只考虑了能量输入不稳等因素,没有考虑外界的恶意攻击对NVP安全带来的影响,比如,外界篡改备份过程中寄存器的内容,使系统崩溃;篡改备份过程中写到非易失存储中的内容,使数据不可信等,阻碍了NVP在可穿戴医疗设备等安全攸关领域中的应用。梳理了最新的带维持态的NVP在备份过程中存在的安全威胁,并提出了相应的应对机制。     

分布式测试系统中数据存储管理系统研究

在一些大海域进行的分布式测试系统实验中,对大量、多种类测试数据的有效存储管理是必要的。NAND Flash存储器具有非易失、大容量、可擦除与重复性编程等优点,并可基于其构建文件系统实现文件的有效存储管理。无线实时回传处理大量数据是系统的瓶颈,因此存储数据时可提取数据特征并存储特征,为实现基于特征提取的高效数据传输提供可...     

基于数字水印的外包数据库版权保护

外包数据库系统为数据拥有者及数据库用户提供远程的数据存储、更新与查询服务.由于服务器本身非完全可信,外包数据库的版权保护问题日益重要.介绍了外包数据库系统的基本结构;论述了外包数据库版权保护的基本需求与主要技术;提出了基于数字水印技术实现外包数据库版权保护的技术方案.系统在密钥与随机混沌序列的参与下进行水印信号的嵌入,水印检测无需原始数据库参与,以水印匹配率进行版权判定.水印攻击分析及实验结果显示,系统具有较高的鲁棒性与可用性.     

闪存数据库:现状、技术与展望

随着闪存存储技术的发展,闪存已经广泛应用于各种移动设备、PC机和服务器中.作为一种完全不同于磁盘的新型存储介质,闪存具有非易失、高速读写、抗震、低功耗、高存储密度等物理特性,这使得基于闪存的数据管理问题成为新的挑战.数据库系统是数据管理的重要技术,将现有的数据库系统直接移植到闪存上并不能充分发挥其硬件特性,设计实现基于闪存的数据库系统是当前的一个研究热点.文中介绍了闪存的特性和闪存转换层;总结了缓冲区、索引、查询和事务等数据库关键技术;讨论了基于闪存的混合存储数据管理.最后,基于该领域亟待解决的诸多问题,指出了未来的研究方向.     

基于税务行业大数据应用的存储系统设计

介绍了在大集中环境下税务行业大数据的应用价值,结合税务行业对大数据的需求提出税务行业大数据存储系统设计目标。通过使用海量非结构化数据存储、虚拟机镜像数据存储等技术,规划出大数据存储系统,并描述大数据存储系统的存储方式和应用效果。     

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统（HDFS）和MapReduce编程模型的分布式MOLAP技术,称为DOLAP（distributed OLAP）.DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.     

基于NVM的存储安全综述

大数据时代的来临为存储系统提供了新的机遇,同时也提出了新的挑战。传统的基于动态随机存储(DRAM)的内存架构面临着容量、能耗、可靠性等方面的问题;新型非易失存储器件(Non-Volatile Memory,NVM)具有非易失、字节寻址、空闲能耗低等优势,可以作为外存、内存或存储级内存(Storage Class Memory,SCM),为未来存储系统的变革提供了新选择,但同时也存在一些安全问题。NVM器件本身的耐久性有限,频繁对某一位置进行写操作时会造成该位置磨损,从而缩短设备的寿命;同时,由于具有非易失性,NVM被用作内存时,断电后数据不会丢失,攻击者可以通过窃取数据来提取敏感信息或对数据进行篡改;当NVM与DRAM构成混合内存时,可能会产生指针指向不明等问题;NVM作为SCM时,应用程序通过存取(load/store)接口直接对其进行访问,绕过了文件系统等权限管理和一致性管理机制。针对这些问题,文中总结了磨损均衡、减少写操作、减少写入量、内存加密、设计一致性机制、设计权限管理机制等解决办法;最后从硬件、操作系统以及编程模型层面探讨了 仍须关注的NVM安全问题。     

基于Oracle的OLTP与OLAP数据库设计及实现

介绍了OLAP和OLTP处理系统的概念,根据这两种数据库应用在实时性、并发性及数据量大小等方面的不同,数据库在设计方面侧重的技术各有不同,阐述了数据库设计技术,即内存设计、变量绑定、SQL并行执行、表分区存储、磁盘IO能力等设计技术在这两种数据库中。     

基于非易失性存储器的存储引擎性能优化

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的 I/O 软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以 Ceph 大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎 NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升 Ceph 的小块数据读写性能。     

基于NVM和HTM的低时延事务处理

硬件事务内存(hardware transactional memory,HTM)能够极大地提升多核内存事务处理的吞吐.然而,为了避免慢速持久化设备对事务吞吐的影响,现有系统以批量的方式提交事务,这使得事务提交有极高的延迟.低时延非易失性内存(non-volatile memory,NVM)的出现,给降低基于HTM的内...     

非易失性存储器件的性能、可靠性及应用

随着大数据和人工智能应用的发展,数据呈现爆发式增长,对数据存储的需求日益加剧。传统内存技术的容量已经接近其物理存储密度的极限,而非易失性存储器具有按字节寻址、能耗低、读写速度快等优良特性,有望替代传统的动态随机存储器或磁盘技术。然而,该介质本身也存在一些不足,如使用寿命有限、读写速度不对称、磨损不均衡和错误来源多样等缺点。该文通过阐述常见非易失性存储器的存储原理,调研并总结了一些现有改进技术。     

面向新型非易失存储的文件系统研究综述

新型非易失存储(NVM)可字节寻址,具有近似内存的低延迟特性以及外存的非易失性,受限于软硬件技术成熟度,目前首先被用于外存.讨论了NVM用于持久性外存所面临的一系列问题,以及管理上的一些挑战;对现有的典型NVM文件系统及其主要特性进行了梳理.归纳起来,这些特性主要围绕降低一致性开销、降低软件栈开销、内存与外存的融合、分布式文件系统、NVM文件系统安全、容错、空间管理几个方面展开.最后,展望了NVM文件系统仍然有待探讨的几个研究方向,包括扩展性问题、虚拟内存与文件系统的有机融合以及分布式文件系统等.     

支持混合事务和分析处理的数据库管理系统综述

数据库管理系统根据应用场景分为事务型(OLTP)系统和分析型(OLAP)系统.随着实时数据分析需求增长, OLTP任务和OLAP任务混合的场景越来越普遍,业界开始重视支持混合事务和分析处理(HTAP)的数据库管理系统.这种HTAP数据库系统除了需要满足高性能的事务处理外,还需要满足实时分析对数据新鲜度的要求.因此,对数据库系统的设计与实现提出了新的挑战.近年来,在工业界和学术界涌现了一批架构多样、技术各异的原型和产品.综述HTAP数据库的背景和发展现状,并且从存储和计算的角度对现阶段的HTAP数据库进行分类.在此基础上,按照从下往上的顺序分别总结HTAP系统在存储和计算方面采用的关键技术.在此框架下介绍各类系统的设计思想、优劣势以及适用的场景.此外,结合HTAP数据库的评测基准和指标,分析各类HTAP数据库的设计与其呈现出的性能与数据新鲜度的关联.最后,结合云计算、人工智能和新硬件技术为HTAP数据库的未来研究和发展提供思路.     

数据仓库和数据仓库系统体系结构

为解决传统OLTP、MIS系统存在的平台的异构、应用分散、易进不易出、“蜘蛛网”,甚至“数据监狱”和“数据贫穷”等问题,对服务于OLTP的数据库中的原始数据进行再加工,形成一个综合的、面向分析的环境以支持决策的产生,逐渐形成数据仓库(DW)的思想。介绍了数据仓库、数据集市、操作数据存储以及数据仓库系统的体系结构,给出了设计方案。     

面向列的内存访问研究综述

在大规模、数据量密集的特定应用场景下,以行存储访问数据的方式弊端日益凸显,逐渐不能满足数据高速访问的性能需求,数据亟需更加高效的传输和处理方式.因此,拓展新的内存访问方式,并且同时兼容行、列方向的访问对提升访问效率、降低整体功耗、节省内存空间有着重要意义.本文围绕动态随机存储和非易失性存储两个方面来详细介绍实现列方向的内存访问方式,重点分析了存储单元的结构设计以及实现列向存储访问过程.最后,对内存两种不同访问方式进行了比较和总结,并且对行列访问的内存数据库、数据挖掘、数据加密算法、实时系统的应用场景进行了展望.     

Resistance switching for RRAM applications

Resistive random access memory (RRAM or ReRAM) is a non-volatile memory (NVM) technology that consumes minimal energy while offering sub-nanosecond switching. In addition, the data stability against high temperature and cycling wear is very robust, allowing new NVM applications in a variety of markets (au- tomotive, embedded, storage, RAM). Based on sudden conduction through oxide insulators, the characteristics of RRAM technology have still yet to be fully described. In this paper, we present our current u...     

基于国产平台的非易失功能模拟方法

为满足工程实践中对非易失内存的需求,在不对自主通用服务器主板进行重新设计修改的前提下,设计并实现一种基于软件模拟方法。通过修改操作系统内核以及驱动,将普通的易失性内存模拟为非易失内存,实现关机时数据保存以及开机时数据恢复功能。通过与NVDIMM-N非易失内存在执行时间以及读写性能方面进行对比,采用该模拟方法达到的效果整体上优于使用NVDIMM-N非易失内存设备。