基于NVM和HTM的低时延事务处理

硬件事务内存(hardware transactional memory,HTM)能够极大地提升多核内存事务处理的吞吐.然而,为了避免慢速持久化设备对事务吞吐的影响,现有系统以批量的方式提交事务,这使得事务提交有极高的延迟.低时延非易失性内存(non-volatile memory,NVM)的出现,给降低基于HTM的内...     

基于影子页面的MMDB的数据恢复方法

内存数据库数据主拷贝常驻内存,活动事务只与内存打交道,而由于内存的易失性,内存数据库的恢复成为内存数据库的核心技术.讨论了内存数据库的恢复技术,考虑所研究的系统环境限制,设计一种利用影子页面技术,并结合事务一致性检查点、模糊检查点思想,加上多版本技术的内存数据库恢复方法.该方法无需额外的硬件支持,解决了现有内存数据库恢复方法的一些问题.通过日志,检查点、恢复等方面来说明所设计的数据恢复方法,讲述它的备份过程和在事务故障和系统故障情况下恢复系统的过程.     

HybridTCache:一种基于专用事务Cache的软硬件协同事务内存系统

文中提出一种高效的软硬件协同事务内存系统HybridTCache.在通常情况下,事务完全由硬件执行,当事务大小超出了硬件限制时,操作系统将协同硬件执行.HybridTCache提出了一种新的专用事务Cache,称为TCache,缓存事务执行过程中的临时数据,由操作系统协同管理TCache溢出.文中给出了基于GEMS模拟器的HybridTCache原型系统.系统的评测显示HybridTCache比传统系统在性能、可扩展性、设计复杂度方面有较好的改进.     

一种支持操作系统的硬件事务内存系统

本文分析了目前提出的硬件事务内存系统在支持线程切换及迁移、内存页置换、系统调用等方面存在的问题,并提出了新的支持操作系统的实现方案DTM。DTM采用单独的面向事务处理的一致性协议来检测及仲裁事务间冲突,与传统的事务内存系统相比,DTM具有实现简单、可扩展性好及性能上的优势。     

非易失性内存安全技术综述

大数据应用对内存容量的需求越来越大,而在大数据应用中,以动态随机存储器为内存介质的传统存储器所凸显出来的问题也越来越严重。计算机设计者们开始考虑用非易失性内存去替代传统的动态随机存储器内存。非易失性内存作为非易失的存储介质,不需要动态刷新,因此不会引起大量的能量消耗;此外,非易失性内存的读性能与动态随机存储器相近,且非易失性内存单个存储单元的容量具有较强的可扩展性。但将非易失性内存作为内存集成到现有的计算机系统中,需要解决其安全性问题。传统的动态随机存储器作为内存介质掉电后数据会自动丢失,即数据不会在存储介质中驻留较长时间,而当非易失性内存作为非易失性存储介质时,数据可以保留相对较久的时间。若攻击者获得了非易失性内存存储器的访问权,扫描存储内容,便可以获取内存中的数据,这一安全性问题被定义为数据的“恢复漏洞”。因此,在基于非易失性内存模组的数据中心环境中,如何充分有效地利用非易失性内存,并保证其安全性,成为迫切需要解决的问题。该文从非易失性内存的安全层面出发,对近年来的研究热点及进展进行介绍。首先,该文总结了非易失性内存所面临的主要安全问题,如数据窃取、完整性破坏、数据一致性与崩溃恢复...     

基于非易失性内存的持久化嵌入式内存数据库

随着近年来嵌入式应用的复杂化和多样化,工业界和学术界提出来用内存数据库满足嵌入式系统对数据处理性能不断提升的要求.然而,现有的内存数据库需要在磁盘或闪存等外存上持久化存储真实的数据库备份,并且以I/O操作的方式将数据库的更新操作同步回外存,有极大的性能开销.此外,这类数据库即便直接部署在新型非易失性内存（non-volatile memory,简称NVM)中,也因为缺乏内存中的持久化机制而不能脱离外存.针对现有内存数据库的不足,提出一套面向NVM的持久化内存数据库设计方案.该方案直接用数据库独立管理NVM,持久化存储NVM的空间信息以及内存数据库的元数据.依据该方案,在典型的内存数据库Redis的基础上实现了可在NVM上持久化的内存数据库.实验结果表明,该方案与既有Redis的持久化方案AOF相比,数据库的启动速度可提高2 400倍,关闭速度可提高5倍,set操作的速度可提高58倍,delete操作的速度可提升34倍.     

基于非易失性存储器的存储引擎性能优化

非易失性存储器具有接近内存的读写速度,可利用其替换传统的存储设备,从而提升存储引擎的性能。但是,传统的存储引擎通常使用通用块接口读写数据,导致了较长的 I/O 软件栈,增加了软件层的读写延迟,进而限制了非易失性存储器的性能优势。针对这一问题,该文以 Ceph 大数据存储系统为基础,研究设计了基于非易失性存储器的新型存储引擎 NVMStore,通过内存映射的方式访问存储设备,根据非易失性存储器的字节可寻址和数据持久化特性,优化数据读写流程,从而减小数据写放大以及软件栈的开销。实验结果表明,与使用非易失性存储器的传统存储引擎相比,NVMStore能够显著提升 Ceph 的小块数据读写性能。     

内存事务中并发控制协议研究综述

事务为数据库等系统的上层应用提供了强大的保证.NoSQL数据库通过弱化对事务的支持来获得更高的扩展性,却难以满足OLTP等应用的事务性需求.之后提出的NewSQL数据库架构回归了高一致性的事务支持,并兼顾了海量数据的高效管理.因此,NewSQL数据库逐步将事务执行所需的数据从硬盘迁移到内存中以提升事务执行的效率.但是,已有内存事务的并发控制协议与新兴的存储、网络设备并不适配.从处理策略、版本控制、冲突解决3个维度对近10年来的内存事务中并发控制协议进行了分类阐述,进而从性能、扩展性、持久性3个方面比较了有代表性的并发控制协议.之后总结了4个改进内存事务并发控制协议的技术思路：消除事务扩展瓶颈,利用新硬件加速事务处理,降低事务中止概率,高效保证事务持久性.最后指出了内存事务并发控制协议的未来研究方向.     

事务内存机制在系统安全中的应用:现状与展望

为了提高并行程序中共享内存数据的读写访问性能,事务内存机制于1993年被提出。因为事务内存机制直接涉及内存数据的读写控制,所以也得到了系统安全研究人员的极大关注。2013年,Intel公司开始支持TSX（Transactional Synchronizatione Xtension）特性,第一次在广泛使用的计算机硬件中支持事务内存机制。利用事务内存机制的内存访问跟踪、内存访问信号触发和内存操作回滚,以及Intel TSX特性的用户态事务回滚处理、在Cache中执行所有操作和硬件实现高效率,研究人员完成了各种的系统安全研究成果,包括：授权策略实施、虚拟机自省、密钥安全、控制流完整性、错误恢复和侧信道攻防等。本文先介绍了各种基于事务内存机制的研究成果;然后分析了现有各种系统安全研究成果与事务内存机制特性之间的关系,主要涉及了3个角度：内存访问的控制、事务回滚处理、和在Cache中执行所有操作。我们将已有的研究成果的技术方案从3个角度进行分解,与原有的、不基于事务内存机制的解决方案比较,解释了引入事务内存机制带来的技术优势。最后,我们总结展望了将来的研究,包括：硬件事务内存机制的实现改进,事务内存机制（尤其是硬件事务内存机制）在系统安全研究中的应用潜力。     

虚拟环境下硬件事务内存辅助的同步机制

在虚拟化系统中,双重调度问题普遍存在。过度负载的现象进一步加剧了双重调度问题,造成了不可忽视的性能下降。如何在保护系统公平性的同时,缓解双重调度问题带来的负面影响,提高系统的整体性能,成为一个重要的课题。通过研究双重调度引发的同步机制效率问题,结合硬件事务内存的特点,为虚拟机内核设计了新的同步机制SPINRTM。一方面,SPINRTM基于硬件事务内存不可被打断的特性,保护了虚拟机内的临界区间,使其不被打断,有效缓解了双重调度问题;另一方面,SPINRTM结合了传统的排队自旋锁,保护了硬件事务内存的运行效率,也维护了系统的公平性。测试证明,在超负载的情况下,SPINRTM能够在保护系统公平性的同时,提高系统的整体性能。     

集群上软件事务内存的层次化冲突检测

大多数事务内存研究都在多核处理器上进行,只有少数研究针对集群计算环境。现有的集群事务内存性能较差,因为事务内存的运行需要进行大量的远程内存访问,而集群的内存分布性使得远程内存访问的性能较差。事务内存运行中的冲突检测是进行远程内存访问最多的操作。我们提出了一种层次化的冲突检测方法,将其分为两个步骤进行,这种层次化的策略可以使集群上的软件事务内存获得高性能。     

Hypervisor中内存回收技术的改进

虚拟化是云计算的关键技术. Hypervisor在虚拟机与主机硬件之间提供了一个抽象层,允许用户为运行着的虚拟机分配的内存总值超过主机的可用内存,这种技术称为内存过量分配. 为了能够降低这个技术对虚拟机性能的影响,hypervisor必须提供高效率的内存回收机制. 在本论文中,作者提出了一种解决方案：使用非易失性内存作为hypervisor交换页面数据的缓存设备. 作者从系统内存中划分出空间模拟了非易失性内存设备,修改了KVM模块中的算法,并制定了五种测试环境. 通过实验数据证明,相比现有的Ballooning技术与Hypervisor swapping技术,使用非易失性内存并配合低优先级队列算法时,虚拟机性能可提高30%和50%左右.     

基于持久化内存的索引设计重新思考与优化

非易失性内存(non-volatile memory,NVM)是近几年来出现的一种新型存储介质.一方面,同传统的易失性内存一样,它有着低访问延迟、可字节寻址的特性;另一方面,与易失性内存不同的是,掉电后它存储的数据不会丢失,此外它还有着更高的密度以及更低的能耗开销这些特性使得非易失性内存有望被大规模应用在未来的计算机系...     

面向CC-NUMA体系结构的事务内存冲突规避方法

现有的事务内存研究主要面向多核处理器和SMP机器,缺少对CC-NUMA系统的研究.而CC-NUMA是高端服务器的重要体系结构,随着用户对并行处理能力需求的不断上升,高端服务器将占据越来越重要的地位.文中概要阐述事务内存研究的基本情况,通过详尽的实验数据,深入分析了CC-NUMA结构的本地、远程访存差异特性对事务内存性能的影响,提出了一种面向CC-NUMA体系结构的冲突规避方法PBC.PBC在事务启动之前,对冲突可能性进行预测,并根据预测结果对事务进行调度,以降低事务的失败率.实验表明,文中提出的PBC方法可以显著提高CC-NUMA机器上运行事务内存的整体性能.     

基于弱隔离性的事务内存冲突分析

事务内存是一种扩展性好、易于编程的并行编程模型,其核心技术在于事务冲突的检测和处理.已有研究工作主要关注于冲突检测机制,但缺少对如何减少事务冲突的深入研究.分析表明,冲突概率的增长会严重降低事务内存系统的性能,并且随着处理器核数目的增长,这一问题会变得更加严重.研究发现,事务系统中弱隔离性模型的使用可以系统性地减少事务执行中的冲突,从而提升程序执行效率.基于该研究,提出了弱隔离性冲突检测方法(weak isolation conflict detection,WICD),并在SESC事件驱动模拟器上对WICD进行实现和评估,结果表明,与传统的严格隔离性模型相比,弱隔离性模型下最高可以减少35.7%的事务冲突,提升系统性能最大为31.0%.基于WICD的方法,通过对部分冲突进行立即检测,进而提出了一种改进的弱隔离性冲突检测方法(enhanced WICD,EWICD).实验表明,EWICD对于事务冲突的减少比率和WICD近似,最高达到33.8%,对系统性能的提升优于WICD,最大达到36.8%.     

嵌入式数据库中实时事务管理器的设计与实现

为解决传统嵌入式数据库系统只支持基本的事务操作,使得系统无法满足实时性应用需求的问题,分析了实时系统的特点和要求,并综合嵌入式数据库系统事务管理机制,提出了实时事务管理器作为嵌入式数据库系统的实时性解决方案,该管理器的核心算法包括事务截止期分析、事务优先级动态分配策略、事务调度策略和事务接纳策略几个部分。通过应用于嵌入式数据库管理系统Tyche_DB可知,该系统具备了实时系统的特点,满足实时性应用的需求。     

持久化内存文件系统的磨损攻击与防御机制

近来出现诸多以非易失性存储器（non-volatile memory,简称NVM）作为存储设备的新型持久化内存文件系统,充分发掘NVM的低延迟和可按字节寻址等优点,优化文件访问的I/O栈和一致性机制,极大提升文件系统的性能.然而,现有持久化内存文件系统都没有考虑NVM写耐受度低的缺陷,极易导致NVM被磨损穿（wear out）.针对NVM写耐受度低的缺点,探索多种利用基本文件操作对NVM造成磨损攻击的方式,并在真实持久化内存文件系统PMFS中以实验证明磨损攻击的严重性.为有效防御针对NVM的磨损攻击,提出了持久化内存文件系统磨损防御机制（persistent in-memory file system wear defense technique,简称PFWD）,包括索引节点元数据虚拟化技术、超级块迁移技术、文件数据页磨损均衡技术和文件索引结构迁移技术,保护文件系统中所有可能被磨损攻击利用的数据结构.实验结果证明所提出的PFWD技术能有效地防御病毒发动对NVM的磨损攻击,提高了存储系统的稳定性.     

一种高效的混合内存布局机制与编码技术

随着大数据和多核技术的发展,传统内存技术的发展已经远远不能满足大量数据密集型应用涌现所催生的内存计算需求。近年来,新型非易失性存储器(NVM)的兴起与发展为打破传统内存技术瓶颈提供了契机。相变存储器(PCM)作为一种典型的新型非易失性存储器(NVM),与传统内存DRAM各有优势,被认为是最有可能代替传统内存DRAM的存储器,在内存应用中具有很好的发展前景。基于DRAM和PCM的混合内存使得同时发挥DRAM与PCM各自的优势成为可能,故提出一种DRAM与PCM混合内存架构,设计针对混合内存布局的高效读写策略及数据迁移机制,并且在混合内存系统中应用纠删码来提高系统的可靠性。实验表明,此混合内存系统能够大大减少能耗,提高数据吞吐量,同时保证读写的可靠性。     

软件事务内存的动态竞争管理策略

软件事务内存是为了简化并行程序设计而出现的一种新的程序设计技术.为了降低软件事务内存系统中事务冲突的发生频率以提升系统整体性能,提出了一种新的基于动态控制和队列调度的竞争管理策略.定义了竞争强度的概念和系统总体框架,并在此基础上给出了利用运行时反馈信息动态调节竞争强度的方法.同时给出了事务序列化的设计方法与实现中应注意的问题,通过将冲突概率大的事务序列化以达到避免相同冲突再次发生的目的.结合常用的基准数据结构,对模型和算法进行了实验,最后结果表明了算法的正确性和有效性.     

影响非易失性内存系统性能的因素分析

新型非易失性存储器(non-volatile memory,NVM)具有扩展性好、静态能耗低、非易失性等特点,基于NVM的内存系统有望在未来补充甚至替代DRAM内存.但是NVM写延迟较长、写耐久性有限、动态写能耗高的问题,对NVM的实际应用产生了挑战.NVM内存系统如何影响应用程序,哪些因素会影响NVM内存系统的性能,是一个值得研究的问题.初步评测了NVM内存系统的性能,所提出的NVM内存包括两种:一种是只有NVM的内存(NVM-only memory);另一种是DRAM/NVM构成的混合内存.同时对比了NVM内存与DRAM内存的性能,分析了影响NVM内存系统的因素.最后,讨论了NVM内存系统研究的未来工作.