基于线段树的高效内存管理算法及其空间优化

现有的内存管理的工作多集中在内存分配的效率上,实时性较好,但易产生内存碎片。为此,提出基于线段树的高效内存管理方法。该方法将内存地址空间划分为内存段,建立内存管理线段树,基于所建立的内存管理线段树,进行高效灵活的内存分配和回收管理,减少了内存碎片的产生。另外,针对线段树空间开销大的问题,提出了线段树空间优化的方法。实验结果表明,所提出的内存管理方法,具有效率高、产生的内存碎片少、内存管理空间开销小等优势。     

私有云平台的虚拟机内存调度策略

在私有云平台中,现有的方法无法灵活地对虚拟机内存资源进行有效的监控和分配。针对以上问题,提出了内存实时监测和动态调度(MMS)模型,利用libvirt函数库和Xen提供的libxc函数库实现了对虚拟机内存紧缺、内存空闲时的实时监测和动态调度,并且提出虚拟机迁移策略,有效地缓解宿主机的内存紧缺问题。最后选取一台物理机作为主控节点,两台物理机作为子节点,利用Eucalyptus搭建一个小型的私有云平台。结果显示,当宿主机处于内存紧缺状态时,MMS系统通过启动虚拟机迁移策略有效地释放了内存空间;当虚拟机占用内存逼近初始最大内存时,MMS为其分配新的最大内存;当占用内容降低时,MMS系统对部分空闲的内存资源进行了回收,而且释放内存不超过150MB(最大内存512MB)时,其对虚拟机性能的影响不大。结果表明该模型对私有云平台中虚拟机内存进行实时监测和动态调度是有效的。     

一种基于Key-Value数据库的快速地名地址输入提示方法

现有地址输入提示方法涉及标准地址和POI的研究较少,地址字符串的索引,大多采用Trie（字典）树索引,Trie树建立时内存消耗巨大,面临海量数据,问题突出。针对以上问题,提出一种基于Key-Value数据库的快速地名地址输入提示方法,该方法基于Trie树结构进行改进,降低了地址索引的复杂度;基于Key-Value数据库构建Trie树,避免了内存消耗巨大的问题。实验结果表明,基于Key-Value数据库构建的Trie树索引较基于内存构建的Trie树索引在事务响应性能方面和内存消耗方面具有明显的优势和效率。     

基于Spark的3D点云数据空间索引技术

针对Spark引擎不支持多维空间查询的问题,提出基于R树的二级空间索引,即在每个Worker节点上创建R子树,并将这些子树作为孩子,在Master节点上创建R树。针对LRU算法内存替换粒度粗、结果不够精确的问题,提出基于数据使用权重的内存替换方法。该方法将每次实际使用数据量与其总量的比值作为替换权重,将热点场景数据以RDD形式持久化至内存中,提高了基于内存查询的效率。根据远粗近细的视觉原理提出细节层次查询,该方法 将最能代表物体特征的点云数据先传输给客户端,或者仅把简化模型点数据传给客户端,以解决网络带宽不足和数据加载延迟的问题。实验证明,文中方法能有效解决Spark多维空间的查询问题,查询效率得到了明显提高。     

榫卯：一种可组合的定制化内存分配框架

动态内存分配器是现代应用程序重要组成部分, 它负责管理空闲内存并处理用户内存请求. 现代通用动态内存分配器能够提供较为平衡的性能与内存利用率, 但考虑到不同应用场景的内存使用情况和优化目标不同, 使用通用内存分配器并非最优解. 针对应用场景定制的专用内存分配器通常能够更好地满足系统需要, 然而编写专用内存分配器较为费时, 也容易出错. 开发者通常使用内存分配框架搭建专用动态内存分配器. 然而, 现有的内存分配框架存在抽象能力较差, 组合性与定制性不足的问题. 为此, 从函数式编程视角审视动态内存分配过程, 基于函数可组合性提出了一种可组合的定制化动态内存分配器框架榫卯. 榫卯框架将系统内存分配抽象为多个互不耦合的内存分配层级函数的组合, 这些层级函数能够扩展出策略槽, 以提供更高的定制性和组合性. 榫卯框架基于标准C实现, 依赖C预处理器的元编程特性实现层级函数组合的零性能开销. 开发者能够通过组合与定制分配器的层级函数, 快速构建出适合应用场景的内存分配器. 为了证明榫卯框架的有效性, 使用榫卯框架构建了3种不同的内存分配器实例: tlsfcc, hslab与wfslab, 其中tlsfcc针对多核嵌入式应用场景, 通过替换同步策略优化并发吞吐率; hslab是核心感知的slab式分配器, 通过定制线程缓存优化在异构硬件的性能; wfslab是低延迟的无等待/无锁分配器. 为了评估这3种内存分配器实例, 通过运行基准测试对比现有内存分配器. 实验分别在8核x86/64平台和8核异构aarch64嵌入式平台进行. 实验表明tlsfcc与原始tlsf分配器相比, 在上述两个平台上分别取得了平均1.76和1.59的加速比; 对比hslab与类似架构的tcmalloc, 它在两个平台的平均执行时间仅为tcmalloc的69.6%和85.0%; wfslab则取得了参与实验对比的内存分配器中最小的最差情况内存请求延迟, 其中包括目前最先进的无锁内存分配器mimalloc和snmalloc.     

改进的实时操作系统内存分配性能测试模型

针对实时操作系统内存分配的性能,分析了一个现有的测试模型,提出了模型中存在的问题,并给出了改进方法.改进后的模型比原模型可以产生更多的内存碎片,这样可以更充分地反映内存碎片对内存分配性能的影响.改进后的模型也更符合真实环境下的内存分配规律,且考虑了内存分配失败的情况对内存分配整体性能的影响.最后通过实验结果表明了改进方法的有效性和正确性.     

基于热点数据的持久性内存索引查询加速

非易失性内存(Non-Volatile Memory, NVM),也被称为持久性内存(Persistent Memory, PM),具有按位寻址、持久性、存储密度高、低延迟等特点。虽然NVM的延迟远小于闪存,但高于DRAM(Dynamic Random Access Memory)。此外,NVM还有读写不均衡、写次数有限等不足。因此,目前NVM还无法完全代替DRAM。一种更为合理的方法是利用NVM构建基于DRAM+NVM的混合内存架构。文中针对NVM和DRAM构成的混合内存架构,着重研究了基于热点数据的持久性内存索引加速方法。具体而言,以数据访问中的倾斜性特征为基础,利用DRAM的低延迟和NVM的持久性与高存储密度,提出了在持久性内存索引的基础上增加基于DRAM的热点数据缓存,进而提出了可以根据热点数据的变化自动调整缓存的查询自适应索引方法。将所提方法应用到多种持久性内存索引上,包括wBtree, FPTree以及Fast&Fair,并进行了对比实验。结果表明,当热点数据访问达到总访问次数的80%时,所提索引加速方法在3种索引上的查询性能分别取得了52%,33%,37%的提升。     

基于优化缓存模型的IPQAM频点管理方法研究

针对已有基于缓存策略的IPQAM（边缘调制器）频点管理方法中响应速率有待进一步提高、响应时延较大等问题, 提出了一种基于优化缓存模型的IPQAM频点管理方法。该优化缓存模型的设计充分考虑了IPQAM频点资源、频点端口资源, 以及资源所在服务组之间的关联关系, 模型中只加载资源的部分属性, 以降低对系统内存的消耗。基于该优化缓存模型, 设计并实现了一种IPQAM频点分配、回收方法, 该方法充分利用该优化缓存模型的结构优势, 能够快速完成目标资源的定位, 具备较优的平均时间复杂度。仿真实验表明, 与同类方法相比, 该方法能够以更低的响应时延(0. 02~0. 04 ms)提供更高的响应速率(最高16 000次/s), 在管理资源数量方面, 具备很好的系统可伸缩性。     

一种基于时间戳的高扩展性的持久性软件事务内存

新兴的非易失性内存(non-volatile memory,NVM)具有字节寻址、持久性、大容量和低功耗等优点,然而,在NVM上进行并发编程往往比较困难,用户既要保证数据的崩溃一致性又要保证并发的正确性.为了降低用户开发难度,研究人员提出持久性事务内存方案,但是现有持久性事务内存普遍存在扩展性较差问题.测试发现限制扩展性的关键因素在于全局逻辑时钟和冗余NVM写操作.针对这2个方面,提出了线程逻辑时钟方法,通过允许每个线程拥有一个独立时钟,消除全局逻辑时钟中心化问题;提出了缓存行感知的双版本方法,为数据维护2个版本,通过循环更新这2个版本来保证数据的崩溃一致性,从而消除冗余的NVM写操作.基于所提出的这2个方法,实现了一个基于时间戳的高扩展的持久性软件事务内存(scalable durable transactional memory,SDTM),对比测试显示,在YCSB负载下,与DudeTM和PMDK相比,SDTM的性能最多分别提高了2.8倍和29倍.     

大型3D场景漫游系统内存管理

在大型3D场景漫游系统中,单个资源(如模型、纹理)所需内存较大且分配和释放频繁,为了防止内存碎片的产生并提高内存分配速度,提出了一种新型内存管理方法.根据程序需求首先划分出一块或多块大的虚拟内存区域,然后基于所划分的内存区域进行内存分配和回收管理.在该管理方法中,对于程序中的小资源,使用内存池;对于大的资源,则使用伙伴系统内存管理方法.实验结果表明,该内存管理方法高效且稳定.     

A Survey of Non-Volatile Main Memory Technologies: State-of-the-Arts,Practices, and Future Directions

Non-Volatile Main Memories(NVMMs)have recently emerged as a promising technology for future memory systems.Generally,NVMMs have many desirable properties such as high density,byte-addressability,non-volatility,low cost,and energy efficiency,at the expense of high write latency,high write power consumption,and limited write endurance.NVMMs have become a competitive alternative of Dynamic Random Access Memory(DRAM),and will fundamentally change the landscape of memory systems.They bring many research opportunities as well as challenges on system archi-tectural designs,memory management in operating systems(OSes),and programming models for hybrid memory systems.In this article,we first revisit the landscape of emerging NVMM technologies,and then survey the state-of-the-art studies of NVMM technologies.We classify those studies with a taxonomy according to different dimensions such as memory ar-chitectures,data persistence,performance improvement,energy saving,and wear leveling.Second,to demonstrate the best practices in building NVMM systems,we introduce our recent work of hybrid memory system designs from the dimensions of architectures,systems,and applications.At last,we present our vision of future research directions of NVMMs and shed some light on design challenges and opportunities.     

存储器在数字通信中的应用及发展趋势

论述了FIFO存储器在光电数／模转换装置中的应用,以及存储器发展趋势。存储器是用来存储程序和数据的部件,对于计算机来说,有了存储器,才有记忆功能,才能保证正常工作。双端口FIFO存储器,可以让两个系统的CPU同时访问,一个写,一个读,访问数据顺序是先进先出。使双机系统同时工作,提高了系统计算速度。存储器是CPU与CPU、CPU与其他设备沟通的桥梁。     

基于WINCE系统软件开发的内存研究

WINCE系统内存配置较小,嵌入式软件如果出现内存泄露问题,将会导致系统的可用内存不足,甚至出现系统崩溃。为此针对WINCE操作系统内存的管理和应用,通过引入一个在实时更新动态图的过程中出现内存泄露的案例,阐述了关于内存管理和内存应用的重要知识点,包括内存模型和内存分配方式,分析了在该案例中出现内存泄露的原因,提出了与案例中出现的内存泄露相似问题的解决方法,并针对一般情况下如何防止内存泄露作了简单介绍,最后详细阐述了案例中为了优化内存所做的工作,对编程者有很好的指导作用。     

一种适用嵌入式系统的自适应动态内存管理方案

实时性、可靠性、高效性的要求,使得许多嵌入式应用使用自己的内存管理方案。任何内存碎片的产生无疑都是对大块内存频繁分割造成的,适当减少对大块内存的分割,就会减少内存碎片的产生,但在减少分割内存块的同时又如何才能满足系统对内存的需求呢?文中在对当今最常用的两种内存分配算法分析的基础上提出一种新的适用于嵌入式系统的内存管理算法——自适应动态内存分配算法,重点就如何减少内存碎片,提高内存利用率,提出了新的构想与实现。望其成为嵌入式系统中内存管理算法的模板。     

抗电路板级物理攻击的操作系统防御技术研究

计算设备处理和存储日益增多的敏感信息,如口令和指纹信息等,对安全性提出更高要求.物理攻击技术的发展催生了一种通过攻击电路板级硬件组件来获取操作系统机密信息的攻击方法：电路板级物理攻击.该类攻击具有工具简单、成本低、易流程化等特点,极容易被攻击者利用形成黑色产业,是操作系统面临的新安全威胁和挑战.在处理器上扩展内存加密引擎可抵抗该类攻击,但是目前大部分计算设备并未配备该硬件安全机制.学术界和产业界提出软件方式抗电路板级物理攻击的操作系统防御技术,该类技术已成为近年来的研究热点.深入分析了该类技术的研究进展,总结其技术优势和不足,并探讨其发展趋势.首先,介绍了电路板级物理攻击的定义、威胁模型、现实攻击实例.之后,介绍软件方式抗电路板级物理攻击的操作系统防御技术所依赖的一些基础技术.然后,对该类防御技术的研究进展按照保护范围进行分类总结和归纳.最后,分析了该类防御技术的优势与不足,给出工程实现建议,并探讨该类防御技术未来的研究趋势.     

内存体系划分技术的研究与发展

在多核计算机时代,多道程序在整个共享内存体系上的“访存干扰”是制约系统总体性能和服务质量的重要因素.即使当前内存资源已相对丰富,但如何优化内存体系的性能、降低访存干扰并高效地管理内存资源,仍是计算机体系结构领域的研究热点.为深入研究该问题,详述将“页着色(pagecoloring)”内存划分技术应用于整个内存体系(包括Cache、内存通道以及内存DRAM Bank),进而消除了并行多道程序在共享内存体系上的访存干扰的一系列先进方法.从DRAM Bank、Channel与Cache以及非易失性内存(non-volatile memory, NVM)等内存体系中介质为切入点,层次分明地展开论述:首先,详述将页着色应用于多道程序在DRAM Bank与通道的划分,消除多道程序间的访存冲突;随后是将页着色应用于在内存体系中Cache和DRAM的“垂直”协同划分,可同时消除多级内存介质上的访存干扰;最后是将页着色应用于包含NVM的混合内存体系,以提高程序运行效率和系统整体效能.实验结果表明,所提内存划分方法提高了系统整体性能(平均5%-15%)、服务质量(QoS),并有效地降低了系统能耗.通过梳理...     

嵌入式实时系统内存管理策略

嵌入式系统内存配置较小，不能采用一般桌面系统的内存管理方式，选取合适的内存管理策略在嵌入式系统设计中起着重要的作用。介绍了嵌入式系统设计中内存管理的范围、对内存分配的要求以及可能出现的问题，对内存分配的方式进行了详细的阐述，给出了内存碎片、内存丢失、执行时间不固定等问题的解决方法。     

按模式记忆理论的记忆结构刻画

给出了一个按模式记忆铁记忆模型,详细讨论了它的基本构成单元－智能记忆单元ＩＭＥ的结构和操作,由ＩＭＥ构成的记忆结构是一个开放性的存储结构,可以实现记忆的层次性、语义性、时效性和灰度性,并提供在此记忆结构进行联想记忆的必要信息。     

Performance of One''s Complement Caches

On-chip caches to reduce average memory access latency are commonplace in today's commercial microprocessors. These on-chip caches generally have low associativity and small cache sizes. Cache line conflicts are the main source of cache misses, which are critical for overall system performance. This paper introduces an innovative design for on-chip data caches of microprocessors, called one's complement cache. While binary complement numbers have been successfully used in designing arithmetic units, to the best of our knowledge, no one has ever considered using such complement numbers in cache memory designs. This paper will show that such complement numbers help greatly in reducing cache misses in a data cache, thereby improving data cache performance. By parallel computation of cache addresses and memory addresses, the new design does not increase the critical hit time of cache accesses. Cache misses caused by line interference are reduced by evenly distributing data items referenced by program loops across all sets in a cache. Even distribution of data in the cache is achieved by making the number of sets in the cache a prime or an odd number, so that the chance of related data being mapped to a same set is small. Trace-driven simulations are used to evaluate the performance of the new design. Performance results on benchmarks show that the new design improves cache performance significantly with negligible additional hardware cost.     

针对嵌入式多媒体系统的外存页面重映射

介绍一种基于硬件的、可编程的外存页面重映射机制,它可以明显地改善性能,并且由于减少了外存总线的访问而降低了功耗。另外还提出了一种把应用数据与指令存储器映射到外存页面的高效算法,使用图着色技术来支配页面映射程序,目标是通过把冲突页面重映射到不同的存储体来避免页面缺失。