基于超低延迟SSD的页交换机制关键技术

随着内存密集型应用的快速发展,应用对单机内存容量的需求日益增大.然而,受到颗粒密度的限制,内存容量的扩展度较低.页交换机制是进行内存扩展的经典技术,该机制通过将较少使用的内存页面暂存在存储设备,以达到扩展内存的目的.过去页交换机制由于慢速磁盘的读写速度限制,无法被广泛应用.近年来,得益于超低延迟固态硬盘（solid state drive, SSD）的快速发展,页交换机制可以利用其低延迟的读写特性,提升页交换效率.然而,在低I/O延迟的情况下,传统页交换机制的I/O栈存在巨大的软件开销.首先对使用超低延迟SSD的Linux页交换机制进行测试与分析,发现现有页交换机制的主要瓶颈在于发送请求时存在队头阻塞问题、I/O合并和调度开销,以及内核返回路径上的中断处理和直接内存回收开销.基于分析结果,提出基于超低延迟SSD的页交换机制Ultraswap.Ultraswap在Linux I/O栈的基础上增加对轮询请求的处理,并降低I/O合并与调度开销,实现轻量级的I/O栈.基于Ultraswap的I/O栈,对内核页交换机制的换入与换出路径进一步优化.通过优化对缺页、直接内存回收的处理,降低页交换机制...     

UNIX系统交换区的管理

一、使用交换区的必要性 交换区(swap)是存在于高速存储设备上的一块区域,是虚拟内存系统重要的组成部分。通过交换区,我们不再局限于有限的物理内存空间,理论上可以无限地扩大虚拟内存系统,从而运行更多的程序,进行更多的业务交易,更充分地发挥硬件资源。交换区采用换入换出技术和存储器间互相交换进程或数据页面。根据一定的调度原则,内存中部分不常用的进程或数据页定期交换到交换区中,以便为需要运行的程序留出更多的可用空间。交换出去的进程或数据页根据需要时再交换进来,这样一来就实现了大量并发进程的管理。不适当的交换区设置不仅使换页守护进程忙于交换页面进出而消耗时间,而且使进程运行的速度、系统效率都大大降低,很大程度上影响了操作系统的性能。当前,应用程序的日益庞大,运行业务的急剧增加,高性能数据库如InformixOnline Dynamic Server为响应对数据的快速存取而使用的共享内存技术等,都对有限的物理内存空间提出了更高的要求,因此实施对交换区的有效管理具有重要作用。     

用于HLA实时仿真的内存机制数据库开发

介绍了内存机制数据库的研究与开发的主要内容.随着计算机技术的发展和仿真应用的变化和高层体系结构HLA的出现,改变了计算机仿真技术研究和应用的格局.针对体系仿真对实时性的高要求,提出一种新的提高体系仿真实时性能的方法,即利用内存机制数据库技术来解决实时性需求.它能够高速缓存后台数据库中的数据,依靠内存机制数据库对这些数据进行管理,构成内存数据库管理系统.并通过选用FCS-DBS系统作为实例验证了理论研究部分的可行性.     

改进的Spark Shuffle内存分配算法

Shuffle性能是影响大数据集群性能的重要指标,Spark自身的Shuffle内存分配算法试图为内存池中的每一个Task平均分配内存,但是在实验中发现,由于各Task对于内存需求的不均衡导致了内存的浪费和运行效率较低的问题。针对上述问题,提出一种改进的Spark Shuffle内存分配算法。该算法根据Task的内存申请量和历史运行数据将Task按内存需求分为大小两类,对小内存需求型Task作"分割化"处理,对大内存需求型Task基于Task溢出次数和溢出后等待时间分配内存。该算法充分利用内存池的空闲内存,可以在数据倾斜导致的Task内存需求不均衡的情况下进行Task内存分配的自适应调节。实验结果表明,改进后算法较原算法降低了Task的溢出率,减少了Task的周转时间,提高了集群的运行性能。     

一种基于智能调度的可扩展并行强化学习方法

针对强化学习在大状态空间或连续状态空间中存在的“维数灾”问题,提出一种基于智能调度的可扩展并行强化学习方法—IS-SRL,并从理论上进行分析,证明其收敛性.该方法采用分而治之策略对大状态空间进行分块,使得每个分块能够调入内存独立学习.在每个分块学习了一个周期之后交换到外存上,调入下一个分块继续学习.分块之间在换入换出的过程中交换信息,以使整个学习任务收敛到最优解.同时针对各分块之间的学习顺序会显著影响学习效率的问题,提出了一种新颖的智能调度算法,该算法利用强化学习值函数更新顺序的分布特点,基于多种调度策略加权优先级的思想,把学习集中在能产生最大效益的子问题空间,保障了IS-SRL方法的学习效率.在上述调度算法中融入并行调度框架,利用多Agent同时学习,得到了IS-SRL方法的并行版本—IS-SPRL方法.实验结果表明,IS-SPRL方法具有较快的收敛速度和较好的扩展性能.     

基于物联网海量数据处理的数据库技术分析与研究

物联网的快速发展,对海量数据处理技术要求越来越高。针对物联网数据的实时性、海量性、多态与异构性特征,文章通过对基于分布式内存数据库的数据库技术和基于云计算技术的分布式实时数据库技术的分析研究,认为以上两种数据库技术可以适合并满足物联网海量数据的处理需求。     

Hypervisor中内存回收技术的改进

虚拟化是云计算的关键技术. Hypervisor在虚拟机与主机硬件之间提供了一个抽象层,允许用户为运行着的虚拟机分配的内存总值超过主机的可用内存,这种技术称为内存过量分配. 为了能够降低这个技术对虚拟机性能的影响,hypervisor必须提供高效率的内存回收机制. 在本论文中,作者提出了一种解决方案：使用非易失性内存作为hypervisor交换页面数据的缓存设备. 作者从系统内存中划分出空间模拟了非易失性内存设备,修改了KVM模块中的算法,并制定了五种测试环境. 通过实验数据证明,相比现有的Ballooning技术与Hypervisor swapping技术,使用非易失性内存并配合低优先级队列算法时,虚拟机性能可提高30%和50%左右.     

一种高效的混合内存布局机制与编码技术

随着大数据和多核技术的发展,传统内存技术的发展已经远远不能满足大量数据密集型应用涌现所催生的内存计算需求。近年来,新型非易失性存储器(NVM)的兴起与发展为打破传统内存技术瓶颈提供了契机。相变存储器(PCM)作为一种典型的新型非易失性存储器(NVM),与传统内存DRAM各有优势,被认为是最有可能代替传统内存DRAM的存储器,在内存应用中具有很好的发展前景。基于DRAM和PCM的混合内存使得同时发挥DRAM与PCM各自的优势成为可能,故提出一种DRAM与PCM混合内存架构,设计针对混合内存布局的高效读写策略及数据迁移机制,并且在混合内存系统中应用纠删码来提高系统的可靠性。实验表明,此混合内存系统能够大大减少能耗,提高数据吞吐量,同时保证读写的可靠性。     

面向 Java 的高对抗内存型 Webshell 检测技术

由于 Web 应用程序的复杂性和重要性, 导致其成为网络攻击的主要目标之一。攻击者在入侵一个网站后, 通常会植入一个 Webshell, 来持久化控制网站。但随着攻防双方的博弈, 各种检测技术、终端安全产品被广泛应用, 使得传统的以文件形式驻留的 Webshell 越来越容易被检测到, 内存型 Webshell 成为新的趋势。 内存型 Webshell 在磁盘上不存在恶意文件, 而是将恶意代码注入到内存中, 隐蔽性更强, 不易被安全设备发现, 且目前缺少针对内存型 Webshell 的检测技术。本文面向 Java 应用程序, 总结内存型 Webshell 的特征和原理, 构建内存型 Webshell 威胁模型, 定义了高对抗内存型 Webshell, 并提出一种基于RASP(Runtime application self-protection, 运行时应用程序自我保护)的动静态结合的高对抗内存型 Webshell 检测技术。针对用户请求, 基于 RASP 技术监测注册组件类函数和特权类函数, 获取上下文信息, 根据磁盘是否存在文件以及数据流分析技术进行动态特征检测, 在不影响应用程序正常运行的前提下, 实时地检测; 针对 JVM 中加载的类及对动态检测方法的补充, 研究基于文本特征的深度学习静态检测算法, 提升高对抗内存型 Webshell 的检测效率。实验表明, 与其他检测工具相比, 本文方法检测内存型 Webshell 效果最佳, 准确率为 96.45%, 性能消耗为 7.74%, 具有可行性, 并且根据检测结果可以准确定位到内存型Webshell 的位置。     

内存数据库技术在电网实时监测中的应用研究

对现有的内存数据库体系结构进行了改进,引进了数据失步缓冲机制和自适应文件缓冲机制,并将改进后的内存数据库技术整合到企业电网实时监测系统的整体架构中,提出了一套完整的基于内存数据库技术的企业电网实时监测系统的架构模型,该模型在保证数据实时性的同时可提高监测系统的并行处理能力和稳定性.与内存数据库相关的数据接口访问、数据同步等关键技术也进行了详细的分析,最后给出了系统的实际应用案例.     

A Survey of Non-Volatile Main Memory Technologies: State-of-the-Arts,Practices, and Future Directions

Non-Volatile Main Memories(NVMMs)have recently emerged as a promising technology for future memory systems.Generally,NVMMs have many desirable properties such as high density,byte-addressability,non-volatility,low cost,and energy efficiency,at the expense of high write latency,high write power consumption,and limited write endurance.NVMMs have become a competitive alternative of Dynamic Random Access Memory(DRAM),and will fundamentally change the landscape of memory systems.They bring many research opportunities as well as challenges on system archi-tectural designs,memory management in operating systems(OSes),and programming models for hybrid memory systems.In this article,we first revisit the landscape of emerging NVMM technologies,and then survey the state-of-the-art studies of NVMM technologies.We classify those studies with a taxonomy according to different dimensions such as memory ar-chitectures,data persistence,performance improvement,energy saving,and wear leveling.Second,to demonstrate the best practices in building NVMM systems,we introduce our recent work of hybrid memory system designs from the dimensions of architectures,systems,and applications.At last,we present our vision of future research directions of NVMMs and shed some light on design challenges and opportunities.     

存储器在数字通信中的应用及发展趋势

论述了FIFO存储器在光电数／模转换装置中的应用,以及存储器发展趋势。存储器是用来存储程序和数据的部件,对于计算机来说,有了存储器,才有记忆功能,才能保证正常工作。双端口FIFO存储器,可以让两个系统的CPU同时访问,一个写,一个读,访问数据顺序是先进先出。使双机系统同时工作,提高了系统计算速度。存储器是CPU与CPU、CPU与其他设备沟通的桥梁。     

基于WINCE系统软件开发的内存研究

WINCE系统内存配置较小,嵌入式软件如果出现内存泄露问题,将会导致系统的可用内存不足,甚至出现系统崩溃。为此针对WINCE操作系统内存的管理和应用,通过引入一个在实时更新动态图的过程中出现内存泄露的案例,阐述了关于内存管理和内存应用的重要知识点,包括内存模型和内存分配方式,分析了在该案例中出现内存泄露的原因,提出了与案例中出现的内存泄露相似问题的解决方法,并针对一般情况下如何防止内存泄露作了简单介绍,最后详细阐述了案例中为了优化内存所做的工作,对编程者有很好的指导作用。     

一种适用嵌入式系统的自适应动态内存管理方案

实时性、可靠性、高效性的要求,使得许多嵌入式应用使用自己的内存管理方案。任何内存碎片的产生无疑都是对大块内存频繁分割造成的,适当减少对大块内存的分割,就会减少内存碎片的产生,但在减少分割内存块的同时又如何才能满足系统对内存的需求呢?文中在对当今最常用的两种内存分配算法分析的基础上提出一种新的适用于嵌入式系统的内存管理算法——自适应动态内存分配算法,重点就如何减少内存碎片,提高内存利用率,提出了新的构想与实现。望其成为嵌入式系统中内存管理算法的模板。     

抗电路板级物理攻击的操作系统防御技术研究

计算设备处理和存储日益增多的敏感信息,如口令和指纹信息等,对安全性提出更高要求.物理攻击技术的发展催生了一种通过攻击电路板级硬件组件来获取操作系统机密信息的攻击方法：电路板级物理攻击.该类攻击具有工具简单、成本低、易流程化等特点,极容易被攻击者利用形成黑色产业,是操作系统面临的新安全威胁和挑战.在处理器上扩展内存加密引擎可抵抗该类攻击,但是目前大部分计算设备并未配备该硬件安全机制.学术界和产业界提出软件方式抗电路板级物理攻击的操作系统防御技术,该类技术已成为近年来的研究热点.深入分析了该类技术的研究进展,总结其技术优势和不足,并探讨其发展趋势.首先,介绍了电路板级物理攻击的定义、威胁模型、现实攻击实例.之后,介绍软件方式抗电路板级物理攻击的操作系统防御技术所依赖的一些基础技术.然后,对该类防御技术的研究进展按照保护范围进行分类总结和归纳.最后,分析了该类防御技术的优势与不足,给出工程实现建议,并探讨该类防御技术未来的研究趋势.     

内存体系划分技术的研究与发展

在多核计算机时代,多道程序在整个共享内存体系上的“访存干扰”是制约系统总体性能和服务质量的重要因素.即使当前内存资源已相对丰富,但如何优化内存体系的性能、降低访存干扰并高效地管理内存资源,仍是计算机体系结构领域的研究热点.为深入研究该问题,详述将“页着色(pagecoloring)”内存划分技术应用于整个内存体系(包括Cache、内存通道以及内存DRAM Bank),进而消除了并行多道程序在共享内存体系上的访存干扰的一系列先进方法.从DRAM Bank、Channel与Cache以及非易失性内存(non-volatile memory, NVM)等内存体系中介质为切入点,层次分明地展开论述:首先,详述将页着色应用于多道程序在DRAM Bank与通道的划分,消除多道程序间的访存冲突;随后是将页着色应用于在内存体系中Cache和DRAM的“垂直”协同划分,可同时消除多级内存介质上的访存干扰;最后是将页着色应用于包含NVM的混合内存体系,以提高程序运行效率和系统整体效能.实验结果表明,所提内存划分方法提高了系统整体性能(平均5%-15%)、服务质量(QoS),并有效地降低了系统能耗.通过梳理...     

嵌入式实时系统内存管理策略

嵌入式系统内存配置较小，不能采用一般桌面系统的内存管理方式，选取合适的内存管理策略在嵌入式系统设计中起着重要的作用。介绍了嵌入式系统设计中内存管理的范围、对内存分配的要求以及可能出现的问题，对内存分配的方式进行了详细的阐述，给出了内存碎片、内存丢失、执行时间不固定等问题的解决方法。     

按模式记忆理论的记忆结构刻画

给出了一个按模式记忆铁记忆模型,详细讨论了它的基本构成单元－智能记忆单元ＩＭＥ的结构和操作,由ＩＭＥ构成的记忆结构是一个开放性的存储结构,可以实现记忆的层次性、语义性、时效性和灰度性,并提供在此记忆结构进行联想记忆的必要信息。     

针对嵌入式多媒体系统的外存页面重映射

介绍一种基于硬件的、可编程的外存页面重映射机制,它可以明显地改善性能,并且由于减少了外存总线的访问而降低了功耗。另外还提出了一种把应用数据与指令存储器映射到外存页面的高效算法,使用图着色技术来支配页面映射程序,目标是通过把冲突页面重映射到不同的存储体来避免页面缺失。     

μC／OSII内存管理的一种改进方法

研究了μC／OSII的内存管理，发现当对一个申请到的内存块进行越界写操作或产生了指向空闲内存块指针区(头几个字节)非法指针时可能会破坏它指向下一个空闲内存块的指针，这样，空闲内存块链表就会被破坏。出于安全性要求，必须将控制信息与用户使用的空闲内存块分开，内存块的控制信息属于系统数据，必须对其进行保护。利用μC／OSII的就绪表(Ready List)中任务的调入和删除原理，构造一个内存管理表，实现内存块的分配和释放。由此，μC／ISII在内存管理中存在的安全性问题得到了解决。