基于深度强化学习的移动网络边缘缓存策略

为了应对回程链路的负载过重、用户进行内容请求时能耗过高的问题,提出了一种基于深度强化学习的边缘缓存策略。从移动边缘计算（MEC）异构体系结构出发,通过对系统能耗进行分析,将系统中的能耗问题转换成混合整数非线性规划（MINLP）问题,建立了基于马尔科夫决策过程的缓存处理机制,并提出了一种基于DQN的边缘缓存算法。通过实验仿真证明了所提出的算法可以有效降低能耗。     

一种基于强化学习的嵌入式系统抗拒绝服务攻击的缓存调度方案

在多核嵌入式操作系统中,中央处理器对共享最后一级缓存(Last Level Cache,LLC)的资源调度决定了各用户进程的指令周期数(Instructions Per Cycle,IPC),以及对拒绝服务(Denial-of-Service,DoS)攻击的鲁棒性。但是,现有缓存调度方案依赖于具体的LLC调度模型和DoS攻击模型,使中央处理器难以在不同调度环境中的每个调度周期及时获得用户进程的运行信息。因此,文中提出一种基于强化学习的嵌入式系统LLC调度技术,以抵御拒绝服务攻击。该技术根据用户进程的LLC占用起始位置和终止位置,结合反馈的指令周期数、载入未命中率和存储未命中率等信息,优化LLC的占用位置和占用空间。在动态LLC调度环境下,中央处理器不需要预知DoS攻击模型,即可提高指令周期数并同时降低恶意进程的DoS攻击成功率。在多租户虚拟机共同参与的多核嵌入式操作系统中的仿真结果表明,所提技术可以显著提高指令周期数并降低DoS攻击的成功率。     

一种高效、可扩展细粒度缓存管理混合存储研究

混合主存储器由DRAM构成,它可用作cache来扩展非易失性存储器,相比传统的主存储器能够提供更大的存储能力。不过,要使混合存储器具有高性能和可扩展性,一个关键的挑战在于需要对缓存在DRAM中的数据的元数据(如标签)以一个细粒度的方式进行有效管理。基于这样的观察:利用DRAM缓存行的局部性,将元数据与元数据对应的数据存储在片外缓存中相同的行,使用一个小的缓冲区来只缓存最近被访问的片内缓存行,以降低细粒度DRAM缓存的开销。利用这种细粒度的DRAM高速缓存的灵活性和效率,还开发了一种自适应的策略来选择在数据迁移到DRAM时最佳的迁移粒度。在搭配了512MB的DRAM缓存的混合型存储系统中,建议使用8kB的片上缓存,这样,相比一个传统的8MB的SRAM元数据存储,即使没有考虑大的SRAM元数据存储的能源开销,也可以提升6%以内的性能,以及18%的能效节约。     

基于深度强化学习的边缘网络内容协作缓存与传输方案研究

为了应对第五代无线通信网络中数据吞吐量急剧增加的问题,移动边缘缓存成为了一种有效的解决方案。它通过在边缘设备上存储网络内容,减轻回程链路和核心网络的负担,缩短服务时延。到目前为止,大多数边缘缓存研究主要在协作内容缓存的优化方面,忽略了内容传输的效率。研究超密集网络的内容协作边缘缓存与无线带宽资源的分配问题,通过余弦相似度和高斯相似度求解基站之间总的相似度,将网络中的小基站根据总相似度进行分组,把缓存和无线带宽分配问题建模成一个长期混合整数的非线性规划问题（LT-MINLP）,进而将协作边缘缓存与带宽分配问题转变为一个带约束的马尔可夫决策过程,并利用深度确定性策略梯度DDPG模型,提出了一种基于深度强化学习的内容协作边缘缓存与带宽分配算法CBDDPG。提出的基站分组方案增加了基站之间文件共享的机会,提出的CBDDPG算法的缓存方案利用DDPG双网络机制能更好地捕捉用户的请求规律,优化缓存部署。将CBDDPG算法与三种基线算法（RBDDPG、LCCS和CB-TS）进行了对比实验,实验结果表明所提方案能够有效地提高内容缓存命中率,降低内容传递的时延,提升用户体验。     

基于SRAM和STT-RAM的混合指令Cache设计

随着工艺尺寸减小,传统基于SRAM的片上Cache的漏电流功耗成指数增长,阻碍了片上Cache容量的增加。基于牺牲者Cache的原理,利用SRAM写速度快,STT-RAM的非易失性、高密度、极低漏电流功耗等特性设计了一种基于SRAM和STT-RAM的混合型指令Cache。通过实验证明,该混合型指令Cache与传统基于SRAM的指令Cache相比,在不增加指令Cache面积的情况下,增加了指令Cache容量,并显著提高了指令Cache的命中率。     

基于重抽样优选缓存经验回放机制的深度强化学习方法

针对深度强化学习算法中经验缓存机制构建问题,提出一种基于TD误差的重抽样优选缓存机制;针对该机制存在的训练集坍塌现象,提出基于排行的分层抽样算法进行改进,并结合该机制对已有的几种典型基于DQN的深度强化学习算法进行改进.通过对Open AI Gym平台上Cart Port学习控制问题的仿真实验对比分析表明,优选机制能够提升训练样本的质量,实现对值函数的有效逼近,具有良好的学习效率和泛化性能,收敛速度和训练性能均有明显提升.     

基于混合内存的Apache Spark缓存系统实现与优化

随着大数据时代数据规模的激增,内存计算框架得到了长足发展。主流内存计算框架Apache Spark使用内存来缓存中间结果,大幅度地提升了数据处理速度。同时,具有较快的读写速度和较大容量的非易失性存储器NVM在内存计算领域展现出了巨大的发展前景,使用DRAM和NVM构建Spark混合缓存系统成为一种可行方案。文中提出了一种基于DRAM-NVM混合内存的Spark缓存系统,该系统选择平面混合缓存模型作为设计方案,然后为缓存块管理系统设计了专用的数据结构,并提出了适用于Spark的混合缓存系统整体设计架构。另外,为了将频繁访问的缓存块保存在DRAM缓存中,提出了基于缓存块最小重用代价的混合缓存管理策略。首先从DAG信息中获取RDD的未来重用次数,未来重用次数多的缓存块将被优先保存在DRAM缓存中,并在缓存块迁移时考虑了迁移成本。设计实验表明,DRAM-NVM混合缓存相比原有缓存系统的性能平均提升了53.06%,对于相同的混合内存,所提策略相比默认缓存策略有平均35.09%的提升。同时,使用文中设计的混合系统只需要1/4的DRAM和3/4的NVM作为缓存,就能达到全部DRAM缓存约79%的性能...     

基于缓存价值的命名数据网络缓存优化策略

为了解决当前命名数据网络（Named Data Network）中的传统缓存决定策略如LCE (Leave Copy Everywhere)、LCD (Leave Copy Down)、Prob (Copy with Probability)中存在的由于路由器缓存利用不合理导致的路由器缓存命中率过低,及满足用户请求所需跳数过多导致的时延过大等问题,提出一种基于缓存价值的缓存策略。该策略结合兴趣包路由跳数与所请求数据包大小,以及兴趣包所经过路由节点缓存情况,计算数据包缓存价值,由此将数据包缓存在合适的节点,以提高缓存命中率。在此基础上考虑下游节点的过滤效应,提出相对于传统缓存替换策略LRU、LFU的基于动态缓存价值的缓存替换策略,以进一步提高缓存命中率。经过大量仿真对比实验,验证了本文提出算法的有效性及可用性。     

一种基于协同缓存的内容中心网络能耗优化策略

当前大多内容中心网络(Content-Centric Network,CCN)缓存决策策略研究都没有综合考虑请求热点、网络能耗、内容流行度和节点协同等相关要素。因此提出一种基于内容流行度的协同缓存策略来优化内容中心网络的能耗。该策略将CCN的一个自治区域网络中的所有内容路由器节点当作一个协同缓存组,并把协同缓存组中每个节点的缓存容量分为两部分,一部分用于自身节点和其他节点协同缓存内容;另一部分用于自身节点独立缓存本地最流行的内容,以提高协同缓存组中内容副本种类的多样性,从而减少网络中内容的重复传输,实现网络能耗的优化。建立相关的能耗优化模型,采用一种改进的遗传算法求解出该协同缓存组能耗优化问题的最优解。实验结果表明,与相关文献中的缓存决策策略相比,所提策略可以有效地降低CCN的能耗,提高其可扩展性,进而指导CCN的演化和部署。     

基于Embed系统的缓存利用策略

基于嵌入式在智能工控中缓存预分配的思想,提出一种预分配缓冲区管理机制Index,该机制实现了缓存的静态分配和回收,并在试验中对该机制进行了改进,使其更好的适应高速小型数据报的分配和管理。同时对缓存动态分配回收策略做了研究提出一种连带释放缓存的思想。最大限度实现一次分配一次释放,很好的克服了缓冲区因多次分配回收造成的内存泄露问题。通过性能分析比较,Index机制报文处理能力高效可靠。     

一种面向存储服务的缓存管理模型

给出一种适用于网络存储设备的面向存储服务的新型缓存管理模型,它支持可配置的缓存管理策略和可配置策略的缓存分配机制。与通用操作系统中的缓存管理模块相比,该模型的主要优点是使能针对具体存储应用的性能优化,使能多个存储应用之间的数据访问 QoS控制。     

一种命名数据网络的缓存策略

虽然缓存内容复用是命名数据网络的显著特征,但是传统方法的缓存内容利用率并不理想.为了提高命名数据网络中缓存内容的利用率,提出了一种基于缓存价值的缓存策略.本缓存策略在保证内容流行度和兴趣源距离外,还充分考虑了缓存内容大小及多样性因素,由此可有效优化缓存空间,提升缓存的价值.此外,还设计了相应的缓存内容定期更新策略.对比...     

一种基于强化学习的学习Agent

强化学习通过感知环境状态和从环境中获得不确定奖赏值来学习动态系统的最优行为策略,是构造智能Agent的核心技术之一,在面向Agent的开发环境AODE中扩充BDI模型,引入策略和能力心智成分,采用强化学习技术实现策略构造函数,从而提出一种基于强化学习技术的学习Agent,研究AODE中自适应Agent物结构和运行方式,使智能Agent具有动态环境的在线学习能力,有效期能够有效地满足Agent各种心智要求。     

一种新的基于蚁群优化的模糊强化学习算法

模糊Sarsa学习(FSL)是基于Sarsa学习而提出来的一种模糊强化学习算法,它是一种通过在线策略来逼近动作值函数的算法,在其每条模糊规则中,动作的选择是按照Softmax公式选择下一个动作。对于连续空间的复杂学习任务,FSL不能较好平衡探索和利用之间的关系,为此,本文提出了一种新的基于蚁群优化的模糊强化学习算法(ACO-FSL),主要工作是把蚁群优化(ACO)思想和传统的模糊强化学习算法结合起来形成一种新的算法。给出了算法的设计原理、方法和具体步骤,小车爬山问题的仿真实验表明本文提出的ACO-FSL算法在学习速度和稳定性上优于FSL算法。     

一种基于访问图优化的缓存替换算法

针对目前数据库缓存替换算法替换策略单一,无法预测即将执行SQL语句的不足,提出了一种基于访问图优先的缓存替换算法CG-ABR(Call Graph Optimizing Adaptive Buffer Replacement).该算法通过查询优化器获得当前数据访问类型,自动调整缓存替换算法以适应实时变化的访问类型,改进了缓存访问的管理方法,并根据SQL语句的应用逻辑执行顺序来构造访问图Call Graph,基于Call Graph以预测将要执行的SQL语句,替换出未来不会被访问的页面缓存,以达到缓存空间优化的目的.实验结果与分析表明,CG-ABR算法是有效的,对实时变化的访问类型有较好的缓存命中率,具有良好的应用价值.     

一种基于两级缓存的协同缓存机制

信息中心网络(information-centric networking,简称ICN)将网络通信模式从当前的以地址为中心转变为以信息为中心.泛在化缓存是ICN重要特性之一,它通过赋予网络任意节点缓存的能力来缓和服务器的压力,降低用户访问延迟.然而,由于缺少内容热度的分布感知,现有ICN缓存策略仍存在缓存利用率较低、缓...     

基于混合模式缓存优化的三角形条带化

针对已有缓存优化的三角形条带化算法不能兼具较高顶点缓存命中率和适应多种顶点缓存的问题,提出了一种基于混合模式缓存优化的三角形条带化算法.采用优化求解传输代价方程的算法,通过精确地模拟缓存状态变化来获得较理想的缓存命中率;启用后进先用(LIFU)的数据引用方式重新定义了优化求解传输代价方程,使三角形条带同时兼顾顺时针和逆...     

一种基于四叉树的空间数据缓存策略

提出了以四叉树作为缓存数据结构,结合广泛应用的LRU和LFU算法,给出了一种高效的缓存策略—基于四叉树的空间数据缓存策略,并详细描述了缓存框架和缓存策略。提出的缓存策略充分考虑了空间数据访问所具有的时间局部性和空间局部性,兼有LRU和LFU算法的优点。最后设计了空间数据请求模型,通过实验对算法的有效性进行了验证。     

一种面积与功耗优化的卷积器设计

提出一种基于随机存取存储器(RAM)的卷积器结构。将2组阶数不同的卷积器进行VLSI实现,每组包含1个基于RAM结构的卷积器和1个基本型FIR结构的卷积器。DC及Prime Power分析结果表明,当阶数为63时,基于RAM结构的卷积器面积和功耗相比基本型FIR结构的卷积器分别减少10.1%和8.4%;当阶数为255时,该优化百分比分别为14.9%和15.2%,并且卷积器阶数越高,优化效果越明显。63阶卷积器成功流片后,芯片实测结果显示,与经典结构相比,基于RAM的卷积器功耗减少了7.9%。     

分布式缓存系统中一种优化缓存部署的图算法

数据缓存技术可以有效地减少网络拥塞,减轻服务器负载,加快信息访问速度.通过部署一组地域分布的缓存节点相互协作处理用户请求,可以进一步提高系统性能.在分布式缓存系统中,一个值得关注的问题是优化缓存的放置,使访问开销最小化.首先建立了一个理论模型来分析缓存副本放置对系统访问开销的影响.基于这个模型,缓存放置问题可以形式化地描述成一个最优化问题,提出了一种图算法来解决该问题.图算法使用修改的Dijkstra算法在访问代价图中寻找一条最短路径,该路径对应一种最优的缓存部署.理论上证明了图算法的正确性,并使用仿真实验对其性能进行评估.实验结果表明,图算法的性能优于大部分现有的分布式缓存机制.