分布式数据缓存技术研究

缓存技术在系统中的应用越来越广泛.主要对数据缓存进行研究,着重研究了分布式模式下的数据缓存技术.将数据缓存技术应用到社区平台的开发中,增加分布式解决方案.实验证明,分布式数据缓存技术能优化系统性能,提升数据访问效率.     

面向多核处理器的共享cache优化研究进展

由于技术的发展,片上多核处理器上的核数量和片上缓存的大小一直在增长,且缓存占据了芯片的大部分面积,使得片上缓存所消耗的能量成为存储器子系统中功率损耗的主要贡献者,因此对片上缓存进行优化是提高存储器系统效率的主要途径,增强了片上多核处理器的运算性能.针对共享缓存的管理、一致性等方面介绍了共享缓存的主流优化技术,并探讨了未来的研究方向.     

基于MySql的查询优化技术研究

查询优化研究是数据库设计与应用中重点考虑问题,在研究MySql数据库查询优化技术基础上,对配置参数中的数据缓存区和日志缓存区的参数进行优化设置,提高查询效率。针对MySql查询重用技术的特点及存在不规范化sql语言等重用性不高问题,通过设计相关模块改进查询重用功能;增加查询缓冲区的查询执行计划模块来解决查询缓存区大数据量结果集存储问题,并通过实验进行验证,从而改进查询优化效率。     

多核处理器目录缓存结构设计

随着物联网、云计算与网络舆情分析等应用的快速发展,大数据处理的应用已经成为数据中心的核心负载.数据中心服务器普遍采用多核处理器,而目录缓存作为多核处理器结构中维护缓存一致性的关键部件,对其结构研究(如稀疏目录)更多地关注于目录缓存的容量与可扩展性,更适合处理高性能计算等计算密集型应用.然而,当多核处理器执行延迟敏感的大数据应用程序时,目录缓存的高访存延迟严重制约了数据中心的服务质量.针对该问题,新型主从目录缓存结构优化了数据访问过程中的一致性协议通路,其中主目录区分共享与私有数据,管理私有数据的访存操作,降低私有数据的访存延迟,提高了从目录的容量利用率;从目录维护共享数据的缓存一致性,采用有限位标签结构,提高了从目录的存储效率.实验在Simics+ GEMS模拟平台上对大数据程序测试集Cloudsuite-v1.0进行评估.结果表明在以大数据应用程序为主的运行环境下,与2倍容量的稀疏目录相比,主从目录缓存结构降低了24.39％的硬件开销,降低了28.45％的缓存缺失延时,提升了3.5％的处理器IPC;与缓存内目录相比,主从目录结构虽然损失了5.14％的缓存缺失延时与1.1％的处理器IPC,但是降低了42.59％的硬件开销.     

多核环境下高效集合通信关键技术研究

随着高性能计算需求的日益增长,多核处理器在高性能计算中间得到了广泛的普及.为了保证高性能计算机系统的效率,需要保持计算和通信的平衡性,多核的广泛使用对通信系统的效率提出了更高的要求.集合通信作为通信系统中的重要组成部分,研究多核环境下的高效集合通信具有十分重要的意义.文中首先研究了多核对集合通信性能的影响,并根据多核处理器共享Cache以及内存竞争的特点,提出了层次化算法、限制并发、NUMA感知的优化方法和Cache友好的优化算法,并分别在MPI_Barrier、MPI_Bcast和MPI_Alltoall中进行了验证.实验结果表明优化方法能够有效地利用多核结构特点,降低竞争带来的影响,提高了多核环境下集合通信的性能和可扩展性.     

基于Storm的连续范围查询优化技术

移动大数据环境下,传统基于位置服务LBS技术面临来自系统扩展性、性能等方面的挑战。首先针对LBS应用的特点,提出了基于Storm的查询框架。然后结合基于Storm的LBS查询框架,设计并实现了并行连续范围查询算法,优化查询性能。针对分布式环境中的一致性问题,设计使用基于ZooKeeper的分布式锁服务,保证查询结果的正确性。进一步,针对基于Storm并行连续范围查询算法中存在访问数据库开销较大的问题,提出了基于TimeCacheMap的缓存优化算法及两种缓存策略,减少了访问数据库的开销,提高了查询效率。     

结合指令预取和缓存划分的多核缓存WCEC优化

对于能量供应有限制的硬实时多核系统,最差情况下的能量消耗WCEC（Worst-Case Energy Consumption）是一个非常关键的问题。随着芯片工艺的发展,顺序指令预取技术可以减少缓存WCEC。为了提高指令预取的最差情况下的节能效率,提出结合指令预取和共享缓存划分的硬实时多核系统缓存WCEC优化方法。该方法通过线性规划方程ILP（Integer-Linear Programing）为每个核分配L2缓存划分因子和调整每个硬实时子任务的指令预取度,在保证硬实时系统满足时间截止期的情况下,最小化其缓存WCEC。对DEBIE系统进行实例分析,实验结果表明优化方法是有效的,在保证系统满足时间截止期的情况下,优化后的缓存WCEC比没有指令预取优化的缓存WCET平均减少了22.5%。     

P2P VoD系统中一种基于节点生命的缓存优化策略

P2P VoD应用中,用户行为不同步且允许随时离开系统降低了资源相互共享的概率,导致缓存可用性及服务效率降低.该问题严重影响了用户体验的质量及系统的可扩展性.定义并分析了缓存片段的相对可用性;基于对节点生存期分布规律的考察,提出一种评估缓存片段相对可用性的实用方法;设计出一种分布式的缓存优化策略:利用各节点对局部范围内缓存片段相对可用性的评估、优化来提升整个系统的缓存可用性及服务效率.仿真结果表明,该策略有效提高了播放连续度,降低了服务器负载,提高了系统可扩展性.     

共享主存多SIMD结构及编译技术研究

目前多媒体应用已经成为各种运算平台的主要应用类型。随着多媒体应用的多样性和复杂性,共享主存多SIMD结构逐渐成为主从多核结构中多媒体加速部件的首要选择。总结了目前共享主存多SIMD结构的特征,同时深入分析了共享主存多SIMD编译优化的主要问题以及相关编译技术。     

多核机群上数据密集型应用并行程序性能优化

在异构多核机群系统上利用数据任务块的动态调度策略和全锁定技术,给出一种面向数据密集型应用的结点内主存和可用的共享二级缓存大小中动态调度数据块的多进程级和多线程级并行编程机制,给出了优化数据密集型应用并行程序性能的策略和技术。在多核计算机组成的异构机群上并行求解随机序列多关键字查找的实验结果表明,所给出的多核并行程序设计机制和性能优化方法可行和高效。     

多核平台下应用程序的动态优化

动态优化是计算系统虚拟化的重要支撑技术之一。与虚拟化技术一样,多核时代的到来同样给动态优化机制的发展带来了新的机遇。通过对Dynamo、Pin、Jrpm等典型动态优化和插桩系统的分析总结出传统动态优化机制在多核平台下面临的问题与挑战,探讨了多核平台下可能的动态优化系统框架以及必须解决的关键问题。     

嵌入式异构多核处理器核间的通信性能评估与优化

随着嵌入式技术的不断发展,越来越多的平台采用异构多核处理器(Heterogeneous Multi-Processor Unit,HMPU)进行高性能计算,但多核处理器的核间通信效率严格地制约着系统的高性能计算能力。针对HMPU的核间通信性能难以量化的问题,提出了基于通信粒度、通信缓存和消息传输机制的阶段评价模型,并通过实验验证了这3个影响因子对不同阶段的核间通信性能的影响。此外,由于嵌入式系统环境多变、资源有限,使得静态通信策略对系统性能优化具有局限性。针对该问题,提出了基于系统内存约束、时间约束和性能目标的动态通信策略优化模型(Dynamic Communication Strategy Optimization Model,DCSOM)。通过实验证明:在数据量较小、通信周期较长的异构多核处理器中,DCSOM更具优越性。     

基于多核平台的多线程动态优化框架

动态优化是计算系统虚拟化的重要支撑技术之一.本文通过对DynamoRIO、Jrpm等单核平台上典型动态优化系统的分析,总结出传统动态优化机制在多核平台下面临的问题与挑战,据此提出一种面向多核平台的多线程动态优化框架,分析其组织结构和工作原理,并通过实验验证了该框架的可行性.     

实时多核嵌入式系统研究综述

随着计算机系统与物理世界的结合越来越紧密,实时系统需要承担越来越复杂的运算任务.多核处理器的兴起为同时满足实时性约束和高性能这两方面的需求提供了可能.基于多核处理器的实时嵌入式系统的研究已成为近几年研究的热点.对现有的面向实时多核嵌入式系统的研究工作进行了综述,介绍了实时多核嵌入式系统的关键设计问题,从多核共享资源干扰及管理、多核实时调度、多核实时程序并行化、多核虚拟化技术、多核能耗管理和优化等几个方面对现有研究工作进行了分析和总结,并展望了实时多核系统领域进一步的研究方向.     

一种分布式并行参数优化算法设计及其应用

并行参数优化算法在科学计算中有广泛应用。随着Spark等分布式平台的快速发展,越来越多并行参数优化算法开始采用分布式平台进行实现。如何在Spark等平台上设计优化算法,避免其运行效率受到框架固定时间开销和网络I/O影响,已经成为亟需解决的问题。本文设计一种分布式与单机多核并行结合的参数优化算法,将其划分为调度部分和独立子问题部分,单机多核并行算法处理子问题,分布式平台负责子问题的跨节点并行。碳通量模型参数优化的实验结果表明,改进的算法能有效节省时间开销,更快地搜索参数空间。     

一种应用于分布式缓存系统中的缓存部署算法

缓存技术能有效的节省网络带宽,减少用户的访问延迟.在分布式缓存系统中,一个值得研究的问题是如何根据用户的请求动态的进行缓存部署,使得系统的收益最大.描述了缓存部署问题并建立了优化模型,在此基础上提出一种新的协作缓存部署算法,该算法利用对象的热度、网络距离,以及系统中各节点接收的请求和系统缓存分布信息,依次对请求路径上的节点进行缓存部署决策,同时该算法将计算分布到请求路径的各个节点上进行.仿真结果表明,该算法具有比LRU和Graph算法更高的缓存命中率和更低的访问延迟.     

多核处理器片上存储系统研究

针对多核处理器计算能力和访存速度间差异不断增大对多核系统性能提升的制约问题,分析几款典型多核处理器存储系统的设计特点,探讨多核处理器片上存储系统发展的关键技术,包括延迟造成的非一致cache访问、核与cache互连形式对访存性能的束缚以及片上cache设计的复杂化等。     

基于多核优化的网络协议解析类系统应用研究

针对网络流量监测系统传输数据速度过快时存在的数据丢包、传输停止、响应错误等性能问题,提出了一套针对网络流量监测系统的评价指标,其将系统的吞吐量作为核心指标,通过评价指标来对系统的优化性能进行评估;选取了网络协议解析类系统进行多核优化研究,以GTP-AS系统作为具体目标进行优化之后,根据系统的性能瓶颈提出了一套多核平台优化策略,并且通过实验证明,当核心处理器的计算核心数量增加到7个时,多核优化的网络协议解析系统的吞吐量能够达到优化之前的391.73%,有效提高了系统性能。     

大规模C++工程单元测试性能优化研究

为了解决自动化单元测试工具在测试大规模C++工程时经常发生内存溢出故障且耗时较长这一问题,在测试流程中引入了缓存优化技术,并提出了一种面向不同测试方式的缓存优化方法;当用户直接对整个工程进行测试时,系统将采用缓存预取的方式,通过设计的缓存预取模型,在缓存出现读缺失之前为其提供数据块;当用户对单个文件进行测试时,系统将采用改进的GDSF替换算法进行缓存替换;实验表明,该方法能够有效地避免此类单元测试工具发生内存溢出故障并减少了测试的时间,使其支持的被测工程规模由5000行左右增加至十几万行,大大提升了系统的性能。     

指导cache静态划分的程序性能profiling优化技术

对于共享cache的多核处理器,如何管理好各个核对cache的利用,对于充分发挥多核处理器性能是很关键的问题.目前采用的cache替换方法程序间会出现性能干扰,cache静态划分技术则是通过为同时运行的程序分配不同的空间来解决性能干扰问题.为了给程序分配合适大小的cache空间,需要对程序进行性能profiling,即事先多遍运行收集程序在各种cache容量下的性能数据,这种性能profiling方法开销巨大,影响实用.为了解决性能profiling需要多遍运行程序的问题,提出了只需单遍运行的程序性能profiling优化技术.该技术利用在线的phase分析技术识别程序的运行阶段,避免对相同阶段的重复profiling;同时分析程序各phase的性能同cache容量变化的关系趋势,对于性能不敏感的容量变化则不进行profiling,降低开销.在程序运行结束后通过程序各phase在cache各种容量下的性能来估计程序在各容量下的整体性能,以指导cache静态划分.实验表明,该技术的开销仅为7%,而该方法指导的cache划分比未划分时有8%的性能改进,同多遍运行的程序性能profiling指导的cache划分性能相比仅有1%的下降.