DPDK在ARM架构国产服务器上的优化

DPDK是一套实现高性能数据包处理的开源工具。本文主要介绍DPDK的特点、技术架构、应用场景、性能优化方法以及流量处理流程。同时,信创背景下国产化替代是近些年的关注热点,本文选取ARM架构的国产化平台服务器进行DPDK优化实践,实践内容包括硬件优化、系统优化以及程序优化,通过实验表明DPDK在国产化平台上的优化能够达到很好的效果,DPDK能够适配信创背景下ARM架构的国产化服务器。     

数据库系统参数调优方法综述

数据库系统具有大量的配置参数,参数配置不同会导致系统运行时很大的性能差异.参数优化技术通过选择合适的参数配置,能够提升数据库对当前场景的适应性,因此得到国内外研究人员的广泛关注.通过对现有的数据库参数调优方法进行总结分析,根据参数优化方法是否具有应对环境变化的能力,将现有工作分为固定环境下的数据库参数优化方法和变化环境下的数据库参数优化方法 2类.对于固定环境下的参数优化方法,按照方法是否具有从历史任务中学习的能力将研究工作分为传统的参数优化方法和基于机器学习的参数优化方法 2类并分别进行介绍.对于变化环境下的参数优化方法,按照不同的变化场景对现有工作进行分类介绍.最后,总结了现有工作中各类方法的优缺点,并对目前研究中待解决的问题和可能发展的方向进行了讨论.     

基于等待事件的Oracle数据库性能优化

综合了Oracle性能调优的多种方法,介绍通过"等待事件"状态来判断Oraclc性能问题的方法.介绍Oracle中"等待事件"的定义,然后介绍如何使用Statspack工具找出并分析Oracle运行中的等待事件,通过一个实例具体描述如何使用该方法定位、分析以及解决Oracle性能问题.从而达到调优的目的.     

基于模糊原理的中间件自适应优化

J2EE中间件系统得到了广泛的使用。为了提高服务性能,需要配置系统参数。传统的手工配置法费时费力,而且在负载变化的环境中不能自适应改变,造成了性能随时间越来越低下。为此,我们提出了基于模糊控制J2EE应用服务器自适应调优系统。系统实时监控性能数据,并基于模糊决策器,动态改变参数,优化性能。通过测试表明,该系统能减少响应时间,提高系统性能。     

一种基于深度强化学习的Spark Streaming参数优化方法

Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法（DQN-SSPO）,将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率。在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93%,在总处理时间上平均缩减42%。     

数据库物理结构优化技术

索引调优是数据库调优的重要组成部分,一直受到广泛关注. 由于索引调优问题的理论复杂性和大数据时代的到来,通过DBA手动调优的方案已经无法满足现代数据库的发展需求,调优方案逐渐开始向自动化、智能化的方向发展. 随着机器学习技术的发展,越来越多的索引选择方案开始引入机器学习技术,并取得了一定的研究成果. 将索引调优问题的解决方案归结为一种基于搜索的调优范式,归纳了其研究内容,阐述了其面临的挑战,对调优范式内的索引配置空间的生成、索引配置的评价以及索引配置的枚举与搜索3方面的研究成果进行了归纳、总结和对比. 对动态工作负载下的索引选择问题（index selection problem,ISP）所面临的新挑战进行了分析,并基于在线反馈控制回路框架对其解决方案进行梳理. 讨论了索引调优工具的发展与现状,通过对现有研究的分析论述,为后来研究者提供参考和研究思路,并对索引选择方案的未来进行了展望.

     

I/O存储子系统的性能评价

本文通过对目前各种存储子系统的归纳与分析，介绍一种理论上用来评价Ｉ／Ｏ存储子系统性能的计算方法，并提出了改善Ｉ／Ｏ存储子系统性能的几种有效途径     

浅谈Oracle数据库的性能调优

Oracle数据库广泛应用在社会的各个领域,数据库性能的优劣直接关系到信息系统的运行效率,该文论述了影响Oracle数据库性能的因素及其对应的参数,从软件,硬件两个方面讨论了数据库配置优化问题,阐述了调整优化的基本思路、步骤。     

基于磁盘的高速I／O存储系统设计

本文根据计算机I/O系统模型和排队论，利用计算机硬盘给出了一个高速I/O系统的设计，并从系统的性价比上给出了合适的硬件结构。     

基于高性能I/O技术的Memcached优化研究

内存对象缓存系统在通信方面受制于传统以太网的高延迟,在存储方面受限于服务器内可部署的内存规模,亟需融合新一代高性能I/O技术来提升性能、扩展容量.以广泛应用的Memcached为例,聚焦内存对象缓存系统的数据通路并基于高性能I/O对其进行通信加速与存储扩展.首先,基于日益流行的高性能远程直接内存访问(remote direct memory access, RDMA)语义重新设计通信协议,并针对不同的Memcached操作及消息大小设计不同的策略,降低了通信延迟.其次,利用高性能NVMe SSD来扩展Memcached存储,采用日志结构管理内存与外存2级存储,并通过用户级驱动实现对SSD的直接访问,降低了软件开销.最终,实现了支持JVM环境的高性能缓存系统U2cache.U2cache通过旁路操作系统内核和JVM运行时与内存拷贝、RDMA通信、SSD访问交叠流水的方法,显著降低了数据访问开销.实验结果表明,U2cache通信延迟接近RDMA底层硬件性能;对大消息而言,相较无优化版本,性能提高超过20%;访问SSD中的数据时,相比通过内核I/O软件栈的方式,访问延迟最高降低了31%.     

半虚拟化I/O模型的KVM虚拟机域间通信优化方法

提出了一种半虚拟化网络模型来优化虚拟机域间通信的性能,通过共享内存建立通信通道来打破虚拟机之前的隔离屏障,减少在数据传输过程中的拷贝次数.基于内核虚拟机(kernel-based virtual machine,KVM)半虚拟化框架编程接口的实现方法可以简化设备I/O的模拟,减少特权指令模拟所需的根-非根模式的切换,提...     

基于遗传算法的锅炉水温PID控制寻优

遗传算法相比传统调节方法具有更好的鲁棒性和最优性。结合锅炉动态水温单回路控制系统的PID参数整定与优化问题,采用遗传算法对其参数进行优化。仿真结果表明,这种优化算法加快了收敛速度,有效提高了系统的全局稳定性,增强了PID控制器的鲁棒性。     

高性能计算机I/O技术PCI Express分析

分析了PCI/PCI-X架构的I/O瓶颈,然后深入阐述第三代I/O技术PCI Express的特性及其体系结构,最后指出PCI Express作为InfiniBand^TM的重要补充必将在未来计算机I／O体系结构中扮演举足轻重的角色。     

iSCSI SAN中高速虚拟网络I/O通道技术研究

针对目前iSCSI SAN中网络链路的性能瓶颈和单点故障问题,研究了虚拟网络I／O通道技术。将多个物理网络接口绑定为一个虚拟网络接口,使得多条物理链路整合为一个逻辑网络L／O通道,数据包按照负载均衡算法通过多条链路并行传输,大大提高iSCSI SAN吞吐率和系统的可用性。最后通过性能分析和实验测试得以验证。     

Cacheap: Portable and Collaborative I/O Optimization for Graph Processing

Journal of Computer Science and Technology - Increasingly there is a need to process graphs that are larger than the available memory on today’s machines. Many systems have been developed...     

Lessons Learned from Optimizing the Sunway Storage System for Higher Application I/O Performance

It is hard for applications to make full utilization of the peak bandwidth of the storage system in highperformance computers because of I/O interferences,storage resource misallocations and complex long I/O paths.We performed several studies to bridge this gap in the Sunway storage system,which serves the supercomputer Sunway TaihuLight.To locate these issues and connections between them,an end-to-end performance monitoring and diagnosis tool was developed to understand I/O behaviors of applications and the system.With the help of the tool,we were about to find out the root causes of such performance barriers at the I/O forwarding layer and the parallel file system layer.An application-aware I/O forwarding allocation framework was used to address the I/O interferences and resource misallocations at the I/O forwarding layer.A performance-aware data placement mechanism was proposed to mitigate the impact of I/O interferences and performance variations of storage devices in the PFS.Together,applications obtained much better I/O performance.During the process,we also proposed a lightweight storage stack to shorten the I/O path of applications with N-N I/O pattern.This paper summarizes these studies and presents the lessons learned from the process.     

面向云存储的I/O资源效用优化调度算法研究

随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/O资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/O资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求; 2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的I/O资源竞争导致的虚拟机I/O资源饥饿.PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first, EDF)方式提高I/O资源使用率;反之则根据每个I/O请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的I/O资源利用率和收益.     

列存储模式下闪存数据库的查询优化算法

固态硬盘的高性能在现有数据库系统中未能获得提升,针对该问题,提出一种连接算法,基于列存储模式,对闪存数据库连接查询进行优化。算法充分利用列存储的存储粒度小和固态硬盘高速随机读的优点,有效克服与闪存的不匹配问题。实验结果表明,与原算法相比,该算法在不同选择率和不同内存条件下的查询时间较少。     

一种自适应的基于预测的I／O性能优化方法

目前计算机的I／O性能已经成为严重制约计算机整体性能提升的瓶颈。在现有技术条件下，I／O性能的优化方法对于提升I／O性能显得尤为重要。本文提出了一种自适应的基于预测的I／O性能的优化方法，该方法采用了基于预测的数据预读策略，改进I／O读操作的响应速度；采用基于预测的缓存分配策略，改进了I／O写操作的响应速度，从而在整体上提高了计算机系统的I／O性能。从实验测试的结果可以看出，这种方法适用于多种不同的负载类型，能够大幅度提升计算机的I／O性能．是一种通用的、效果显著的I／O性能优化方法。