压缩对Hadoop性能影响研究

当今,磁盘I/O的发展速度永远赶不上遵照摩尔定律的CPU的发展速度,并且网络I/O资源稀缺,所以I/O常常成为数据处理的瓶颈。Hadoop能存储PB级数据,因此I/O问题愈加显著。压缩是I/O调优的一个重要方法,它能减少I/O的负载,加快磁盘和网络上的数据传输。首先通过分析Hadoop中各压缩算法的特点,得出一个压缩使用策略来帮助Hadoop的使用者确定如何使用压缩,并用实验得以验证补充。基于该策略,一些Hadoop应用在合理使用压缩后,效率能提高65%。     

面向云存储的I/O资源效用优化调度算法研究

随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/O资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/O资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求;2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的I/O资源竞争导致的虚拟机I/O资源饥饿.PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first,EDF)方式提高I/O资源使用率;反之则根据每个I/O请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的I/O资源利用率和收益.     

基于YARN资源调度器的MapReduce作业数调节方法

YARN是Hadoop的一个分布式的资源管理系统,用来提高分布式集群的内存、I/O、网络、磁盘等资源的利用率.然而,YARN的配置参数众多,要对其人工调优并获得最佳的性能费时费力.本文在现有的YARN资源调度器的基础上,结合了一种闭环反馈控制方法,可在集群运行状态下动态地对MapReduce （MR）作业数进行优化,省去了人工调整参数的过程.实验表明,在YARN的容量调度器和公平调度器的基础上使用该方法,相比于默认配置,MR作业完成时间分别减少53%和14%左右.     

IOMan:一种支持多操作系统远程启动和运行的I/O管理方法

为了降低用户使用和维护计算机系统的成本,基于透明计算模式提出了一种工作在局域网环境下的I/O管理方法:IOMan. IOMan只是用软件方法在客户端设置磁盘I/O重定向机制,按需动态下载数据,而不需要修改当前常用的操作系统如Windows的启动机制,也不影响其他I/O操作,能够支持多种操作系统的远程启动和应用程序的运行 . IOMan基于客户机/服务器模型,包括I/O Client和I/O Server两个部分,其中I/O Client工作在客户端,I/O Server工作在服务器端 . I/O Client通过重新定义访问磁盘的BIOS中断处理程序以及创建虚拟本地磁盘,将I/O请求发送给服务器;I/O Server响应客户端请求,读写服务器上存储的虚拟硬盘文件,然后以扇区形式将数据发送给I/O Client.     

基于Rsync的远程文件同步优化模型

针对云存储中无法较细粒度地控制网络数据的传输而导致网络带宽利用低的问题,本文基于Rsync文件同步算法,以Hadoop分布式文件系统(HDFS)为研究目标,提出计算分离出云,本地数据表与云服务端分布式缓存表共享部分校验值的远程文件同步优化模型.实验结果表明,该模型可有效提高云存储文件同步系统的I/O性能,减小同步的成本.     

云环境下分布式文件系统负载均衡研究

Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用。然而,HDFS中还面临一些性能优化问题,如负载均衡不足。虽然Hadoop系统自带的负载均衡器可以实现均衡调整,但需要用户预先给出静态的阈值。为了解决阈值的固定性和主观性,通过对磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等参数的分析评估优化,形成对阈值的计算表达式,并通过理论分析和仿真实验对阈值的计算和负载均衡进行验证。实验结果表明,相比较Hadoop静态的输入阈值的算法,该方法达到了更好的平衡效果,提高了计算资源的利用率。     

基于OpenStack的Swift负载均衡算法

为了解决由于OpenStack的负载分发不均衡而引发的存储性能下降、资源利用率降低、I/O响应时长增加等问题,提出对加权最小连接调度算法进行改进. 通过对对象存储的负载均衡调度算法研究,利用存储节点的CPU、内存、硬盘、I/O资源利用率信息,并结合节点任务请求连接数,计算存储节点负载能力、性能和权值. 负载均衡器根据每个存储节点的权值大小判断任务分发方向. 经实验证明改进的负载均衡调度算法能够解决存储读写性能下降的问题,提升数据吞吐率、存储读写性能和系统稳定性.     

并行文件系统与并行I/O研究

集群计算系统中并行文件系统的研究是当前计算机与网络技术中的一个热点问题,而并行I/O是缓解系统数据输入输出瓶颈的一个技术途径.论文对当前集群系统中的并行文件系统与并行I/O做了研究,阐述了研究发展的现状、关键问题等,指出了在集群计算系统中的文件组织、分布以及其在磁盘上的实现、数据的访问特性、高性能网络文件系统、系统的负载平衡与缓冲和预取策略.     

一种基于磁盘介质的网络存储系统缓存

随着计算规模越来越大,网络存储系统应用领域越来越广泛,对网络存储系统I/O性能要求也越来越高.在存储系统高负载的情况下,采用低速介质在客户机和网络存储系统的I/O路径上作为数据缓存也变得具有实际的意义.设计并实现了一种基于磁盘介质的存储系统块一级的缓存原型D-Cache.采用两级结构对磁盘缓存进行管理,并提出了相应的基于块一级的两级缓存管理算法.该管理算法有效地解决了因磁盘介质响应速度慢而带来的磁盘缓存管理难题,并通过位图的使用消除了磁盘缓存写Miss时的Copy on Write开销.原型系统的测试结果表明,在存储服务器高负载的情况下,缓存系统能够有效地提高系统的整体性能.     

基于CN-RAID存储系统的集群VOD服务器的CRS调度策略

磁盘I/O是VOD服务器性能的主要瓶颈之一,利用集群中所有分布的磁盘并行服务和合理的调度策略是缓解这一瓶颈的有效途径.针对传统的网络文件系统需要集中文件服务的不足,设计了一种分布式软件网络磁盘阵列存储系统,并提出了一种基于服务器推(push)模式的并发轮循CRS(concurrent round sweep)调度策略,以提高的系统的服务能力.根据这些思想,在Linux内核级设计了一个协作网络RAID驱动器CN-RAID(cooperative net RAID driver)模块,将所有集群中分布的磁盘组成一个全局虚拟磁盘,并进行视频文件的存储和调度管理.模拟测试表明,该系统能够支持大量并发流的请求,并具有良好的扩展性.     

网格资源模型综述

网格计算将广域网上的各种计算资源、信息资源、设备资源等集成起来,以统一的方式向用户提供服务,是当前网络计算领域的研究热点.其中资源模型是关系到广域分布式环境中资源共享和协同工作效率的关键.本文介绍了网格中的资源模型的主要研究内容,以及国内外相关领域的研究现状.     

用VPN技术实现高校图书馆之间数字资源的共享

简介了VPN技术，并从技术的角度论述了如何用VPN技术实现高等院校之间数字化镜像资源的共建与共享．对共建共享中的组织协调、资源配置等问题也做了初步的探讨。     

网格资源发现中资源虚拟组织构建方法研究

怎样合理有效地组织网格资源是网格资源发现的关键问题.对网格环境下资源的组织方式进行了研究,提出了网格资源结点动态自组织算法,通过该算法能够将网格资源结点合理有效地组织成具有资源类型的网格资源虚拟组织;提出了资源虚拟组织大小划分的原则,有效地解决了网格资源发现系统中资源虚拟组织与系统规模之间的矛盾,通过仿真试验验证了该方法的有效性.     

用VPN技术实现高校图书馆之间数字资源的共享

简介了VPN技术,并从技术的角度论述了如何用VPN技术实现高等院校之间数字化镜像资源的共建与共享,对共建共享中的组织协调、资源配置等问题也做了初步的探讨。     

Resource reconstruction algorithms for on-demand allocation in virtual computing resource pool

Resource reconstruction algorithms are studied in this paper to solve the problem of resource on-demand allocation and improve the efficiency of resource utilization in virtual computing resource pool. Based on the idea of resource virtualization and the analysis of the resource status transition, the resource allocation process and the necessity of resource reconstruction are presented. Resource reconstruction algorithms are designed to determine the resource reconstruction types, and it is shown that they can achieve the goal of resource on-demand allocation through three methodologies: resource combination, resource split, and resource random adjustment. The effects that the resource users have on the resource reconstruction results, the deviation between resources and requirements, and the uniformity of resource distribution are studied by three experiments. The experiments show that resource reconstruction has a close relationship with resource requirements, but it is not the same with current distribution of resources. The algorithms can complete the resource adjustment with a lower cost and form the logic resources to match the demands of resource users easily.     

分布资源管理信息服务的研究与实现

针对分布资源管理中的信息服务问题,通过建立统一的资源信息模型,设计并实现能够集中、统一提供信息服务的资源信息服务器,测试和分析该资源信息服务器对整个系统性能的影响。结果证明能够提高整个分布式系统的性能。     

基于遗传算法的资源结点选择策略

网格系统中由于采用资源备份策略，资源存在多个副本。用户请求资源时，如何从拥有相同资源的多个结点中选择一部分结点获取资源，达到以相同的代价获得最优质的服务，是一个迫切需要研究的问题。文中综合用户和资源拥有者双方的利益因素，将该问题归结为一个多目标规划问题，并提出了资源动态复制的图模型，进而运用遗传算法，提出了解决该问题的策略，分析显示该算法可以达到满意的结果。     

网格环境中资源发现机制的研究

资源发现机制是关系到广域分布式环境中资源共享和协同工作效率的关键，在计算网格、Web服务和P2P技术中，都需要对这个问题进行深入研究，在织女星网格前期工作的基础上，讨论了资源发现机制中的核心问题，描述了织女星网格资源发现机制的层次结构以及各个层次的功能和实现，通过分析和实验，可以认为提出的资源发现机制具有以下特点：可在较小的开销下取得满意的资源定位性能，并具有网格环境下的可扩展性；能够适应网格资源动态变化的特性；能够解决资源发现过程中的负载平衡问题；可支持多种网格资源与应用。     

制造网格环境下的资源建模研究

资源建模是制造网格中资源集成和共享的前提.首先按资源在制造网格中提供的服务类型对其进行了分类,便于对其分类建模.其次提出了由资源层、资源表示层和资源接口层组成的资源层次模型.资源层包括各种物理资源,表示层使用XML Schema封装资源数据和信息,接口层使用Web服务描述语言（WSDL）定义对资源的访问操作.该模型用于将制造资源封装为网格节点,使得制造资源可以方便地接入网格中网络共享.最后以企业标准件库的封装为实例验证了该模型的有效性.     

网格资源调度的研究

网格资源调度一直是网格计算中的热点问题。文章首先分析网格中资源管理和调度,然后对比分析了几种调度方案,并为将来继续探索和试验作准备。