基于trace的网络存储系统评测研究

网络存储系统规模的膨胀和应用范围的扩大,使网络存储系统评测研究越来越重要。网络存储系统的评测包括性能、可用性、可管理性和功耗等内容。论述了网络存储系统主要评测指标的研究内容和研究现状,给出了网络存储系统评测的逻辑框架,分析了在多项指标的实际评测中如何用基于trace的方法分别从trace收集、重放和可用性等几方面对其相关研究现状和常用工具进行讨论。通过分析、总结研究中的问题,展望了相关研究在未来的发展方向和前景。     

公有云存储系统性能评测方法研究

随着云存储系统的迅速发展和广泛使用,许多企业开发者和个人用户将其应用从传统存储迁移至公有云存储系统,因此,云存储系统性能成为企业开发者和个人用户关注的焦点。由于传统测试难以模拟足够多的用户同时访问云存储系统;测试环境构建复杂,测试时间长,准备测试环境成本高;受网络因素及外界其他因素影响,评测结果不稳定。针对以上所述云存储系统性能评测的重点和难点,提出一种“云测试云”的公有云存储系统性能评测方法,该方法通过在云计算平台动态申请足够数量的实例,对公有云存储系统性能进行评测。首先,构建通用的性能评测框架,可动态伸缩申请实例,自动化部署评测工具及负载,控制并发访问云存储系统,自动释放实例及收集并反馈评测结果;其次,提出多维度的性能评测指标,涵盖不同典型应用、不同云存储接口;最后,提出一种可扩展通用的性能评测模型,该模型可以评测常见典型应用的性能,分析云存储性能影响因素,可适用于任何的公有云存储平台。为了验证该方法的可行性、合理性、通用性和可扩展性,利用所提方法对Amazon S3云存储系统进行性能评测,并使用s3cmd验证评测结果的准确性。实验结果表明,评测结果可以为企业开发者和个人用户提供参考意见。     

大数据评测基准的研发现状与趋势

工业界、学术界,以及最终用户都急切需要一个大数据的评测基准, 用以评估现有的大数据系统,改进现有技术以及开发新的技术。回顾了近几年来大数据评测基准研发方面的主要工作。 对它们的特点和缺点进行了比较分析。在此基础上, 对研发新的大数据评测基准提出了一系列考虑因素:1)为了对整个大数据平台的不同子工具进行评测, 以及把大数据平台作为一个整体进行评测, 需要研发面向组件的评测基准和面向大数据平台整体的评测基准, 后者是前者的有机组合;2)工作负载除了SQL查询之外, 必须包含大数据分析任务所需要的各种复杂分析功能, 涵盖各类应用需求;3)在评测指标方面,除了性能指标(响应时间和吞吐量)之外, 还需要考虑其他指标的评测, 包括系统的可扩展性、容错性、节能性和安全性等。     

云存储性能评测研究

大数据时代的到来,使得对云存储产生了强烈的需求。云存储性能评测一直是云存储系统研究的热点与难点。通过分析典型云存储平台数据访问的过程,建立云存储数据读写的模型,利用网络分析工具iptools获得云存储系统在处理用户访问请求的各个阶段的时间开销,从中排除网络干扰,反映真正云存储系统数据读写性能。实验结果表明,这种云存储系统数据读写模型是科学合理的,按照模型设计的云存储系统性能评测方法能够有效排除网络干扰,获取反映云存储系统真正读写性能的数据。     

云存储系统性能评测技术研究

云存储系统目前应用广泛,其核心功能是向外提供存储服务,而云存储性能直接影响着云存储服务的质量.由于云存储系统的数据存储在云端,且使用角色众多,传统的性能评测技术不适用于云存储系统.从用户、云存储服务提供商、设备提供商3个角度出发,针对其关注的云存储系统不同层次,提出适用于多层次、多角色的性能评测指标和评测方法,提供可靠的适用于云存储系统的评测方案、规范测试方法,为性能优化提供数据参考,同时为用户选购、部署云存储系统提供可靠的参考意见.     

基于对象存储系统体系结构的研究

随着基于对象存储系统的快速发展,存储系统服务性能要求越来越高.在分析传统基于对象存储系统体系结构的基础上,提出一种体系结构SOBSS,通过扩展元数据服务器功能,简化体系结构内部数据交互模式.通过与传统基于对象存储系统体系结构的性能比较,实验结果表明,采用SOBSS体系结构在提高系统性能方面有明显的优势.     

数据管理系统评测基准:从传统数据库到新兴大数据

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.     

光纤通道磁盘阵列中目标器设计与实现

磁盘阵列已成为构建大型存储系统的关键基础设备,目标器为主机提供存储设备访问接口.本文结合RAID原型系统, 分析了光纤通道磁盘阵列中目标器模块的功能及其内部体系结构,阐述了目标器对读写请求的不同处理流程,最后采用相关评测工具对光纤通道目标器模块以及RAID系统进行了性能评测,测试结果表明光纤通道目标器模块具有出色的性能,最高数据传输率可达187Mbye/s.     

数据管理系统评测基准:从传统数据库到新兴大数据

时代发展到今天,技术已经带领人类进入了大数据时代,新技术、新系统和产品的出现,使得采用大数据进行评测的系统成为了热门.这与传统的数据库系统的建立有些许相似之处,就是在数据库系统的建立过程中,基准评测扮演了很重要的角色,在数据库系统的长足发展中成为了系统系能的规范.用于不同数据库性能的评测标准,能够将数据库系统的性能、差距、技术进步等加以反应,得到数据库健康发展和数据技术应用的相关数据.根据数据管理的发展需要,对数据刊进行技术的革新,得到新的数据管理系统的测评标准,如今的数据管理系统的评测基准种类呈现了多样性,并且催生出数据管理系统和平台,造成关系型数据的基准评测的结构化向着对象数据、空间数据、流数据的方向发展.成为新的数据系统.而且关于大数据管理系统的评测基准的研究正在不断地深入,成为了新的热点.与此相关的评测基准的大数据研究也成为了当今最为人们的专业.从现有的数据管理系统的基准评测,还不能得到关于大数据特征的定论,但是从数十年的关于数据管理系统评测基准的发展经验来看,关于大数据系统的研发的结论都是很宝贵的经验,值得借鉴和思考.本文就数据管理系统评测基准的发展历史开始加以阐释,对数据管理系统的成就和未来发展进行论证.     

J2EE应用服务器的企业级应用体系结构研究与实例评测

应用服务器向企业级用户提供了设计、开发、部署、运行和管理一个Internet企业应用系统的平台。本文对J2EE应用服务器在企业级应用中的体系结构进行了研完,并给出测试用例,对典型应用服务器的功能和性能等方面进行了现场实例综合评测,对评测结果进行了分析和说明。     

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。     

面向海量存储的文件系统评测基准

为满足海量存储文件系统级性能评测需求,开发一个通用的符合POSIX.1标准的文件系统基准评测工具LZpack,可为不同文件系统的性能评测比较提供一种有效的方法,也可为使用文件系统操作API集合的应用程序设计者提供性能评价的依据。LZpack采用集群评测的评测架构,可以对文件I/O性能及元数据操作性能进行准确评测。对LZpack的系统结构和关键问题进行描述,对使用LZpack在不同文件系统上的测试结果进行分析,提出LZpack下一步的改进思路。     

A cross-layer optimized storage system for workflow applications

This paper proposes using file system custom metadata as a bidirectional communication channel between applications and the storage middleware. This channel can be used to pass hints that enable cross-layer optimizations, an option hindered today by the ossified file-system interface. We study this approach in the context of storage system support for large-scale workflow execution systems: Our workflow-optimized storage system (WOSS), exploits application hints to provide per-file optimized operations, and exposes data location to enable location-aware scheduling. We argue that an incremental adoption path for adopting cross-layer optimizations in storage exists, present the system architecture for a workflow-optimized storage system and its integration with a workflow runtime engine, and evaluate this approach using synthetic and real applications over multiple success metrics (application runtime, generated network stress, and energy). Our performance evaluation demonstrates that this design brings sizeable performance gains. On a large scale cluster (100 nodes), compared to two production class distributed storage systems (Ceph and GlusterFS), WOSS achieves up to 6× better performance for the synthetic benchmarks and 20–40% better application-level performance gain for real applications.     

Data Utilization-Based Adaptive Data Management Method for Distributed Storage System in WAN Environment

Recently, research on a distributed storage system that efficiently manages a large amount of data has been actively conducted following data production and demand increase. Physical expansion limits exist for traditional standalone storage systems, such as I/O and file system capacity. However, the existing distributed storage system does not consider where data is consumed and is more focused on data dissemination and optimizing the lookup cost of data location. And this leads to system performance degradation due to low locality occurring in a Wide Area Network (WAN) environment with high network latency. This problem hinders deploying distributed storage systems to multiple data centers over WAN. It lowers the scalability of distributed storage systems to accommodate data storage needs. This paper proposes a method for distributing data in a WAN environment considering network latency and data locality to solve this problem and increase overall system performance. The proposed distributed storage method monitors data utilization and locality to classify data temperature as hot, warm, and cold. With assigned data temperature, the proposed algorithm adaptively selects the appropriate data center and places data accordingly to overcome the excess latency from the WAN environment, leading to overall system performance degradation. This paper also conducts simulations to evaluate the proposed and existing distributed storage methods. The result shows that our proposed method reduced latency by 38% compared to the existing method. Therefore, the proposed method in this paper can be used in large-scale distributed storage systems over a WAN environment to improve latency and performance compared to existing methods, such as consistent hashing.     

抗板级物理攻击的持久存储方法研究

为保护文件系统的安全性,提出一种抗板级物理攻击的持久存储方法。利用ARM TrustZone技术构建持久存储架构,实现内存保护机制和持久存储保护服务,提高文件系统的物理安全性。基于片上内存（OCM）在可信执行环境（TEE）中的内核层建立内存保护机制,保证TEE的可信应用能够抵抗板级物理攻击。基于TEE的内存保护机制实现保护文件系统中敏感数据的持久存储保护服务,确保文件系统的机密性和完整性。在物理开发板上实现持久存储架构的原型系统,使用基准测试工具对原型系统进行性能评估,并分析性能损耗的原因。测试结果表明,内存保护机制在保护TEE系统物理安全性时引入的时间开销会随着OCM的增大而减小,持久存储保护服务在保护数据量较小的敏感数据时产生的时间开销在用户可接受范围内。     

Hybrid hierarchy storage system in MilkyWay-2 supercomputer

With the rapid improvement of computation capability in high performance supercomputer system, the imbalance of performance between computation subsystem and storage subsystem has become more and more serious, especially when various big data are produced ranging from tens of gigabytes up to terabytes. To reduce this gap, large-scale storage systems need to be designed and implemented with high performance and scalability.MilkyWay-2 (TH-2) supercomputer system with peak performance 54.9 Pflops, definitely has this kind of requirement for storage system. This paper mainly introduces the storage system in MilkyWay-2 supercomputer, including the hardware architecture and the parallel file system. The storage system in MilkyWay-2 supercomputer exploits a novel hybrid hierarchy storage architecture to enable high scalability of I/O clients, I/O bandwidth and storage capacity. To fit this architecture, a user level virtualized file system, named H²FS, is designed and implemented which can cooperate local storage and shared storage together into a dynamic single namespace to optimize I/O performance in IO-intensive applications. The evaluation results show that the storage system in MilkyWay-2 supercomputer can satisfy the critical requirements in large scale supercomputer, such as performance and scalability.     

CloudBM:云数据管理系统测试基准

随着云计算技术和云数据管理技术的不断发展,越来越多的云数据管理系统纷纷面世,为人们提供了一种以经济实用的方式管理海量数据的方案。面对各种各样纷繁复杂的云数据管理系统,如何结合不同的应用场景对它们进行全面详细的性能评价是目前亟待解决的挑战性问题。以电信业务中用户访问记录存储系统为应用背景,结合云数据管理系统的应用特点,设计了一个具有广泛代表性的测试基准,并对目前主流的云数据管理系统进行了实际测试。通过对测试结果进行对比分析,为用户提供了一个可供参考的性能评价结果,同时验证了该测试基准的可靠性和广泛适用性。     

CloudRank-D: benchmarking and ranking cloud computing systems for data processing applications

With the explosive growth of information, more and more organizations are deploying private cloud systems or renting public cloud systems to process big data. However, there is no existing benchmark suite for evaluating cloud performance on the whole system level. To the best of our knowledge, this paper proposes the first benchmark suite CloudRank-D to benchmark and rank cloud computing systems that are shared for running big data applications. We analyze the limitations of previous metrics, e.g., floating point operations, for evaluating a cloud computing system, and propose two simple metrics: data processed per second and data processed per Joule as two complementary metrics for evaluating cloud computing systems. We detail the design of CloudRank-D that considers representative applications, diversity of data characteristics, and dynamic behaviors of both applications and system software platforms. Through experiments, we demonstrate the advantages of our proposed metrics. In several case studies, we evaluate two small-scale deployments of cloud computing systems using CloudRank-D.     

一种面向大规模数据密集计算的缓存方法

随着高性能计算机逐步应用在大规模数据处理领域,存储系统将成为制约数据处理效率的主要瓶颈.在分析了影响数据密集型计算I/O性能若干关键因素的基础上,提出使用计算结点本地存储构建协作式非易失缓存、以分布式存储架构加速集中式存储架构的方法.该方法基于应用层协同使用分布化的本地存储资源,使用非易失存储介质构成大缓存空间,存放大规模数据分析的中间过程结果,以此实现高缓存命中率,并利用并发度约束控制等手段避免I/O竞争,充分利用本地存储的特定性能优势保证缓存加速效果,从而有效地提高了大规模数据处理过程的I/O效率.基于多平台多种I/O模式的测试结果证实了该方法的有效性,聚合I/O带宽具有高扩展性,典型数据密集应用的整体性能最大可提升6倍.     

基于SAN系统数据密集型程序的性能分析

数据密集型应用如多媒体、数据库等等的大规模发展对存储系统提出更高的要求．与之相适应的是以SAN为代表的存储网络改变了存储系统完全依赖于主机的模式，整体上提高了存储系统性能、可用性、可扩展性．本文在研究整个SAN存储系统结构的基础上，通过分析和估计SAN系统的各个部分性能，结合数据密集型程序的I／O统计特性，估计各种I／O请求的平均响应时间，说明在SAN系统平台上I／O密集型程序的设计要求，为进一步开发大规模存储网络管理和应用软件打下基础．