公有云存储系统性能评测方法研究

随着云存储系统的迅速发展和广泛使用,许多企业开发者和个人用户将其应用从传统存储迁移至公有云存储系统,因此,云存储系统性能成为企业开发者和个人用户关注的焦点。由于传统测试难以模拟足够多的用户同时访问云存储系统;测试环境构建复杂,测试时间长,准备测试环境成本高;受网络因素及外界其他因素影响,评测结果不稳定。针对以上所述云存储系统性能评测的重点和难点,提出一种“云测试云”的公有云存储系统性能评测方法,该方法通过在云计算平台动态申请足够数量的实例,对公有云存储系统性能进行评测。首先,构建通用的性能评测框架,可动态伸缩申请实例,自动化部署评测工具及负载,控制并发访问云存储系统,自动释放实例及收集并反馈评测结果;其次,提出多维度的性能评测指标,涵盖不同典型应用、不同云存储接口;最后,提出一种可扩展通用的性能评测模型,该模型可以评测常见典型应用的性能,分析云存储性能影响因素,可适用于任何的公有云存储平台。为了验证该方法的可行性、合理性、通用性和可扩展性,利用所提方法对Amazon S3云存储系统进行性能评测,并使用s3cmd验证评测结果的准确性。实验结果表明,评测结果可以为企业开发者和个人用户提供参考意见。     

云存储系统性能评测技术研究

云存储系统目前应用广泛,其核心功能是向外提供存储服务,而云存储性能直接影响着云存储服务的质量.由于云存储系统的数据存储在云端,且使用角色众多,传统的性能评测技术不适用于云存储系统.从用户、云存储服务提供商、设备提供商3个角度出发,针对其关注的云存储系统不同层次,提出适用于多层次、多角色的性能评测指标和评测方法,提供可靠的适用于云存储系统的评测方案、规范测试方法,为性能优化提供数据参考,同时为用户选购、部署云存储系统提供可靠的参考意见.     

云存储性能评测研究

大数据时代的到来,使得对云存储产生了强烈的需求。云存储性能评测一直是云存储系统研究的热点与难点。通过分析典型云存储平台数据访问的过程,建立云存储数据读写的模型,利用网络分析工具iptools获得云存储系统在处理用户访问请求的各个阶段的时间开销,从中排除网络干扰,反映真正云存储系统数据读写性能。实验结果表明,这种云存储系统数据读写模型是科学合理的,按照模型设计的云存储系统性能评测方法能够有效排除网络干扰,获取反映云存储系统真正读写性能的数据。     

云存储性能评测技术与方法研究

网络硬盘（简称网盘）,是一种云存储技术,是用户在互联网中独有的数据存储空间。本文从用户使用网盘的角度出发,采用网络嗅探工具Ethereal,通过捕获网盘客户端传输文件的数据包的方式来确定其传输时间,计算传输速率。通过测试比较金山快盘、数据银行和天翼网盘客户端在不同因素下的上传下载速率,探索出用户使用中影响网盘性能的主要因素,为云存储产品性能评测提供一个可行性的技术和方法。     

OpenStack Swift关键技术分析与性能评测

Swift是开源云平台管理项目OpenStack的对象存储系统,能够提供海量、可弹性扩展、低成本的云存储服务。首先对Swift的使用场景做了简要分析,然后针对Swift采用的一致性哈希、高可用服务等关键技术进行了详细分析,最后对Swift进行了性能评测。     

面向海量存储的文件系统评测基准

为满足海量存储文件系统级性能评测需求,开发一个通用的符合POSIX.1标准的文件系统基准评测工具LZpack,可为不同文件系统的性能评测比较提供一种有效的方法,也可为使用文件系统操作API集合的应用程序设计者提供性能评价的依据。LZpack采用集群评测的评测架构,可以对文件I/O性能及元数据操作性能进行准确评测。对LZpack的系统结构和关键问题进行描述,对使用LZpack在不同文件系统上的测试结果进行分析,提出LZpack下一步的改进思路。     

云存储中多类型文件存储及访问优化机制的研究

当前云存储已经成为存储界的研究热点,Linux也已经成为当前云存储中所采用的主流操作系统之一。但是当前的云存储是面向通用文件存取服务,并未考虑其存储的文件的类型、大小、安全级别等等需求,因此也不可能提供针对不同存储内容的优化机制。面向云存储的应用环境,提出了Linux操作系统下的一种智能自适应文件系统,作为云存储优化项目的子项目,目标是保持原有文件系统的完整性和透明性的基础之上,对Linux文件系统机制进行改进。通过采用可堆叠文件系统技术,实现对不同特征的文件(小文件、超大文件、流媒体文件、加密文件等等)的自动适应和优化,从而提高基于Linux的云存储的文件服务性能。     

云存储四大产品机会

近阶段云存储市场风起云涌,国际国内都不乏好产品的诞生。由于市场定位的不同,衍生出来的云存储产品和服务也不同。企业应该根据自身特征、未来定位和资源匹配度,来合理选择自己适合的细分市场,进行创业和发展。建议从四个云存储产品定位分析市场:"文件云"、"应用云"、"手机云"、"开放云"等,及提出"开放云"的巨大潜力和商业机会!     

论视频云存储技术的发展

本文介绍了云存储技术的基本原理和性能特点,并就标准云存储与视频云存储在实现机制、应用环境、行业需求等方面的差异进行分析,最后对安防行业视频云存储的发展趋势做出预测.     

多模态智慧网络信息云存储安全等级测试

传统多模态智慧网络云存储安全测试方法忽略了对云图数字特征的修正,导致测试结果精度偏低、稳定性较差.于是提出新的多模态智慧网络信息云存储安全等级测试方法.明确云存储运行结构与安全检测机制,组建云存储安全等级测试指标体系并加以划分.利用贝叶斯算法构建反馈云模型,修正测试云图的数字特征,结合优化模糊综合测试法,确定测试指标的...     

测试云框架的构建

云计算技术的普及和推广带来各行业技术的革新,引发各行业服务模式的变革,有效提升了社会整体的服务 效率,也给传统测试行业提出新的课题。本文从测试云构建的角度出发,论述了测试云的构成框架,从系统集成、测试服务应 用开发、服务性能优化、安全建设等几个方面进行了阐述。     

监控视频云存储系统

非结构化数据呈爆炸态势增长, 传统存储技术在吞吐能力可扩展性及易管理性等方面急需改进, 通过分析安保视频数据存储的问题, 设计一种云计算架构下的安保视频监控存储系统, 基于框架技术搭建了对等架构的云计算环境, 并对其中的云存储策略进行了设计和建模. 实现在廉价不可信节点上存储海量私有化只读视频数据, 并提供高效可靠地访问. 仿真结果显示, 系统的存储性能可靠度高且易于扩展, 可提供效能较高的视频云存储服务.     

基于Kubernetes的云原生海量数据存储系统设计与实现

为应对云原生技术的日益发展与普及伴随的云上数据量的激增及该技术在性能与稳定性等方面所出现的瓶颈,提出了一种基于Haystack的存储系统。该存储系统在服务发现、自动容错与缓存方面进行了优化,更适用于云原生业务,以满足数据采集、存储与分析行业不断增长且频次较高的文件存储与读写需求。该存储系统使用对象存储模型来满足高频海量的文件存储,为使用该存储系统的业务提供简单而统一的应用程序接口,应用了文件缓存策略提升资源利用率,同时利用Kubernetes丰富的自动化工具链使该存储系统比其他存储系统更容易部署和扩展且更稳定。实验结果表明,该存储系统在读多于写的大规模碎片数据存储情境下相比目前主流的对象存储与文件系统均有一定的性能与稳定性提升。     

A file-deduplicated private cloud storage service with CDMI standard

The emergence of cloud environments makes users convenient to synchronize files across platform and devices. However, the data security and privacy are still critical issues in public cloud environments. In this paper, a private cloud storage service with the potential for security and performance concerns is proposed. A data deduplication scheme is designed in the proposed private cloud storage system to reduce cost and increase the storage efficiency. Moreover, the Cloud Data Management Interface (CDMI) standard is implemented in the proposed system to increase the interoperability. The proposed service provides an easy way to for user to establish the system and access data across devices conveniently. The experiment results also show the superiority of the proposed interoperable private cloud storage service in terms of data transmission and storage efficiency. By comparing with the existing system Gluster Swift, the proposed system is demonstrated much suitable for the service environment where most of the transmitted data are small files.     

A cost‐efficient resource provisioning algorithm for DHT‐based cloud storage systems

Personal cloud storage provides users with convenient data access services. Service providers build distributed storage systems by utilizing cloud resources with distributed hash table (DHT), so as to enhance system scalability. Efficient resource provisioning could not only guarantee service performance, but help providers to save cost. However, the interactions among servers in a DHT‐based cloud storage system depend on the routing process, which makes its execution logic more complicated than traditional multi‐tier applications. In addition, production data centers often comprise heterogeneous machines with different capacities. Few studies have fully considered the heterogeneity of cloud resources, which brings new challenges to resource provisioning. To address these challenges, this paper presents a novel resource provisioning model for service providers. The model utilizes queuing network for analysis of both service performance and cost estimation. Then, the problem is defined as a cost optimization with performance constraints. We propose a cost‐efficient algorithm to decompose the original problem into a sub‐optimization one. Furthermore, we implement a prototype system on top of an infrastructure platform built with OpenStack. It has been deployed in our campus network. Based on real‐world traces collected from our system and Dropbox, we validate the efficiency of our proposed algorithms by extensive experiments. Copyright © 2016 John Wiley & Sons, Ltd.     

云测试研究现状综述

用文献分析方法剖析了云计算的体系结构,介绍了不同的云计算服务,论述了云计算软件的特点,给出了云测试的定义和应用场景。由此,比较了云测试的优势和挑战,并从云测试的服务类型、类别、内容等角度进行了综述,分析相互之间的对应关系,概括围绕云测试所展开的相关研究工作,展望了未来的研究方向和亟待解决的关键问题,为云测试相关研究提供了参考。     

私有云平台服务能力检测方法

针对现阶段使用私有云评测方法缺失所导致搭建私有云供需不匹配的问题,提出了一种自适应、可扩展的私有云系统能力检测方法,可对基础设施即服务（IaaS）云计算系统能力进行评测。首先,通过私有云应用程序接口动态扩展虚拟机数量;然后,通过性能特征模型选取虚拟机所需配置的硬件信息和操作系统类别,并根据用户的需求差异使用不同的负载模型,形成相应的模拟运行环境;最后,使用云计算服务等级协议（SLA）作为测试标准来衡量私有云服务能力。使用所提方法对Openstack开源私有云平台的能力进行了评测,实验结果表明,所提方法可以准确得出私有云服务能力,结果和用户实测一致。该方法负载生成成本更低,测试效率更高。并将该方法与Openstack自带的组件Rally进行对比,拓展性和负载动态模拟有很大的改进。     

基于云存储服务的AR博物馆系统研究

针对传统AR博物馆中资源不能有效利用、共享和管理的问题,构建了基于云存储服务的AR博物馆系统。该系统采用FAST-SURF算法对特征点进行检测,通过计算机视觉和无线相结合的方式进行跟踪匹配,同时利用云存储服务技术对博物馆资源进行管理,最终实现虚实融合显示。实例测试表明,与传统AR博物馆相比,该系统能够有效管理博物馆资源,且检测速度快、定位精度较高、匹配性好,特别是在实时性和稳定性方面有明显的优势。结果表明,借助云存储服务技术对AR博物馆资源进行管理的系统方案是可行的,可以为博物馆的研究提供新的技术支持。     

基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。