面向OpenStack/Ceph的虚拟机备份系统研究

针对OpenStack面临的虚拟机容灾备份问题,提出了一种基于Ceph存储快照的虚拟机容灾备份系统,备份时对虚拟机存储在Ceph中的磁盘生成快照,再根据备份要求计算有效数据或者变化数据,保存虚拟机的配置信息以及磁盘数据,恢复时自动创建相同配置的虚拟机并将当前快照点的磁盘数据恢复到该虚拟机中.实验表明,该方法比OpenStack的快照备份方法能有效节省备份时间和存储空间,并且可以实现后者不具有的增量备份、多磁盘备份等功能.     

基于Ceph云存储的磁盘利用率研究

云存储以其强大的容错性、部署的灵活性、可扩展性、维护的便捷性等优势,在各行业得到普遍推广和广泛应用,但是因云存储数据冗余保护的需要,高消耗是其不可避免的弊端.如何降低其磁盘空间的消耗,对云存储系统的成本优化意义重大.本文基于Ceph文件系统,研究文件和磁盘的映射关系以及数据冗余和磁盘利用率的关系,对云存储的实际生产运行有重要意义.     

异构存储感知的Ceph存储系统数据放置方法

Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副本组合上,在提升系统性能的同时有效地控制了系统容量成本。     

基于OpenStack的云存储系统的大文件存储方案

为解决开源云平台OpenStack的对象存储服务Swift在存储GB级大文件方面的不足,提出基于文件分割、片段合并、并行处理的GB级大文件的存储方案。分析Swift体系结构及其特点,在此基础上构建云存储系统的层次架构;制定GB级大文件的存储策略,设计关键数据结构和上传下载的核心流程,使用Java多线程实现该方案。部署云存储实验环境,通过实验验证了该方案的可行性,该方案突破了Swift对文件大小的限制,提高了文件的上传和下载速度。     

基于OpenStack的对象存储性能实验及研究

随着云计算的不断发展,基于OpenStack的开源云得到了国内外IT厂商的广泛关注。从服务响应时间和服务吞吐量两个维度来对比万兆网卡和千兆网卡对OpenStack Swift对象存储方案性能的影响。在此基础上,模拟Swift采用万兆网卡适配器后在各种场景下的性能表现。进一步,采用固态硬盘检验其对Swift存储性能的影响。最后进行代理节点和存储节点的配比实验,挖掘云存储技术的价值,设计更加符合最终用户需要的云存储解决方案。     

OpenStack云环境下多节点块存储研究

基于OpenStack本身的块存储设计,在云计算平台中实现了多节点块存储的i SCSI SAN配置,为虚拟机提供了跨网段、跨节点的独立块存储服务,并在不同节点间、虚拟机上分别对其进行测试,对学习和实际构建云平台中跨网段多节点的块存储服务有参考价值。     

基于区块链的分布式离链存储框架设计

随着分布式存储技术的不断发展,越来越多的企业、政府机构用户将数据保存在云端,实现大数据的分布式存储和数据资源共享。区块链技术的去中心化、可追溯、不可篡改、数据一致性等特点,为解决云存储存在的隐私和安全挑战问题带来了新的契机。文章提出了一种基于区块链的分布式离链存储框架。在区块链中部署区块节点和存储节点,其中区块节点用于执行底层区块链运行机制,存储节点用于存储数据和文件,通过将区块和存储功能区分开实现了离链存储,保证了区块链的运行效率。此外,文章还提出了一个使用基于经典数据占有机制的全局交互验证方法,以确保数据文件的分布、可靠和可证明的存储。用户向区块链中添加区块(存储文件)时会触发公平挑战机制的审核机制,从而隐式验证离链存储的所有文件是否完整。     

Ceph分布式系统的ISCSI高可用集群

在分布式存储集群环境中,为了兼容现有存储协议,提高集群可扩展性,通常都会支持ISCSI存储协议.而现有ISCSI服务的高可用主要通过主从备份的方式实现,该方式会导致资源利用不充分,容易造成单节点负载过重等情况.本文基于Ceph分布式存储系统的优势,采用raft一致性算法等设计并实现ISCSI高可用集群.ISCSI集群使用自定义的节点选择策略实现服务负载均衡,并通过raft分布式协议实现服务故障迁移.实验表明,本文提出的方案是有效的,能够实现服务故障迁移,保证集群负载均衡.     

基于Ceph存储系统的小文件存储优化方案

针对Ceph存储系统面对小文件存储时存在元数据服务器性能瓶颈、文件读取效率低等问题.本文从小文件之间固有的数据关联性出发,通过轻量级模式匹配算法,提取出关联特征并以此为依据对小文件进行合并,提高了合并文件之间的合理性,并在文件读取时将同一合并文件内的小文件存入客户端缓存来提高缓存读取命中率,经过实验验证本文的方案有效的提高了小文件的访问效率.     

基于Ceph对象存储集群的负载均衡设计与实现

海量并行数据访问ceph对象存储集群时,会出现访问数据错误率增加和访问速率降低的问题.首先设计和部署ceph对象存储集群,根据用户请求数设计对象网关节点,实现用户数据的交互功能,然后在服务节点安装和部署haproxy,实现服务节点的负载均衡功能,能够降低服务节点的压力,最后设计和实现四种基于ceph对象网关节点的存储集群.通过大量对比测试,本设计方案的数据访问错误率降低0.96%,用户数据的访问速率提升74.04%.     

Ceph分布式存储系统性能优化技术研究综述

Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。     

基于OpenStack的Swift负载均衡算法

为了解决由于OpenStack的负载分发不均衡而引发的存储性能下降、资源利用率降低、I/O响应时长增加等问题,提出对加权最小连接调度算法进行改进. 通过对对象存储的负载均衡调度算法研究,利用存储节点的CPU、内存、硬盘、I/O资源利用率信息,并结合节点任务请求连接数,计算存储节点负载能力、性能和权值. 负载均衡器根据每个存储节点的权值大小判断任务分发方向. 经实验证明改进的负载均衡调度算法能够解决存储读写性能下降的问题,提升数据吞吐率、存储读写性能和系统稳定性.     

基于OpenStack资源监控系统

资源监控是提高云平台可靠性的重要手段. 本文结合OpenStack云平台的特点,设计并实现了一个全面、智能、高效的资源监控系统,完成了资源监控系统整体架构的设计以及各模块的功能划分,并给出了实例监控方式、数据存储模型等具体的实现方法. 最后,通过测试结果说明资源监控系统的有效性.     

基于OpenStack的云计算laaS管理平台研究

分析当前主流的开源云计算IaaS管理平台,对各个平台的优缺点进行比较,研究基于OpenStack的云计算管理平台架构,结合运营商在云计算IaaS管理领域的相关经验,指出运营商采用OpenStack作为laaS管理平台的原则和方向。     

基于 OpenStack 的虚拟资源调度技术研究

传统的高能物理计算系统基于物理机集群,主要通过 Torque、Condor、LSF 等资源管理和作业调度系统将作业调度到物理机器上运行,缺少对虚拟化计算的接口支持。我们选取 OpenStack 作为底层虚拟化平台,设计并实现上层调度系统与 OpenStack 之间的桥梁,采用推拉结合的作业运行方式,构建虚拟计算集群。     

面向科研领域的分布式对象存储系统

随着科研工作的推进,科研数据出现了海量的增长, PB级科研数据需要高效、稳定的存储系统.传统的数据存储方案存在资源利用率差、集群扩展性能低以及用户界面操作不友好等问题,严重限制了数据在科研场景下的有效利用.依托中科院地球科学大数据专项,本文设计并实现高效的存储系统i-Harbor.该系统以对象存储系统为核心架构,以开源的Ceph分布式存储系统和MongoDB数据库作为对象数据和元数据的存储载体,设计通用的基于HTTP和FTP协议的数据接口,同时利用多副本和纠删码技术消除单点故障,配合Zabbix集群监控系统,实时定位平台参数以及故障,提高平台容灾性和安全性.此外,基于底层分布式结构的特点,集群可以随意添加存储节点,提高了平台的扩展性.