光伏发电系统密集型大数据云存储系统设计

目前设计的光伏发电大数据云存储系统存在响应时间过长,存储过程稳定性较差的问题,针对上述问题,设计了一种新的光伏发电系统密集型大数据云存储系统。系统硬件框架由光伏发电数据采集层、传输层、处理层、存储层以及应用层组成,云存储数据服务器同时设置了主服务器和从服务器,设计节点完成信息传输;通过两个子线程完成信息迁移,存储器内部引入DSP主控芯片,实现信息存储。实验结果表明,所设计的光伏发电系统密集型大数据云存储系统响应时间较短,能够更稳定地完成数据存储工作。     

MongoDB平衡器的研究与优化

MongoDB是一款功能丰富、容易上手的NoSQL产品,在很多商家中收到欢迎。但由于MongoDB是最近几年流行起来的数据库系统,在很多方面还不完善,如:平衡器设计不够智能,影响计算机整体性能,CPU占用率过高。通过对MongoDB的研究分析,提出了用自适应的平均负载平衡算法进行优化的方案,设计了一个针对海量数据的分布式存储系统,以解决数据分布不均衡的问题     

面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

面向两级数据中心的软件定义存储研究

随着数据量的爆炸性增长和数据的重要性不断增加,对数据快速准确存储的要求越来越高,存储逐渐成为数据中心云平台发展的瓶颈。文章针对现有存储系统通用缺陷,如软硬件紧耦合,无法满足移动互联网和大数据对存储系统快速、多变的需求等,介绍软件定义存储的优势和定义,分析软件定义存储技术和系统需求,并认识到面向两级数据中心的软件定义存储技术架构,存储系统的软硬件紧耦合设计严重地限制了存储技术的发展,也越来越无法满足移动互联网和大数据时代下,对存储系统快速、多变的需求。文章提出软件定义存储可以非常巧妙地发挥X86服务器的廉价优势,对数据中心的数据进行存储、组织和管理,向上层应用提供安全可靠的、可扩展的、可动态管控的、高效的数据存储服务,并与虚拟化资源池很好地融合,可以极大地提高云平台存储的安全可靠性能。文章认为软件定义存储(SDS)作为一种新的存储系统架构,更适合下一代数据中心的发展。     

大规模网络数据存储系统的设计与实现

当前的网络数据存储系统在处理大规模数据时需要较长时间,增加了网络数据存储周期,存储性能较差。因此设计并实现一种大规模网络数据存储系统,该系统主要包括A/D高速采集模块、FLASH存储模块和FPGA数据接收模块。A/D高速采集模块采集大规模网络数据,采用FPGA数据接收模块对采集到的网络数据进行接收和处理,过滤其中的噪声因素,再将处理好的网络数据保存在FLASH存储模块中。依据三层架构模式设计大规模网络数据存储系统软件架构,并给出了业务逻辑层完成数据传递的关键代码。实验结果表明,所设计的大规模网络数据存储系统具有较高的数据存储和读取速度,能够实现网络数据的负载均衡存储。     

一种基于PoW的安全云存储数据去重方案

数据去重技术虽能提高云存储效率和节约网络通信带宽,但其安全问题备受学术界和产业界关注,成为研究热点。在用户对数据隐私性、机密性和完整性等的强烈需求下,安全云存储数据去重技术应运而生。文章给出云存储系统数据去重的系统模型和威胁模型,分析云存储系统数据去重的安全需求,介绍云存储系统数据去重方案的设计思路,提出云存储系统数据去重方案系统设置、数据上传、文件级所有权管理、数据块级所有权管理和数据下载的关键算法。     

一种适于云存储的数据确定性删除方法

 为保护云存储模式下数据的机密性,本文提出了一种适于云存储系统的数据确定性删除方法.该方法通过密钥派生树组织管理密钥,将密钥经秘密共享方案处理后分发到DHT网络中,利用DHT网络的动态特性实现密钥的定期删除,使得在非授权时间内密文数据不能被解密和访问,从而实现云存储系统中数据的确定性删除.实验结果表明,该方法能够有效地删除密钥,且性能开销低,满足云存储系统中过期数据或备份文件的确定性删除要求.     

云存储环境下的混合存储算法研究与实现

随着大数据的发展,数据运算、数据读写均对存储环境和存储系统提出了更高的要求。存储系统中所运行的任务具有高并发度特征,也就是要对其存储的数据实现随机读写的性能。固态盘(简称SSD)是一种云储存环境下的新型存储设备,具有随机读写数据的功能,但是价格比较昂贵,而且对于写入的次数有限制,所以应该把固态盘存储技术和磁盘存储(HDD)结合起来,形成云存储环境下的混合存储系统。文章在分析三种基本存储设备特点的基础上,重点阐述在云存储环境下,混合存储算法的研究与实现。     

基于Hadoop的电子通信数据快速存储系统设计

在Hadoop云平台进行数据云存储系统的优化设计,提高大容量数据快速存取能力,构建基于Hadoop的大容量数据快速存储系统,采用负载均衡调度和云存储优化方法进行存储系统构架,进行Hadoop云平台的海量大数据进行信息融合处理,对Hadoop云平台大容量数据信息流进行非线性时间序列重组,采用特征空间降维方法降低存储开销,优化存储结构,提高存储和调度的速度。仿真结果表明,采用该方法进行Hadoop大容量云存储系统设计,提高了数据存储的吞吐性能和快速存取性能。     

面向云计算的键值型分布式存储系统研究

 对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数据全部装入服务器集群内存中的方式提高系统整体性能,并设计了分区线性哈希算法以实现负载均衡和高扩展性,设计了相应的数据备份与故障快速恢复策略以保证系统可靠性.仿真实验结果表明,M-Cloud具有较高的性能与可用性,对系统进一步改进和优化后具有应用于实际生产环境中的潜力,可为用户提供高质量的存储服务.     

云存储系统架构与关键技术研究

研究云存储结构模型及优势的基础上,分析云存储系统设计时应考虑的基本目标和扩展目标,提出满足设计目标的集群架构和系统结构,对实现云存储系统文件同步及重复数据删除等关键技术进行分析,对云存储系统的设计实现有一定借鉴意义。     

云存储系统的分析与应用

本文首先详细的介绍了云存储的概念,和云存储系统的分析.详细介绍了云存储系统的四个组成部分：存储层、基础管理层、应用接口层、访问层及其功能.并且对于云存储系统的应用进行了举例分析.当前,云存储系统发展得到了广泛的应用和发展,也存在一定的问题.本文对于云存储系统的主要问题安全性问题进行了阐述,及其应对的策略进行了简单的介绍.     

面向云存储安全的可自愈拜占庭Quorum系统

针对云存储系统中的数据安全问题,提出了一种面向云存储安全的可自愈拜占庭Quorum系统.该系统以虚拟机作为后端存储设备构建虚拟存储节点,利用虚拟机多样化操作系统,以及动态迁移、快速部署等机制构建动态异构的存储系统架构.在拜占庭容错门限的基础上,提出自愈门限的概念,并设计相应系统安全协议,实现存储节点的自动化异常检测和状态复原.实验结果表明,提出的云存储系统具有较高的鲁棒性,能有效提高存储数据的安全性.     

面向云存储的归档方法

针对目前云存储系统主要提供文件备份的现状,提出了一种面向云存储的归档方法,该方法将不活跃的文件数据以归档的形式存放在云端存储系统,并在客户端保留其存根信息以供读取时使用,从而不仅大大节约了客户端存储空间,改善了客户端性能,而且实现了对用户透明的归档数据访问.     

基于Ceph对象存储的云网盘设计与实现

针对基于传统NAS存储实现云网盘存在扩展性差,响应性能低、数据不可靠性、安全性低等问题,提出一种基于Ceph分布式对象存储系统构建高性能、高可靠、可扩展的云网盘设计与实现方案,底层基于X86服务器作为Ceph存储集群池,通过设计多对象网关发布对象存储服务,采用软负载均衡,提升云网盘请求响应吞吐能力,并集成基于Token认证系统实现对象数据的隔离与安全。经实验测试表明,该设计实现方案可满足现实应用需求。     

基于云平台的海量通用数据分级存储系统构建与实现

中国蓝云分布式数据中心通用数据分级存储系统项目目前已经建成，并经过各种功能和性能测试，达到了项目建设目的和使用要求。本文简要分析了广播电视媒体行业近线存储模式及存储介质选择的问题，主要阐述了中国蓝云平台海量通用数据分级存储系统基本架构、功能及设计亮点。     

面向大数据的分布式缓存设计

大数据平台的底层存储系统往往无法匹配上层计算应用的读写性能,而一个设计良好的分布式缓存系统将缩小CPU密集型应用和IO密集型应用之间不匹配的性能差距。设计的面向大数据应用的分布式缓存系统,在读写流程、I/O事件驱动并发模型及元数据模型等方面进行了合理设计与优化,并使用fio工具测试了顺序写、随机写、顺序读及随机读场景下的吞吐率与IOPS等性能指标,验证了该分布式缓存系统的高性能优势和应对高并发场景的扩展能力。     

云存储与云灾备的原理与短板分析

通过资源的整合和虚拟化技术的应用,云计算可以对用户提供按需的资源分配和服务,以充分提高资源的利用率。文章认为将该理念拓展到云存储和云灾备,则由于海量数据的高度聚集将会对系统带来一系列的挑战,是云存储与云灾备的短板。实现海量存储系统从传统的纵向扩展向横向扩展转化,实现系统的性能和规模线性可扩展,处理海量存储系统的高度聚集带来的能耗和冷却等问题是在进行云存储和云灾备系统设计时必须要考虑的重要因素。     

云存储系统的分析与应用探讨

目前社会越来越向信息化的方向发展,随之出现了一个新的概念一云存储的概念。云存储系统指的是通过集群应用、网格技术或分布式文件系统等功能,将网络中大量的、类型不同的存储设备通过应用软件集合起来一起工作,共同对外提供数据存储和业务访问功能的一个系统。云存储可以看作具有更大存储空间的云计算系统。因此,可以说云存储系统比云计算系统具有更优的性能。基于此,云存储系统目前有着非常广泛的应用,主要可以为企业或者个人提供足够的空间来存储数据。笔者通过结合自己工作中有关云存储的一些经验,对云存储系统进行了一定的分析,并且对于其目前的应用情况进行了探讨。     

云存储安全分析

文章认为云存储是社会发展、技术发展的必然趋势,但其安全问题是云存储普及最大的障碍。基于云存储系统架构、安全分析及安全保护机制,文章给出了一种云存储服务应用支撑系统架构。该架构应用于云存储服务系统,是基于互联网应用的新型服务化存储模式,分为业务应用层、应用接口层、平台软件层和基础设备层,提供信息服务管理、运营统计分析和多种安全措施。