面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

基于Kademlia的云存储系统数据冗余方案研究

云存储是分布式存储技术与虚拟化技术结合的产物,是分布式存储技术的最新发展。云存储意味着存储可以作为一种服务,通过互联网提供给用户。相对于当前各种C/S计算模式的GFS、HDFS、Sector等云存储文件系统,提出了一种基于对等计算模式的云存储文件系统通用模型,并采用Kademlia算法构建了原型系统MingCloud。主要进行了存储系统冗余方案的选择与设计,实验中采用Cauchy Codes作为编码算法,分别从K桶大小对系统可用性影响、文件分块数量对系统可用性的影响、相同的冗余度下系统可用性比较等方面对系统进行了评估。与完全副本冗余模式相比,纠删码冗余模式能获得较理想的系统可用性,更适合应用于提议的对等云存储系统。     

改进一致性哈希优化存储邮政数据算法的研究

随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统（HDFS）存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。     

基于一致性哈希算法的电力企业分布式数据存储研究

由于电力企业存储数据量比较大,传统方法在电力企业分布式数据存储应用中无法保证电力企业数据的完整性和有效性,存在数据丢失量较大的问题,并且数据存储延迟时间比较长,存储速度比较慢,为此提出基于一致性哈希算法的电力企业分布式数据存储研究。将电力企业数据相应的时间标签当做是分布式数据存储的一个核心属性,根据数据时间标签对数据进行等价线序划分;利用一致性哈希算法计算数据哈希值和节点计算能力,将其作为依据将电力企业数据分组到相应节点上;利用存储模块构建电力企业分布式数据存储组织结构,并设计分布式数据存储逻辑结构,利用电力企业元信息表、参数元信息表以及索引表对电力企业数据进行分布式存储,以此实现了基于一致性哈希算法的电力企业分布式数据存储。经实验证明,设计方法存储数据延迟时间小于传统方法,而且数据丢失量小于传统方法,能够有效确保电力企业数据的完整性。     

基于中心节点的云存储系统应用分析

在云计算的催生下,基于不同网络拓扑结构和数据传输机制的分布式云存储系统应运而生,系统特性不同,应用场合也不尽相同。本文从是否存在元数据中心节点的角度出发,以有元数据节点的MooseFS和无元数据节点的GlusterFS为代表,全面分析两种系统架构、工作机制、系统特点等,并对两种系统进行不同文件类型的读写测试,给出在现有硬件基础上选择适合的文件系统的方法,从而使云存储系统数据处理性能达到最优。     

一种无中心的云存储架构分析

云存储是云计算的基础和支撑,它通过多种技术将存储设备抽象为虚拟的存储资源池,相对于传统存储而言具有高可靠、高可用、高扩展、低成本等优势。云存储系统基于不同的技术架构有着不同的特点,从是否存在元数据节点的角度,对有中心和无中心的典型云存储系统做了简要介绍,并对一种开源的无中心系统Gluster从系统组成、体系架构、工作原理、系统特点等几方面做了重点分析,并认为这是一种很有发展前景的云存储系统。     

一种基于PoW的安全云存储数据去重方案

数据去重技术虽能提高云存储效率和节约网络通信带宽,但其安全问题备受学术界和产业界关注,成为研究热点。在用户对数据隐私性、机密性和完整性等的强烈需求下,安全云存储数据去重技术应运而生。文章给出云存储系统数据去重的系统模型和威胁模型,分析云存储系统数据去重的安全需求,介绍云存储系统数据去重方案的设计思路,提出云存储系统数据去重方案系统设置、数据上传、文件级所有权管理、数据块级所有权管理和数据下载的关键算法。     

一种面向视频监控的云存储系统设计与实现

提出一种面向视频监控大容量存储的分布式云存储系统,系统包括元数据节点集群、存储节点集群、客户端;元数据负责管理所有的存储服务器,存储所有的文件基本信息,负责客户端连接请求等,是存储系统的核心;存储节点集群是实际数据存储的节点,负责存储数据;客户端负责连接云存储系统,与客户端上的应用交付,进行数据的存储和读取。整套系统可以实现存储容量的动态增加、多客户端并发读写、存储节点的动态扩容等,非常符合视频监控大规模存储的需求。     

移动网管系统云存储解决方案分析

文章提出了应用云存储技术解决目前移动网管系统所存在问题的方案,包括云存储的分步式文件系统架构、对象存储系统设计原则;同时针对网络持续发展的问题,阐述了网络扩展方案的设计。     

基于Ceph对象存储的云网盘设计与实现

针对基于传统NAS存储实现云网盘存在扩展性差,响应性能低、数据不可靠性、安全性低等问题,提出一种基于Ceph分布式对象存储系统构建高性能、高可靠、可扩展的云网盘设计与实现方案,底层基于X86服务器作为Ceph存储集群池,通过设计多对象网关发布对象存储服务,采用软负载均衡,提升云网盘请求响应吞吐能力,并集成基于Token认证系统实现对象数据的隔离与安全。经实验测试表明,该设计实现方案可满足现实应用需求。     

HDFS一致性管理的研究

HDFS是开源云计算项目Hadoop的存储系统,具有良好的容错性和扩展性,但是HDFS原有的一致性模型不能适用于实时性要求高,数据完整性要求不严格的任务。为了让HDFS能够满足云存储不同应用场景,在已有HDFS的总体架构和读写流程基础上,从数据一致性的角度剖析HDFS的局限和不足,提出解决方案,把NWR模型引入HDFS当中,并且将文件系统的读写锁机制改进为多粒度的锁机制。实验结果证明：通过以上措施,使用户可以根据自身需要配置云存储系统,平衡一致性和可用性。     

云存储安全模型研究

针对云存储服务对传统存储技术在数据安全性、可靠性、易管理性等方面提出的新挑战,在分析云存储的基本概念、结构和特点的基础上,研究了云存储的安全性;同时,针对云存储系统各个结构层次的特点,讨论了云存储的安全技术,并构建了云存储安全模型,保证了云存储系统的安全性和可靠性.     

面向云计算的键值型分布式存储系统研究

 对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数据全部装入服务器集群内存中的方式提高系统整体性能,并设计了分区线性哈希算法以实现负载均衡和高扩展性,设计了相应的数据备份与故障快速恢复策略以保证系统可靠性.仿真实验结果表明,M-Cloud具有较高的性能与可用性,对系统进一步改进和优化后具有应用于实际生产环境中的潜力,可为用户提供高质量的存储服务.     

面向智能家居大数据云存储系统设计与实现

为了使传统家居设备可以进行远程遥控,开发了在家具传统设备上引入无线组网技术,使其达到访问和远程控制的效果。针对在数据存储中,传统云存储系统缺少灵活性,不透明,鲁棒性不强,无法有效存储、管理和维护大数据的问题,设计并实现了面向大数据的云存储系统,通过逻辑控制模块对家居系统各业务请求进行智能处理,利用用户访问模块为用户提供底层实现的各项功能,采用存储模块为家居系统提供透明的数据存取功能,利用文件读/写模块将上层逻辑处理和底层存储进行隔离,使所设计系统更加健壮。软件设计过程中,给出数据云存储程序代码,实现大数据云存储。实验结果表明,新一代智能家居云存储系统具有很高的可行性和实用性。     

面向智能路由的多级哈希网络数据存储结构

网络数据的采集和存储是智能路由控制的基础,为智能路由提供了大量的网络流量数据进行模型训练和决策。然而,作为网络数据存储系统中的核心设备,交换机的存储空间非常有限,且设计灵活性低,无法满足智能路由控制对全面高精度的数据存储和轻量级存储系统的需求,进而影响智能路由控制的效果。提出一种面向智能路由控制的多级哈希网络数据存储结构,高效利用交换机有限的存储空间,实现低碰撞率的网络数据存储。该结构通过多级哈希表增加数据的可存储空间数量,从而降低存储冲突率并提高存储空间利用率。同时,该结构使用基于低开销时间戳的LRU算法解决哈希冲突：在发生哈希冲突时总是保存最新的网络数据,清除陈旧数据,以尽可能减少后续的存储冲突。基于真实网络流量数据的实验证明了相比目前普遍使用的单级哈希存储结构,多级哈希存储结构在存储碰撞率和负载率两方面存在显著的性能优势。     

一种改进的一致性哈希算法

一致性哈希算法常用于分布式系统的负载均衡,常见的算法存在一些弊端,如传统的带虚拟节点的一致性哈希算法在工程应用中节点负载不完全均衡,谷歌跳跃一致性哈希和腾讯PaxosStore存储系统的一致性哈希算法只能从后往前删除节点,同时难以应用于异构系统。针对上述问题,文章提出了一种改进的一致性哈希算法,优化了虚拟节点的分配,在同构系统中通过初始化时均匀分配虚拟节点、添加删除节点时从盈余向不足迁移虚拟节点的方法,保证了算法的一致性,并且当虚拟节点数远大于实节点数时系统可实现接近完全的均衡,增删节点也不受位置的限制。在异构系统中,算法通过按节点性能比例分配和迁移虚拟节点的方法,实现了对负载和流量的精准分配。对初始的虚拟节点数(N值)也进行了讨论,可以根据系统均衡性要求配置N值,并给出了重新均衡系统时分裂虚拟节点和扩大N值的算法。     

云存储环境下基于HDFS的海量小文件装箱算法

基于HDFS的云存储系统在当前得到了广泛的应用,然而它存在小文件存储效率不理想的问题。针对该问题,提出了一种基于HDFS的海量小文件装箱算法TPSF。该算法综合考虑上传文件的大小和缓存时间两个指标,设计了基于动态权值的装箱策略。原型实现和性能评价表明,TPSF算法是可行和有效的,能够显著降低HDFS名称节点和数据节点的存储开销。     

云数据安全存储技术初探

基于互联网与云计算技术快速发展下,大量信息数据应用网络存储于云存储系统中,而云存储系统主要是利用网络环境完成存储,其中用户十分重视信息数据的云存储安全性。因而,加强云数据安全存储技术具有深远意义。     

基于云存储系统的能耗优化节点管理方法分析

随着科技不断发展,云存储系统能耗节省成为科技关注的焦点。云存储系统能够根据情况,在利用率较低时关闭部分的存储节点,但是云存储节点关闭时数据需要具有一定的可用性。而云存储中能耗优化问题是云存储管理中疲于解决的问题。基于此,文章就云存储的能耗优化节点的相关技术进行详细研究,并对云存储系统能耗优化节点的管理问题进行深入探讨。     

基于联合文件系统的异构存储融合

海量的音视频数据已成为广播电视节目监测监管的基础性资源,但音视频数据的爆发性增长和与之相对应增加的异构存储设备,打破了以单一存储设备作为集中存储系统的界限.为强化数据服务能力,实现异构存储设备融合成统一的存储资源池,本文在分析网络存储工业协会的存储虚拟化设计规范的基础上,结合实际情况,提出了一种基于联合文件系统虚拟化方式的存储融合.本文考虑了音视频数据存储系统的海量性、集中性和高可用的特点,从全局命名空间、数据均衡和数据一致性等角度,通过实验验证了所设计的异构存储融合方案的可行性.