分布式存储技术及在运营商业务中的应用

分布式存储系统技术的发展、功能的完善为数据爆炸式增长带来的存储需求提供更为理想的存储解决方案.通过对分布式存储系统特点的说明,分布式存储技术的介绍,以及CAP定理在分布式存储系统中的理论依据,分析其在运营商业务系统应用中的适用性.并且举例说明运营商业务中适用分布式存储系统的应用场景,以及对分布式存储系统提出技术展望.     

关于分布式存储应用技术的应用

随着我国计算机信息化建设的不断推进,互联网数据规模越来越庞大,传统的数据存储技术已经难以满足用户的使用需求。目前,我国已经有很多企业开始应用分布式存储系统,分布式存储可以对大量的数据进行存储与管理,提高了信息存储与管理的效率,同时降低了信息管理的成本。但现有的分布式存储系统仍然存在较多的缺陷,本文将深入地分析分布式存储技术的特点与应用,并根据使用需求提出可行的应用方案。     

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。     

融合媒体时代分布式对象存储系统的应用探索

融合媒体是当前传媒领域最为热门的话题之一,行业也不再局限于传统广播电视台、电台、报业,随着媒体能力、党建政务能力的迅速提升以及民生增值等用户需求的迫切发展,同时伴随着云计算、大数据、4 K、5 G、AI等技术的成熟度提升,融合媒体发展势头迅猛,业务形态快速变革,对于企业IT架构的挑战愈发增多,在这其中对企业存储系统的挑战尤为凸现,海量非结构化数据的增多,多业务系统之间数据及服务的交互增多,对于分布式存储系统的需求程度越来越高。针对媒体行业业务发展特点,对分布式文件存储与分布式对象存储的发展做了简单梳理,对于目前笔者所在的业务单位融合媒体云平台做了简单介绍,并对分布式对象存储系统对于融合媒体时代的应用,做分析梳理,意图寻找融合媒体背景下分布式存储系统的建设方向。     

分布式存储框架在统计分析中的应用

随着互联网应用需要存储的数据直接由用户生成,用户量的增长,伴随着数据量级数级的增长,对底层的存储系统的可扩展性要求也越来越高.本文通过对兰州电信分公司在分布式存储框架应用情况的说明,阐述分布式存储框架在统计分析应用.     

面向大数据的分布式存储技术的发展与应用

随着计算机信息技术与互联网信息技术的快速发展,计算机网络技术已经渗透进入各行各业,网络上的信息资源呈现爆发式增长,互联网信息技术的使用给我们的生活带来了极大的便利,但互联网上的信息十分庞杂,给使用者带来了巨大的困扰。大数据时代下的数据存储需求更加多样,传统的数据存储系统已经难以满足大数据存储的需求。本文将深入地研究基于大数据的分布式存储技术,并结合实际案例分析分布式存储技术的应用。     

面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

分布式存储系统中容错技术综述

互联网、5G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战。大规模分布式存储系统以其海量存储能力、高吞吐量、高可用性和低成本的突出优势取代了集中式存储系统成为主流系统。由于分布式存储系统中节点数量庞大,经常会产生各种类型故障,从而导致节点失效情况频发。因此,必须采用容错技术来保证在部分存储节点失效的情况下,数据仍然能够被正常读取和下载,具有容错能力且节约存储资源的分布式存储编码成为大数据时代重点研究的核心技术之一。讨论了大数据背景下存储与可靠性的问题,从而引出数据容错对分布式存储的重要性。阐述了传统的2种数据存储容错技术,即多副本机制和MDS码。重点分析了3种主要的分布式存储编码,即再生码(RGC)、局部可修复码(LRC)和Piggybacking编码的基本原理、优缺点以及发展现状。总结对比了这5种数据容错技术的性能差异。面向数据的容错存储,针对存储中的节点修复问题,为大数据和移动数据的分布式存储编码提供理论基础,为海量数据的高效、可靠存储提供技术支撑。     

关于分布式存储应用于智慧广电建设的探讨

本文介绍三种主流分布式存储系统的各自特点,分布式存储是目前流行的数据存储方式。本文详细介绍HDFS、Ceph、Swift三种系统的工作机理,并结合广电行业的特点,探讨四川省智慧广电建设中应用分布式存储存储数据的意义和技术路线。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。