分布式存储系统在通信运营商云计算资源池的应用研究

本文研究的主要内容是基于云计算的分布式存储技术,即云存储技术.本文结合作者工程实践,总结分析了分布式存储系统的特性以及在运营商云计算资源池的组网架构,介绍了分布式存储相关功能,并提出了部署建议和展望.     

分布式存储在运营商中的应用与研究

对分布式存储从服务类型、技术流派、技术对比等各方面进行全方面分析,总结了分布式存储未来的发展方向,最后对运营商内部应用分布式存储提出了展望。     

云存储系统在高速公路视频监控中的应用探讨

随着监控视频质量不断提升,监控范围不断扩大,在满足监控市场实时视频显示的需求同时,传统集中式的视频存储,主要是文件式存储系统,将面临着诸多的技术挑战。而网络分布式云存储系统,在网络资源共享、分级分层存储方面具有突出特点,在高速公路视频监控等相关行业有着很好的应用前景。     

融合媒体时代分布式对象存储系统的应用探索

融合媒体是当前传媒领域最为热门的话题之一,行业也不再局限于传统广播电视台、电台、报业,随着媒体能力、党建政务能力的迅速提升以及民生增值等用户需求的迫切发展,同时伴随着云计算、大数据、4 K、5 G、AI等技术的成熟度提升,融合媒体发展势头迅猛,业务形态快速变革,对于企业IT架构的挑战愈发增多,在这其中对企业存储系统的挑战尤为凸现,海量非结构化数据的增多,多业务系统之间数据及服务的交互增多,对于分布式存储系统的需求程度越来越高。针对媒体行业业务发展特点,对分布式文件存储与分布式对象存储的发展做了简单梳理,对于目前笔者所在的业务单位融合媒体云平台做了简单介绍,并对分布式对象存储系统对于融合媒体时代的应用,做分析梳理,意图寻找融合媒体背景下分布式存储系统的建设方向。     

分布式存储系统中数据修复的自适应流控机制

要大规模分布式存储系统中存在大量的数据迁移和数据修复任务,一方面要尽量缩短数据修复时间以降低数据丢失风险,另一方面需要避免这类任务对正常业务的服务质量造成冲击。针对该需求,文中提出一种自适应的数据修复流控机制。通过周期性的相对负载变化检测来动态调整修复流量大小,并根据数据危险级别和全局负载信息决定修复任务优先级。实验表明,该方法不仅能够提高大规模分布式存储系统的数据修复效率,避免对正常业务性能造成明显冲击,还具有自适应的优点。     

浅谈大数据在运营商中的应用

近年来伴随云计算和大数据的发展热潮,数据作为一种无形资产的价值正在日益得到社会广泛认可,在投身大数据的众多玩家中,电信运营商无疑是最为特殊的。庞大的网络规模和用户基础,提供了最全面的大数据样本;语音经营向流量经营的转型需求,以及来自互联网企业和OTT业务冲击下的“被边缘化”危机,也使之具有推进大数据应用的迫切动力。文章结合大数据的技术现状以及电信运营商的数据特点,对大数据在运营商中的应用作了分析,提出了适合运营商的大数据应用解决方案。     

基于星际文件系统的分布式存储系统设计

为了构建更为安全和高效的分布式存储系统,本文结合了分布式存储技术和星际文件系统(IPFS)。加密后的数据被存储在IPFS中,使用Merkle DAG构建数据之间的逻辑结构。单一的IPFS文件存储系统安全性并不高,用户存储的数据信息有可能会受到IPFS本地节点管理者的修改,利用分布式存储的一致性原则使该系统实现了数据可溯源、防篡改等功能,并有效保护了用户的数据安全。同时,结合负载均衡技术使本系统拥有处理大用户访问量的能力,可以更好地分配数据请求和存储,从而提高了系统的读写文件速度,增加了系统的稳定性和可靠性。采用分布式存储技术与IPFS构建的新型分布式存储系统,可以实现数据的安全存储和高效读取。未来,IPFS有望超越HTTP协议,为构建更好的互联网生态提供支持。     

安全分布式存储系统研究

现有数据容灾备份机制无法满足一些机密数据的特殊存储需求。文章提出了实现分布式安全存储机制的系统框架,设计了元数据服务器、存储服务器集的结构以及数据更新机制。此外,对系统安全性进行了考虑,实现了基于交叉校验和的安全IDA编码方案,可以有效防止用户非授权访问和存储服务器发生拜占庭失效。实验结果表明,方案在系统安全性和计算开销方面有较好的折中,可解决特殊应用的需求。     

基于HBase的分布式海量小型文件存储系统

随着互联网公司的业务不断发展,企业的大量数据以非结构化的形式存在,非结构化数据常常以小型文件为主,不仅体量大,而且分散性高,因此海量小型文件存储面临着存储性能和访问效率较低等问题。分布式小型文件存储系统是指在集群服务器的硬件存储资源环境下,对小型文件保存、读取和修改进行统一管理的系统。文章基于HBase实现了一个分布式小型文件存储系统,该文件系统有超强的处理海量小型文件的能力,同时有着良好的扩展性、容错性和稳定性,可以更好地支撑互联网企业的业务发展。     

关于分布式存储应用技术的应用

随着我国计算机信息化建设的不断推进,互联网数据规模越来越庞大,传统的数据存储技术已经难以满足用户的使用需求。目前,我国已经有很多企业开始应用分布式存储系统,分布式存储可以对大量的数据进行存储与管理,提高了信息存储与管理的效率,同时降低了信息管理的成本。但现有的分布式存储系统仍然存在较多的缺陷,本文将深入地分析分布式存储技术的特点与应用,并根据使用需求提出可行的应用方案。     

一种分布式编码算法在云存储中的应用

在云存储中为保证数据的完整可靠,必须采用冗余备份的方式存储数据.为了更好的发挥存储节点的作用,在分析现有的冗余方式基础上提出了一种分布式编码算法.在新的冗余方案中编解码操作在各存储节点并行完成,而不需要将整个数据文件集中进行编解码,充分发挥了分布式系统优势.通过实验仿真验证了方法的可行性,大大提高了数据存储速率,提高了数据可用性,改善了系统性能.     

分布式存储在媒资系统中应用的可行性分析

当前,海量数据产生伴随着高并发访问,对传统的存储方式提出了挑战,因此需要通过别的技术手段来解决存储方面所面临的问题。本文通过分析分布式存储的优劣势,结合媒资系统的特点,分析分布式存储在广电媒资行业应用的可行性,以更好地支撑媒资业务的发展需要。     

分布式集群存储架构在电视台非编网中的应用

非编网系统中,存储系统的容量决定了非编网可以存储的节目素材总量,存储系统的带宽瓶颈决定了非编网可以支持的非编客户端数量,更重要的是,存储系统的安全性和稳定性对非编网络的安全性影响较大。本文所述的非编网存储系统采用分布式集群存储架构,在安全性、性能及可扩展性方面都得到了很大提高,对电视台非编网、融媒体系统、媒资系统的建设具有一定的借鉴价值。     

分布式存储技术及在运营商业务中的应用

分布式存储系统技术的发展、功能的完善为数据爆炸式增长带来的存储需求提供更为理想的存储解决方案.通过对分布式存储系统特点的说明,分布式存储技术的介绍,以及CAP定理在分布式存储系统中的理论依据,分析其在运营商业务系统应用中的适用性.并且举例说明运营商业务中适用分布式存储系统的应用场景,以及对分布式存储系统提出技术展望.     

基于模糊门限的分布式数据存储系统

如何在高速发展的网络环境下构建大规模、高性能、高可靠性及高可扩展性的分布式存储系统,是分布式存储技术面I临的新发展课题。利用Shamir门限方案分割秘密方法的重要思想对共享数据进行分割,并将得到不同的份额再根据模糊数学中的隶属度来构造出子数据集,而后将子数据集分发给各参与者进行存储,根据用户的需要进行数据恢复。核心是把分割生成的子数据扩充生成子数据集,以此来增强数据恢复的可靠性。     

动态数据安全审计云存储系统研究

提出支持数据去重的数据持有性证明方案,该方案改进了原有数据去重中利用MD5值冒领原数据使用权的安全问题,并且引入可信第三方对不同文件的验证密钥进行管理,避免了文件标签的重复计算,同时利用额外的本地存储减少了时间消耗和通信代价。针对文件级云存储,设计了基于索引的动态数据持有性证明方案,并且针对之前方案中存在文件I/O对验证时间的影响,采用B+树多级索引对文件做查询优化。实验结果表明,该方案与传统方案相比,针对数据去重场景大幅度地减少了存储开销,降低了文件级的更新操作时间复杂度。     

在数据网格环境中可靠获取分布式数据的方法

为了保证数据密集型网格中的数据的可获取性，采用对数据资源增加存储副本的方法，提出了一种数据密集型网格环境下的大数据分片存储及散发方法，并设计了一种数据自动复制及散发模型。初步实验表明该方法能够以较小的系统代价大幅度提高数据的可获取性。     

分布式存储系统中容错技术综述

互联网、5G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战。大规模分布式存储系统以其海量存储能力、高吞吐量、高可用性和低成本的突出优势取代了集中式存储系统成为主流系统。由于分布式存储系统中节点数量庞大,经常会产生各种类型故障,从而导致节点失效情况频发。因此,必须采用容错技术来保证在部分存储节点失效的情况下,数据仍然能够被正常读取和下载,具有容错能力且节约存储资源的分布式存储编码成为大数据时代重点研究的核心技术之一。讨论了大数据背景下存储与可靠性的问题,从而引出数据容错对分布式存储的重要性。阐述了传统的2种数据存储容错技术,即多副本机制和MDS码。重点分析了3种主要的分布式存储编码,即再生码(RGC)、局部可修复码(LRC)和Piggybacking编码的基本原理、优缺点以及发展现状。总结对比了这5种数据容错技术的性能差异。面向数据的容错存储,针对存储中的节点修复问题,为大数据和移动数据的分布式存储编码提供理论基础,为海量数据的高效、可靠存储提供技术支撑。