云存储体系结构及其主要应用

云存储通过网络对分布式存储资源进行整合利用。网络运营商分别使用分布式文件系统、分布式对象存储和分布式表存储这三种存储技术来满足不同的存储需求。文章主要根据三种云存储技术的应用,列举目前市场上多种云存储服务,并且分析这些服务的功能和特性,最后分析云存储的发展趋势。     

基于Hadoop的分布式云计算/云存储方案的研究与设计

通过介绍云计算技术的发展背景以及目前云计算技术的几种技术架构,对分布式云计算/云存储技术进行了详尽的研究,包括分布式云计算/云存储的整体架构、分布式文件系统、分布式数据库、分布式数据仓库、分布式同步软件等,并通过与并行关系型数据库、MPP数据库的对比,分析了基于Hadoop的分布式云计算/云存储架构的竞争优势,基于Hadoop的分布式云计算/云存储将更有效支撑未来电信运营商业务的发展。     

市县级广电云平台建设和演进方案研究与实践

本文基于行业云(混合云)体系、分布式存储和SDN弱控方式等关键技术方案的分析,重点介绍了苏州广电云平台的建设,以及从私有云平台向混合云平台,从集中式存储向分布式存储,从SDN强控向SDN弱控的广电云平台技术演进过程,为市县级广电公司提供了一种低成本、高安全、高可用性的云平台建设和演进方案。     

空气甲醛分布式云监测系统设计

针对目前空气甲醛测量系统中存在的测量精度低、监测范围小以及数据处理能力弱等问题,提出并构建了一个高精度的空气甲醛分布式云监测系统。首先研究甲醛浓度参数与电解电流之间的数学关系,在此基础上设计高精度甲醛测量终端,云平台通过GPRS网络,查询并存储多个分布在不同区域的甲醛测量终端的测量数据,使空气甲醛分布式云监测系统对 各个节点的数据进行大数据量的实时存储和分析。实验结果表明:分布式甲醛云监测系统可以实现分辨率为0.0134ｍｇ/ｍ３的甲醛浓度测量,实现了移动互联网所覆盖范围内的多节点的分布式测量以及web端和移动端的实时数据调用。     

分布式光纤传感数据编码存储方法研究

现有分布式光纤传感数据存储方法由于节点分布较为广泛,节点故障致使数据丢失现象常有发生,无法适应现今分布式光纤传感技术的发展与应用,故提出分布式光纤传感数据编码存储方法研究.依据现今光纤传感数据存储需求,结合网络编码与云存储优点,搭建基于网络编码的数据云存储架构,以此为基础,选取纠删码形式对分布式光纤传感数据进行编码,以...     

具有可信约束的分布式存储因果一致性模型

目前,关于分布式存储因果一致性的研究领域中鲜有考虑安全风险的成熟方案.在混合逻辑时钟和HashGraph的基础上,结合可信云平台中的可信云联盟技术,提出了具有可信约束的分布式存储因果一致性模型(CCT模型).CCT模型在客户端、服务端分别设计了身份认证和一致性数据可信校验机制,并对云存储集群中数据副本之间同步数据的过程...     

一种基于云芯一号的分布式文件多维混合存储机制

近年来,硬件加速逐渐广泛用于分布式存储服务,各种存储服务的稳定性受到用户的额外关注。FPGA是最常用的硬件加速设备,用来对存储文件进行存储前的压缩和读取前的解压。长时间的压缩/解压工作,使得FPGA存在服务中断等不稳定因素。尽管存储服务中断并不像以前其他云服务中断那样具有灾难性,但它们的影响可能比以前更广泛。为了解决上述问题,文章提出了一种基于拥有自主产权的云芯一号加速卡的分布式多维混合文件存储机制。首次在多Hadoop集群中,考虑芯片温度、芯片频率、文件存储大小等三个方面的因素,结合层次分析法(AHP),进行多维度的存储节点选择。文章利用传统的软件压缩和其他FPGA加速卡作对比实验,实验结果表明本文提出硬件加速设备和所述多维文件存储机制可以有效地降低多Hadoop集群的宕机率,提高文件存储压缩率和集群中各个节点的利用率。     

基于HDFS的云存储在高校信息资源整合中的应用

研究如何将基于HDFS的云存储应用于整合高校信息资源,旨在通过合适的构建基于HDFS的云存储服务系统,解决高校的海量数据存储问题。通过对概念的解析,结合高校信息资源存储的特点,构建了一个低成本、高效率、高安全性的分布式信息资源整合解决方案,并给出了系统结构图。     

服务器应用场景性能测试方法标准解读

围绕GCC 7001—2020《服务器应用场景性能测试方法 分布式存储》,从行业发展趋势、标准主要内容、标准实施意义及展望等方面进行解读。详细阐述了服务器在对象存储、块存储、文件存储3种典型存储方向上的性能测试用例选择依据、测试组网、测试方法等标准要点,为测试机构、服务器厂商及用户了解分布式存储场景服务器性能测试标准提供参考。     

大数据环境下的海量非结构化信息处理

文章针对大数据环境下的非结构化数据的特性和存储现状进行分析,运用分布式云存储理论,以及分布式技术和软硬件一体化原理,提出一个务实的高性能、可伸缩、易管理的分布式海量非结构化信息处理解决方案。     

发布/订阅系统中的历史数据分布式存储算法

在分析当前发布/订阅系统在历史数据存储方面相关工作的基础上,提出了一种利用系统中的存储代理对历史数据进行分布式存储的算法.算法将存储代理组成覆盖网,利用一致性哈希定位主题元数据位置,主题数据分段存储在存储设备上,并采用文件索引、并行读取等方法来提高数据存取性能.在对比实验中,验证了算法在负载均衡和扩展性方面的优势.     

分布式存储系统中容错技术综述

互联网、5G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战。大规模分布式存储系统以其海量存储能力、高吞吐量、高可用性和低成本的突出优势取代了集中式存储系统成为主流系统。由于分布式存储系统中节点数量庞大,经常会产生各种类型故障,从而导致节点失效情况频发。因此,必须采用容错技术来保证在部分存储节点失效的情况下,数据仍然能够被正常读取和下载,具有容错能力且节约存储资源的分布式存储编码成为大数据时代重点研究的核心技术之一。讨论了大数据背景下存储与可靠性的问题,从而引出数据容错对分布式存储的重要性。阐述了传统的2种数据存储容错技术,即多副本机制和MDS码。重点分析了3种主要的分布式存储编码,即再生码(RGC)、局部可修复码(LRC)和Piggybacking编码的基本原理、优缺点以及发展现状。总结对比了这5种数据容错技术的性能差异。面向数据的容错存储,针对存储中的节点修复问题,为大数据和移动数据的分布式存储编码提供理论基础,为海量数据的高效、可靠存储提供技术支撑。     

分布式存储系统在通信运营商云计算资源池的应用研究

本文研究的主要内容是基于云计算的分布式存储技术,即云存储技术.本文结合作者工程实践,总结分析了分布式存储系统的特性以及在运营商云计算资源池的组网架构,介绍了分布式存储相关功能,并提出了部署建议和展望.     

一种分布式编码算法在云存储中的应用

在云存储中为保证数据的完整可靠,必须采用冗余备份的方式存储数据.为了更好的发挥存储节点的作用,在分析现有的冗余方式基础上提出了一种分布式编码算法.在新的冗余方案中编解码操作在各存储节点并行完成,而不需要将整个数据文件集中进行编解码,充分发挥了分布式系统优势.通过实验仿真验证了方法的可行性,大大提高了数据存储速率,提高了数据可用性,改善了系统性能.     

空间信息网络中基于LT码的分布式存储策略

针对空间信息网络(Space Information Network, SIN)节点存储资源严重受限及存储可靠性问题,该文提出一种基于LT(Luby Transform)码的分布式存储策略(Distributed Storage Strategy based on LT codes, DSSLT)。采用定向随机漫步机制,使得源数据包能够更快地遍历整个网络。在信息估计阶段利用基于ID的估计方法进行网络全局信息估计,使所有节点快速获得网络全局信息。合理的数据包选择机制使得最终编码度分布趋于期望的度分布。分析和仿真结果表明,与具有代表性的分布式存储策略相比,该方法大幅度减少了数据包传输时的随机漫步步长,同时提高了译码性能,简单易行。     

电信运营商“互联网+”业务中的分布式存储技术研究

随着互联网技术的成熟,各种类型的"互联网+"业务应用得到快速发展。种类多、数量大是互联网数据的显著特点。传统存储由于其在元数据管理、访问性能、存储容量、横向扩展等方面的局限性,在进行海量小文件处理时已显吃力。为满足井喷式互联网数据存储的需求,形式各样的分布式存储系统应运而生。文章对分布式存储技术进行研究分析,对比各类分布式存储系统的优劣,结合一些典型的电信业务简要论述哪些应用适合传统存储方式,哪些应用适合分布式存储方式。希望能对电信运营商"互联网+"业务系统建设起到抛砖引玉的作用。     

分布式存储在媒资系统中应用的可行性分析

当前,海量数据产生伴随着高并发访问,对传统的存储方式提出了挑战,因此需要通过别的技术手段来解决存储方面所面临的问题。本文通过分析分布式存储的优劣势,结合媒资系统的特点,分析分布式存储在广电媒资行业应用的可行性,以更好地支撑媒资业务的发展需要。     

云存储系统在高速公路视频监控中的应用探讨

随着监控视频质量不断提升,监控范围不断扩大,在满足监控市场实时视频显示的需求同时,传统集中式的视频存储,主要是文件式存储系统,将面临着诸多的技术挑战。而网络分布式云存储系统,在网络资源共享、分级分层存储方面具有突出特点,在高速公路视频监控等相关行业有着很好的应用前景。     

分布式存储在运营商中的应用与研究

对分布式存储从服务类型、技术流派、技术对比等各方面进行全方面分析，总结了分布式存储未来的发展方向，最后对运营商内部应用分布式存储提出了展望。     

Hadoop平台下基于内容的医学图像检索

针对海量医学图像存储及检索效率低的问题,该文提出利用Hadoop平台分别实现大量医学图像的分布式存储以及并行处理模式下的基于内容的医学图像检索。利用HIPI图像处理接口将医学图像上传到分布式文件系统(HDFS)中;然后,分别提取图像的形状以及纹理特征,并将其特征向量存储到HDFS中;最后,利用Map Reduce模型实现并行式检索并将图像检索结果按照相似度大小进行排序及显示。实验结果表明,在Hadoop云平台下大量医学图像的存储效率以及检索效率较高,且图像数量越多效率优势越明显。