关于机会网络中分布式存储机制探讨

本文从机会网络的定义和特点入手,介绍了常用的分布式存储方案和设计原则,并以此为基础,从存储系统框架的构建、分布式存储系统的工作过程和消息源感知的分区协作缓存这三个方面入手深入探讨了机会网络中分布式存储机制的实现。     

一种广域网环境下的分布式冗余删除存储系统

分布式存储系统中存储了海量的数据,这些数据中存在着大量的冗余,将冗余数据删除技术应用到分布式存储系统当中,用来发现并去除数据中的冗余,可以有效地提高存储空间以及网络带宽利用率。文章设计并实现了广域网环境下的分布式冗余删除存储系统——Aegean Store。该系统在数据被上传之前将冗余数据去除,达到提高存储资源和网络资源利用率的目的,并且进一步地降低存储系统的成本,在保持分布式系统固有的容灾特性的同时,可提高存储系统的可扩展性和整体性能。     

MPI＋OpenMP混合编程模型在大规模三对角线性方程组求解中的应用

分布式共享存储系统的特点是每个节点内是共享存储的,而节点间是分布式存储.为了更好地利用这种多级体系结构,讨论了MPI＋OpenMP混合编程模型的性能及实现方法,建立了大规模三对角线性方程组的MPI＋OpenMP混合并行算法,并在上海大学高性能计算集群上与单纯MPI算法进行了性能方面的比较.结果表明,MPI＋OpenMP混合并行算法具有更好的加速比和扩展性.     

基于XML—RPC的海量存储管理系统的设计与实现

海量存储系统是由管理节点、数据节点通过高速交换网络互联形成的分布式存储系统。它支持CIFS、NFS、WebDAV等多种访问协议,具有高性能、高可用、高扩展等特性,是设计和实现管理系统时面临的挑战。为了实现基于Web的管理系统,针对该系统的分布式结构和丰富特性,本文提出了基于AJAX和XML—RPC技术的海量存储管理系统架构,并描述了其管理系统的主要组成部分和工作过程。     

对象存储系统中基于监控的动态负载均衡方法

负载均衡在存储系统领域一直是研究的热点,但在分布式的对象存储系统中的应用与实现方面仍存在缺陷.针对对象存储系统中负载均衡方法大都依靠经验或有限的动态配置指导自适应算法进行、在负载再平衡过程中无法控制迁移节奏,算法实现复杂,未充分考虑存储节点实时负载状况等不足,提出了一种基于监控的动态负载均衡方法.该方法将监控系统引入对象存储系统,完成对各存储节点负载状况的实时感知;根据节点负荷、异构性等因素进行综合估计来触发迁移算法,避免了依靠经验及预设值指导算法执行;利用监控系统灵活的自定义事件触发机制和故障自动化处理机制,设计负载迁移策略,动态完成节点间的负载再平衡,降低算法实现复杂难度;使用监控系统动作执行过程中的多步操作顺序流控制完成一次一迁移,有效掌控负载迁移节奏.将该方法应用到自主研发的对象存储系统CSCloud进行验证的结果表明,该方法能及时获取集群中各节点的负载信息,并实现及时、准确的动态负载平衡,为对象存储系统和其他分布式存储系统实现负载均衡提供了新思路.     

分布式存储技术及在运营商业务中的应用

分布式存储系统技术的发展、功能的完善为数据爆炸式增长带来的存储需求提供更为理想的存储解决方案.通过对分布式存储系统特点的说明,分布式存储技术的介绍,以及CAP定理在分布式存储系统中的理论依据,分析其在运营商业务系统应用中的适用性.并且举例说明运营商业务中适用分布式存储系统的应用场景,以及对分布式存储系统提出技术展望.     

内蒙古广播电视台融媒体云平台存储系统扩容分析

本文通过分析内蒙古广播电视台融媒体云平台存储资源的现状及需求、存储系统扩容方案和关键技术点,说明存储系统扩容的必要性。并就如何实现各类数据的存储与共享,最终使融媒体云平台存储系统扩展升级为高可靠性、高安全性、高并发访问吞吐量、可在线弹性扩展的云存储系统进行探讨。     

基于DSM实时仿真通信平台的设计与实现

分布式环境下的仿真技术是在虚拟逼真环境下对系统及其周边环境进行协同仿真验证的有效手段．文章首先论述了实现DSM系统的一些概念和原理,重点阐述了支持此平台及其关键技术的实现。该平台在“鱼雷靶场信患融合和综合指控显示系统”的科研项目中得到实际应用,应用结果表明基干DSM构建的实时仿真通信平台具有较高的可扩充性、通用性、方便性。     

门限Byzantine quorum系统及其在 分布式存储中的应用

针对纠删编码和门限方案在分布式存储中的应用,提出门限Byzantine quorum系统(TBQS)的概念.该系统与数据分离算法相结合,可以构造可靠性较强的存储系统,当故障服务器个数不超过服务器总数的1/4时,利用TBQS设计存储策略可以实现容错和无间断服务.讨论了TBQS的存在性,构造了两类TBQS并对其效率进行分析,在此基础上设计了基于TBQS的分布式读写协议.     

基于星际文件系统的分布式存储系统设计

为了构建更为安全和高效的分布式存储系统，本文结合了分布式存储技术和星际文件系统(IPFS)。加密后的数据被存储在IPFS中，使用Merkle DAG构建数据之间的逻辑结构。单一的IPFS文件存储系统安全性并不高，用户存储的数据信息有可能会受到IPFS本地节点管理者的修改，利用分布式存储的一致性原则使该系统实现了数据可溯源、防篡改等功能，并有效保护了用户的数据安全。同时，结合负载均衡技术使本系统拥有处理大用户访问量的能力，可以更好地分配数据请求和存储，从而提高了系统的读写文件速度，增加了系统的稳定性和可靠性。采用分布式存储技术与IPFS构建的新型分布式存储系统，可以实现数据的安全存储和高效读取。未来，IPFS有望超越HTTP协议，为构建更好的互联网生态提供支持。     

基于联邦学习的分布式数据安全融合方法研究

为满足在可用性、实用性的前提下实现大数据安全融合共享,设计了基于联邦学习的分布式数据安全融合模型,并运用差分隐私、安全多方计算、同态加密、函数加密四种方法进行实现,以保证分布式数据融合的安全性和可行性.     

基于MapReduce模型的并行科学计算

随着多核处理器日渐普及,开发高效易用的并行编程模型成为新的挑战,MapReduce是Google开发的一种并行分布式计算模型,在其搜索业务中获得了巨大的成功,将MapReduce模型引入科学计算领域,并结合实例阐述了如何使用面向高性能计算的HPMR/HPMR-s系统在分布式或共享存储系统中采用统一的方式描述并实现并行科学计算.     

高校数字图书馆分布式数据存储系统设计与功能介绍

本文以高效数字图书馆建设过程中分布式数据存储系统为研究内容,深入分析新时期数字图书馆的功能定位,以及区分不同数据存储系统的优缺点,讨论分布式数据存储系统关键技术构成,在完善高校数字图书馆分布式数据存储系统功能的同时,使其系统架构更加科学,从而为广大师生提供高质量的阅读服务。     

面向灾备的高性能可信存储系统设计

针对当前灾备存储系统数据冗余度高的不足,文中提出了将纠删码技术与P2P技术相结合的可信存储系统架构。并设计了与纠删码技术相匹配的分布式散列表,使得系统更快速有效的定位和获取资源;实现了比传统P2P存储系统更完善的管理机制,克服了其存在废弃数据的缺点,能够彻底的删除废弃文件,有效利用存储资源。文中还提供了有效的数据恢复机制,即使灾难来,临,部分存储服务器损坏,系统也能恢复丢失的数据。     

大洋制作网和苹果制作网的耦合及应用——基于Fibre Channel方式深度耦合的实现(上)

介绍了河北电视台高清制作包装网络系统的构成,对系统中两个存储系统通过FC链路进行互联的理论基础和具体实现方法做了详细的阐述,并对素材的共享方式进行了说明。     

云存储系统架构与关键技术研究

研究云存储结构模型及优势的基础上,分析云存储系统设计时应考虑的基本目标和扩展目标,提出满足设计目标的集群架构和系统结构,对实现云存储系统文件同步及重复数据删除等关键技术进行分析,对云存储系统的设计实现有一定借鉴意义。     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

异构分布式存储系统中部分重复码的构造

部分重复(FR)码因对故障节点提供精确无编码修复,能够提高分布式存储系统的修复效率和可靠性。异构分布式存储系统中FR码的构造更接近于存储数据的实际应用,即每个节点的存储容量和数据块的重复度不同。考虑到用户访问数据的不均衡性,基于数据热度不同重复度不同的思想,文章提出了基于循环置换矩阵(CPMs)与映射置换矩阵(APMs)的异构分布式存储系统中部分重复码的构造。性能分析表明,异构分布式存储系统中的部分重复码可实现存储系统中故障节点的快速修复,具有较低的修复局部性;相对于RS编码以及简单再生码,部分重复码具有更优的修复带宽开销和修复复杂度。     

基于云平台的海量通用数据分级存储系统构建与实现

中国蓝云分布式数据中心通用数据分级存储系统项目目前已经建成，并经过各种功能和性能测试，达到了项目建设目的和使用要求。本文简要分析了广播电视媒体行业近线存储模式及存储介质选择的问题，主要阐述了中国蓝云平台海量通用数据分级存储系统基本架构、功能及设计亮点。