分布式web日志处理平台的研究与实现

从日志信息采集、处理、存储等方面研究了分布式技术在日志处理平台的应用。使用Flume进行采集历史数据以及实时日志数据,并将收集的数据使用Kafka来缓存进行离线与实时清洗,最后将日志数据存储到数据库中,进行数据分析以图表的形式展示,做出相应策略从而提高效益。     

分布式手机信令数据采集与分析技术研究

针对智能手机端分布范围分散导致的大规模信令数据存储和实时分析处理困难的问题,文中设计了一种基于分布式计算的手机信令数据采集与分析技术方案。基于分布式信令数据采集技术结构,方案集成了4种分布式数据库以实现分布式信令的数据存储。另外,结合Spark技术,所设计的分布式信令数据分析模块可以实时对采集的信令进行分析和整合。该分布式信令数据采集与分析方案可以适用于大规模手机信令数据的采集和处理,为分布式信令监测解决方案的设计提供了参考。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

基于星际文件系统的分布式存储系统设计

为了构建更为安全和高效的分布式存储系统，本文结合了分布式存储技术和星际文件系统(IPFS)。加密后的数据被存储在IPFS中，使用Merkle DAG构建数据之间的逻辑结构。单一的IPFS文件存储系统安全性并不高，用户存储的数据信息有可能会受到IPFS本地节点管理者的修改，利用分布式存储的一致性原则使该系统实现了数据可溯源、防篡改等功能，并有效保护了用户的数据安全。同时，结合负载均衡技术使本系统拥有处理大用户访问量的能力，可以更好地分配数据请求和存储，从而提高了系统的读写文件速度，增加了系统的稳定性和可靠性。采用分布式存储技术与IPFS构建的新型分布式存储系统，可以实现数据的安全存储和高效读取。未来，IPFS有望超越HTTP协议，为构建更好的互联网生态提供支持。     

电信运营商“互联网+”业务中的分布式存储技术研究

随着互联网技术的成熟,各种类型的"互联网+"业务应用得到快速发展。种类多、数量大是互联网数据的显著特点。传统存储由于其在元数据管理、访问性能、存储容量、横向扩展等方面的局限性,在进行海量小文件处理时已显吃力。为满足井喷式互联网数据存储的需求,形式各样的分布式存储系统应运而生。文章对分布式存储技术进行研究分析,对比各类分布式存储系统的优劣,结合一些典型的电信业务简要论述哪些应用适合传统存储方式,哪些应用适合分布式存储方式。希望能对电信运营商"互联网+"业务系统建设起到抛砖引玉的作用。     

云计算环境下的分布式存储技术研究与应用

随着云计算、大数据和物联网等技术的广泛应用,传统存储阵列已难以满足快速增长的数据存储要求。分布式存储在大规模数据处理能力、扩展性、可维护性、可靠性,以及成本考量上都有更出色的表现,逐步成为公有云中存储产品的主流技术实现方式。本文首先介绍了存储分类,其次详细阐述中国移动公众服务云的存储实践。     

面向PDM系统的数据存储结构优化技术

针对当前PDM系统在航空发动机制造业应用时无法高效处理海量数据存储吞吐的问题。文中提出了一种面向PDM系统的新型NoSQL分布式数据存储方案。该方案采用NoSQL数据库搭配Ceph分布式文件处理模块作为存储结构,并设计了基于Spark的MapSearch分步查询处理方法对数据进行读取和重构。实验测试结果验证了所提方案的可靠性,且与同类研究结果的数据相比,该存储方案进行数据写存和读取的时间分别减少了约20%及41.6%,传输速度提升了约70%,数据重构完整性的均值则为92%,为先进制造业的PDM系统存储结构设计提供了一种新思路。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

分布式光纤传感数据编码存储方法研究

现有分布式光纤传感数据存储方法由于节点分布较为广泛,节点故障致使数据丢失现象常有发生,无法适应现今分布式光纤传感技术的发展与应用,故提出分布式光纤传感数据编码存储方法研究.依据现今光纤传感数据存储需求,结合网络编码与云存储优点,搭建基于网络编码的数据云存储架构,以此为基础,选取纠删码形式对分布式光纤传感数据进行编码,以...     

大规模数据集的分布式索引机制研究

对大规模结构化半结构化数据集分布式存储环境下索引结构的建立进行了研究,提出了一种基于聚簇索引与分布式B 树的混合索引结构.该结构对数据集的输入,存储及查询等操作进行了定义,并分析了索引服务器与客户端的通信模型建立.由于对记录的主关键字与其他属性进行了不同处理,在各种记录检索情况下具有良好的性能.     

基于一致性哈希算法的电力企业分布式数据存储研究

由于电力企业存储数据量比较大,传统方法在电力企业分布式数据存储应用中无法保证电力企业数据的完整性和有效性,存在数据丢失量较大的问题,并且数据存储延迟时间比较长,存储速度比较慢,为此提出基于一致性哈希算法的电力企业分布式数据存储研究。将电力企业数据相应的时间标签当做是分布式数据存储的一个核心属性,根据数据时间标签对数据进行等价线序划分;利用一致性哈希算法计算数据哈希值和节点计算能力,将其作为依据将电力企业数据分组到相应节点上;利用存储模块构建电力企业分布式数据存储组织结构,并设计分布式数据存储逻辑结构,利用电力企业元信息表、参数元信息表以及索引表对电力企业数据进行分布式存储,以此实现了基于一致性哈希算法的电力企业分布式数据存储。经实验证明,设计方法存储数据延迟时间小于传统方法,而且数据丢失量小于传统方法,能够有效确保电力企业数据的完整性。     

一种海量军事信息的数据云管理系统

采用云计算的思想与技术平台,针对军事数据海量和异构的特点,研究了网络环境下跨域、异构、动态、海量数据组织与服务提供等关键技术,构建了对海量军事数据云存储的管理系统.测试结果表明,该系统能较好地解决海量军事数据云的分布式存储、透明访问和并发处理等问题,为民用技术在军事上的应用进行了有益的探索.     

云计算环境下的分布存储关键技术

在互联网及分布式技术不断发展的基础上,云计算越来越受到关注.云计算能够提供移动服务,即对于资源有限的设备,可以通过付费方式,通过互联网访问云计算资源池中的数据或其他服务.云计算的核心就是分布式存储,分布式存储是研究数据中心中数据的组织和管理模式.由于云计算数据中心中存储的数据规模巨大,数据失效问题严重,增加了云计算成本,也在一定程度上限制了云计算的推广和应用.本文从存储的扩展性、容错性以及降低存储能耗等角度分析云计算环境下的分布式存储关键技术.     

无线电监测系统信息汇聚中心设计研究

为了能够有效整合分散的无线电监测系统数据资源,为达到“状态全景共视、按需灵活调配、数据分类共享”要求,需要一种分布式汇聚与处理平台。本文首先分析了无线电监测系统信息汇聚中心的建设需求,然后设计了分布式汇聚与处理的总体架构,该方法以分布式汇聚存储处理为主,按需各级存储处理为辅;根据方向（东南西北）分别建设4个“信息汇聚与处理节点”;最后通过实际数据验证了本方法的可行性。该设计能够实现资源的高效共享和为自动化处理提供高效的数据环境,理论分析和实际数据验证结果表明该方法在基本不新建监测站的情况下,能够扩大各单位可应用监测站资源的数量,并且提升了各业务方向测向定位效果和范围。     

嵌入式系统中使用USB盘存储

由于多数数据采集设备、工控机及嵌入式系统没有安装USB标准接口,使得在USB数据存储方面一直没有很好的解决方案。北京先锋博创的MemMaster有效解决了USB移动存储应用难题。基本原理和关键技术MemMaster模块主要原理为USB-HOST技术。USB技术规范将使用USB进行数据传输的双方划分为两种角色:Host(主端)和Slave(从端),并且规定数据传输只能发生在Host和Slave之间。目前,USB Host功能角色被集成在各种类型的PC机(或以上层次机器)上,如笔记本电脑、台式机及服务器等。USB Slave功能角色集成在各种基于USB的移动设备上,包括US…     

分布式存储系统中容错技术综述

互联网、5G及其相关产业的飞速发展使我们迈入了大数据时代,存储海量数据将面临着巨大挑战。大规模分布式存储系统以其海量存储能力、高吞吐量、高可用性和低成本的突出优势取代了集中式存储系统成为主流系统。由于分布式存储系统中节点数量庞大,经常会产生各种类型故障,从而导致节点失效情况频发。因此,必须采用容错技术来保证在部分存储节点失效的情况下,数据仍然能够被正常读取和下载,具有容错能力且节约存储资源的分布式存储编码成为大数据时代重点研究的核心技术之一。讨论了大数据背景下存储与可靠性的问题,从而引出数据容错对分布式存储的重要性。阐述了传统的2种数据存储容错技术,即多副本机制和MDS码。重点分析了3种主要的分布式存储编码,即再生码(RGC)、局部可修复码(LRC)和Piggybacking编码的基本原理、优缺点以及发展现状。总结对比了这5种数据容错技术的性能差异。面向数据的容错存储,针对存储中的节点修复问题,为大数据和移动数据的分布式存储编码提供理论基础,为海量数据的高效、可靠存储提供技术支撑。     

面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

基于Android手机的可靠云存储系统的架构设计

本系统研究一种基于Android手机的可靠云存储服务器架构。文件在内部存储机制上采用分布式存储,文件采用冗余切片,数据加密,数据校验,分布式类文件系统等方法,分散存储到云存储服务器中,保证数据的高可靠性。     

云计算环境下网络空间数据分布式存储方法研究

针对传统的网络空间数据分布式存储方法存储空间小的情况,提出云计算环境下网络空间数据分布式存储方法,首先对网络中的空间数据进行划分,在此基础上,建立网络空间分布式存储数据库,把基本的网络空间数据进行存储,为满足大数据的需要,最后对空间数据库存储空间容量进行设计,提高了网络空间数据分布式存储的存储量。并通过实验对比证明,此次设计的网络空间数据分布式存储方法比传统的存储方法的存储容量高,满足了大数据的存储需求,具有一定的实际应用意义。     

基于分布式计算框架的机器学习系统分析

针对机器学习对大数据处理的消耗大量存储空间和时间的问题,提出利用对数据分区存储和机器学习对分区数据并行处理的方法,对分布式计算框架的机器学习系统框架和矩阵运算对数据处理进行研究,并分析机器学习的模型和数据集分布式处理的方法,实验仿真结果表明,通过对大数据集进行分布式存储和并行计算,提高了机器学习的效率和对大数据的处理能力.