一种海量军事信息的数据云管理系统

采用云计算的思想与技术平台,针对军事数据海量和异构的特点,研究了网络环境下跨域、异构、动态、海量数据组织与服务提供等关键技术,构建了对海量军事数据云存储的管理系统.测试结果表明,该系统能较好地解决海量军事数据云的分布式存储、透明访问和并发处理等问题,为民用技术在军事上的应用进行了有益的探索.     

基于HADOOP分布式系统的数据处理分析

各种信息数据在迅猛增长,云计算技术的出现为海量数据的处理提供了良好的解决方案。Hadoop 是云计算技术中分布式并行编程框架的开源实现,它利用集群的并行计算和存储能力,高效的完成对海量数据的处理,云计算能够为社会创造出更大的价值。最后通过Hadoop组织廉价的计算机资源搭建了一个分布式云计算平台,具有高容错、高效性、高扩展性等优势,并完成对数据处理能力和平台可扩展性进行性能测试与分析。     

面向海量数据的分布式用户态文件系统研究与设计

云计算、物联网、互联网技术的迅猛发展,使社会进入了大数据时代。随着数据量的指数增长,面对海量数据的高效存储与访问成为目前人们面临的主要问题。使用分布式存储作为底层数据存储系统,基于用户空间文件系统fuse,结合MongoDB数据库管理元数据,研究设计出一种面向分布式存储的用户态文件系统。相对于传统分布式对象存储系统的数据访问,设计的文件系统具有很高的灵活性和可扩展性,同时对于用户有着可操作性强、易于管理等优点,使其更适用于现代海量数据的访问与管理。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

以混合存储模型实现云计算平台对电信海量数据的处理

利用云计算平台获取海量存储空间和弹性计算能力是当前学术界研究的重点和产业界应用的方向。文章提出的海量数据分布式处理模型,基于混合型数据存储,实现一种以数据为中心的、计算密集型的、高经济性云计算平台。实践证明,在海量数据处理方面,该模型可以很好发挥关系数据库和非关系数据库的优点,具有良好的参考示范价值。     

挖掘大数据的价值 深化媒体的内容经营

BigData“大数据”是继云计算、物联网之后信息产业又一次颠覆性的技术变革[1]。大数据所涉及的领域相当广泛．包括：海量数据挖掘、大规模分布式存储与计算、社交网络行为分析、商业趋势预测等等。在互联网、电子商务等领域．一些领头企业．如谷歌、亚马逊、淘宝．已经开始理解并且探索如何以新的方式处理并分析海量的信息．并且取得了突破性的成果。     

基于云计算的海量网络流量数据分析处理及关键算法研究

为了应对日益增长的网络流量数据量和对网络安全的需求,提高网络流量数据的处理效率和准确性,文中从云计算架构出发,设计并搭建了一个能承载大规模网络流量数据处理的云计算平台。基于该平台,采用了分布式存储、并行计算和机器学习等技术,对海量网络流量数据的预处理、聚类分析、异常检测等关键环节进行了研究。结果表明,基于云计算的海量网络流量数据分析处理的关键算法取得了显著成果。通过分布式存储和并行计算技术,实现了对海量网络流量数据的高效读写和处理。在预处理阶段,针对流量数据进行采样和滤波,减少了数据量,并保留了关键特征。在聚类分析方面,利用机器学习算法实现了对网络流量的分类和统计,通过构建模型、训练和优化算法,实现了对网络攻击和异常行为的准确识别和及时报警。     

智能电网海量非结构化数据分布式存储研究

为了加快非结构化电网数据存储的译码速率,从而促进电网主机分布式存储能力的提升,提出智能电网海量非结构化数据分布式存储方法。定义MongoDB数据格式的方法,对电网信息实施复制处理,联合分布式存储架构完成智能电网海量非结构化数据库搭建。在此基础上,分析电网数据的特性能力,通过信息增删排查的方式,确定最终的分布式查询语句,搭建智能电网海量非结构化数据分布式存储模型,实现数据的分布式存储。与局部修复型存储编码方法相比,在分布式存储模型作用下,电网主机的存储译码速率最大值能够达到54.5 MB/s,可在实现非结构化电网数据快速转码的同时,提升电网主机分布式存储能力。     

基于云计算的海量图片存储管理系统研究

随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

基于微软云计算存储系统及技术服务平台研究

云计算技术的兴起和发展,正逐渐改变人们使用服务和资源的方式,同时也成为计算机应用领域的研究热点。云存储可实现云端海量数据的高效存储,是云计算的重要基础云存储可实现云端海量数据的高效存储,是云计算的重要基础。对如何保证云存储系统的服务质量及可靠性,对于保证海量用户的访问效率,维护海量数据存储的可用性及用户技术服务平台的开发有着重大意义。     

一种安全性的海量数据处理平台设计与实现

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式,以Map Reduce、Spark和Storm等作为底层数据处理方式,向用户提供了统一的接口,同时使用Kerberous进行权限控制,保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

桥梁健康监测海量数据预处理及存储策略研究

针对桥梁健康监测的海量数据在预处理及存储方面的问题,结合当前大数据的分布式处理思想、数据流的滑动窗口处理技术以及小波包降噪方面的优势,提出了一种桥梁健康监测海量数据预处理及存储模型,该模型不仅可以有效保存桥梁监测的原始数据,而且把数据的预处理融入其存储过程,并可根据传感器是否工作而进行报警。结果证明了该模型应用在桥梁健康监测海量数据预处理及存储上的可行性。     

云计算分布式缓存技术在海量数据处理平台中的应用

随着云计算和大数据时代的到来,在满足用户对系统访问量、访问速度、访问安全的要求的同时,系统必须实时准确地处理迅猛增长的海量数据,而传统的缓存技术无法满足海量数据处理和用户高并发访问的需求.分布式缓存技术是最好的高性能缓存解决方案.本文研究如何利用云计算下分布式缓存技术在海量数据处理平台中解决该问题,分析研究了分布式缓存的关键技术、分布式缓存的一致性和分布式内存数据管理.在此基础上,分析并设计了分布式缓存系统的部署和整体架构.并将该分布式缓存系统的设计模式应用在某团购网上,进行了POC测试.测试结果证明分布式缓存技术可以缓解服务器的压力,解决海量数据和超高并发数据访问所带来的问题,提升了系统的性能、访问速度、可靠性以及降低响应延迟.     

用大数据武装”云”:基于云计算的大数据处理技术

随着互联网、移动互联网和物联网的发展,我们已经迎来了数据大爆炸的时代,数据的快速增长带来了数据存储、处理、分析的巨大压力,而大数据技术(Big data)的引入,不但满足了系统功能和性能的要求,带来良好的可扩展性,降低了IT部署的成本,还拓展了数据智能分析的应用领域。同时,大数据分析与云计算的发展密切相关,云计算是大数据处理的基础,而大数据技术是云计算的延伸,云计算的分布式存储和计算架构为大数据的快速处理和智能分析提供了一种合适的解决方案。本文将探讨建立在云计算基础上的大数据处理技术,包括分布式计算框架、分布式文件系统、大数据管理技术、实时流数据处理、机器学习以及可视化技术等。     

基于云计算的数据挖掘平台架构及其关键技术研究

云计算是一种新兴的技术,它与普通计算不同,属于超级计算方式,它处理的是海量的数据信息。基于云计算的数据挖掘本质就是利用网络中的空闲资源,获取超强的计算和存储能力,优化整合资源,通过组合不同节点的数据模型,获得全局数据。文章基于对云计算的分析,介绍相关数据平台,并对其关键技术进行阐述。     

云计算技术分析及其展望

云计算是在传统的数据存储、分布式计算和网络技术等计算机技术的基础之上发展而来的,它旨在分布式存储和处理海量数据,以方便人们按需及时获取相应服务。在当今这个数据信息"大爆炸"的时代,云计算的实现和发展日益显现出了它的强大存储计算能力和广泛应用前景。比较了现有的云计算的概念并给出新的理解,分析了云计算的服务模式和系统结构,总结了云计算的关键技术,阐述了云计算技术面临的问题,介绍并展望了云计算的国内外发展应用及其广阔前景。     

云数据管理研究综述

作为一种全新的互联网应用模式,云计算已成为人们未来获取服务和信息的主导方式。随着云计算中大数据集高效管理、海量数据中特定数据的快速定位、云端海量数据精准查询等迫切需求的日益显现,Web数据管理正逐步向云数据管理阶段发展,一个新的云数据管理研究领域正逐渐形成。在云计算技术的基础上,提出了云数据管理系统的概念,深度剖析了BigTable、Hbase、Sector/Sphere等当前互联网主流云数据管理系统的基本原理,最后指出了云数据管理领域的主要研究方向。     

云计算技术在泛在网络中的应用前景分析

泛在应用的广泛性与数据海量化等特征需要一种高效的信息处理手段来提供技术保证。本文首先分析了泛在网络及其应用平台对各类计算与网络资源的初步要求,对当前云计算技术的分布式处理能力进行了评估,并对云计算在未来泛在应用的研究方向提供了参考建议。同时,提出了一种基于云计算技术的泛在应用体系架构,为云计算技术的研究提供了全新的应用领域。