云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

基于云计算技术的电信经营分析系统中对海量数据的研究

电信经营分析系统承担着决策支撑的重要职能,面对越来越多的海量数据,如何有效处理这些海量数据从而提取有价值信息是面临的一大突出问题,利用云计算技术解决这些问题是一种新的有效的途径。针对电信经营分析系统中(简称BASS)现有存储、处理和ETL算法的不足,结合云计算技术提出了分布式海量数据存储、Hbase海量数据管理、Map/Reduce编程模式、以及基于拆分机制的海量数据处理(简称SMB-DP)算法和基于任务运行时间和优先级的ETL任务调度(简称AGB-ETL)贪婪算法,本文着重从这几个方面对现有经分系统进行改进和优化。     

云计算及云数据管理技术研究初探

云计算及云数据管理技术是在传统的数据存储、分布式计算和网络技术等计算机技术的基础之上发展而来的,它旨在分布式存储和处理海量数据,以方便人们按需及时获取相应服务。云计算及云数据管理技术的实现和发展日益显现出了它的强大存储计算能力和广泛应用前景。本章介绍了云计算的概念及特征,分析了云计算及云数据管理技术的服务模式和系统结构,总结了云计算及云数据管理技术的关键技术,主要平台的实现,阐述了其面临的挑战,介绍并展望了以后的发展应用及其广阔前景。     

基于云环境下的海量大数据存储系统设计

云计算是目前国际和国内新兴的一项热门技术,正在给人们的生产生活方式带来深刻的变革;在分布式文件系统中,为了实现数据的可用性和持久性,数据通常被分割成大小相同的文件块,通过多副本的形式分布存储在不同地理位置;大型的云计算服务提供商拥有自己的数据中心,这些数据中心往往分布在世界的不同角落,数据以副本的形式分布在不同的地理位置可以实现更好的容错机制,从而提供高可用的持久化的数据存储;文章主要研究了海量大数据存储系统设计,系统设计以Hadoop为平台,提出了一种新的基于云计算环境的海量大数据存储设计方法,主要给出了文件存储方案设计以及副本方案设计等,为云计算海量数据存储与管理提供了一种可行的关键技术方案。     

探析云计算的海量数据存储模型

随着互联网技术的飞速发展,产生的数据越来越多,这就对数据存储提出了更高的要求。在云计算技术的基础上,采用虚拟化技术和Hadoop技术,构建基于云计算的海量数据存储模型,从而将海量数据设置在Hadoop平台上,利用Mapreduce进行处理,并将海量数据存储在虚拟资源池中,从而有效地提高数据存储效率。     

大数据下云计算技术在计算机网络安全存储中的应用

互联网在各个领域的普及与应用,促使海量数据日益增长。大数据时代的来临,极大程度提高了我国在社会发展中的技术水平。云计算技术作为大数据时代下的一种重要信息化技术,在保障计算机网络数据安全方面发挥至关重要的作用,实现了数据在计算机网络中的安全存储,保障了数据安全传输与存储。鉴于此,针对大数据下云计算技术在计算机网络安全存储中的相关应用进行深入研究,以期在计算机网络安全存储中实现云计算技术的高效应用,从根本上保障数据安全存储。     

云计算和云数据管理技术探讨

现代社会的经济和科技发展使得世界各国之间的交流增多,因此社会上的相关信息和数据也相应增多,现代社会的很多专家学者对于数据的处理和存储工作很重视,海量数据的存储和处理效率对于现代社会的发展也有重要的作用.在这种背景下,云计算技术和云数据管理技术出现,云计算和云数据管理对于信息领域有重要的作用,使其向着专业化和集约化的方向发展,改进了数据的处理效率,极大改进了数据的管理技术.在现代经济和科技飞速发展的时候,数据的管理工作也面临着很多的新问题和新挑战,对数据的管理工作就是影响社会和科技发展的重要问题,所以本文就针对云计算技术和云数据管理进行探讨,促进我国的数据信息存储和管理技术的提高.     

云计算安全管理手段研究

随着云计算技术和应用的快速发展,海量数据资源正在通过云计算数据中心存储和处理。与此同时,云计算的安全传输、存储和利用的需求也越来越迫切。所以,云计算的安全管理成为云计算安全问题的重中之重。该文从六个方面对云计算安全管理手段进行阐述,有效的解决云计算安全管理中的各类问题,为云计算的安全部署打下基础。     

基于云计算的Web数据挖掘的研究

为解决海量网络Web数据挖掘的瓶颈,分析了云计算和Web数据挖掘的关键技术,利用云计算在数据存储、数据管理、编程模式和虚拟化等方面的技术优势,构建了基于云计算的Web数据挖掘流程,为海量数据的挖掘及应用提供了新的思路和技术基础。     

云计算时代下的数据管理技术探讨

云计算为用户通过网络访问云端的数据、存储和信息服务提供了极大便利,海量数据的快速存储和快捷查询也成为制约云计算快速发展的瓶颈,面向云计算的数据管理技术正日益成为研究的热门领域。本文在分析云计算技术的基础上,结合主流的云数据管理方案,对云数据管理技术进行了进一步探讨,并对其未来发展趋势做出展望。     

一种分布式大数据管理系统的设计与实现

随着云计算、物联网、移动互联网等技术的飞速发展,海量数据在这些崭新的领域迅猛地生长着,大数据作为一项颠覆性技术,为处理海量数据提供了无限可能。而传统的关系型数据库的不再适用,导致了分布式数据库NoSQL的应运而生。针对大数据领域面临的种种现实难题,设计并实现了一种基于Hadoop和NoSQL的新型分布式大数据管理系统(DBDMS),其提供大数据的实时采集、检索以及永久存储的功能。实验表明,DBDMS可以显著提高大数据处理能力,适用于海量日志备份和检索、海量网络报文抓取和分析等领域。     

基于Hadoop云计算的MQT在烟草营销决策分析中的应用

文章简要介绍了MQT技术的概念、主要功能和实现方法,并结合国内某中烟公司营销决策分析系统建设项目的具体需求,提出了一种适合该项目的基于Hadoop云计算的MQT实现方法,该方法利用MQT技术以及云计算技术,对营销决策分析所依赖的海量基础数据进行灵活地多维度多度量分析计算,并实现原始基础数据和计算结果的云存储,极大提高营销决策分析系统的运行速度、数据吞吐量以及数据库服务器磁盘的利用率,为营销决策分析提供强有力的运算、存储支持,也为其他行业处理分析海量数据提供相关经验。     

云计算虚拟化技术的发展与趋势探讨

云计算是一种融合了多种计算机技术的数据处理计算模式,其技术关键在于海量数据存储与大范围数据管理。随着现代技术的发展,计算技术已逐渐从发展初期步入成熟期,并在我国诸多企业得到广泛应用。随着信息技术的快速发展,云计算的核心技术发生了相应变化。虚拟技术以灵活性高、快捷等特点,一跃成为了云计算的核心技术,而云计算也面临着全新的技术革新。基于此,阐述了虚拟化技术的概念,提出了虚拟化平台构成的安全威胁与防范措施,深入分析了Docker技术的优势与不足,详细概括了Docker技术对云计算发展的影响,并从虚拟化技术与容器技术并存、在虚拟机内运行Docker容器技术、以Docker容器为中心的云计算核心技术三方面,分析云计算虚拟化技术未来的发展趋势。     

基于云计算技术的海量信息分布式存储研究

面对海量信息的有效存储,为了保证存储信息的抽取和查询的效率,研究基于云计算技术的海量信息分布式的存储方法。采用GFS作为分布式文件系统和HDFS管理节点/存储节点架构作为分布式存储技术的依据,形成极大存储容量的计算机群,对信息实行并行处理;生成事实表,分析和处理不同维度和粒度的情况下的信息后,对其实行数据聚集;采用基于云计算技术改进ETL处理算法实行海量信息抽取,存储在数据库中,用户即可根据需求实行数据库信息查询。实验结果表明,该方法的存储性能较好,物理节点的增加会提高信息的插入效率,并且抽取后的信息信噪比较高,信息查询速度较快。     

云计算在智能电网调度中的应用

为解决传统电力系统中集中式计算平台海量数据流的存储和分析功能不足的问题,针对云计算在智能电网调度技术中的应用进行了研究。首先,对云计算技术在IT行业的发展进行阐述,对云计算的关键技术从虚拟化与快速部署技术、大规模分布式存储技术、资源调度技术、大规模多租户技术、海量数据处理技术以及大规模信息通信技术等方面出发进行介绍。其次,借鉴IT行业云计算技术,设计了基于云计算的智能电网计算平台以及基于云计算的智能电网互动式节能优化调度架构,以期推动云计算在电力系统中的发展,解决智能电网互动式节能优化调度算法方面的问题。     

水利地理信息云平台的探讨

如今基于GIS的水利应用往往存在海量数据的分布式存储杂乱、平台构建难度大、并发访问需求大等问题,要解决这些问题,可考虑将GIS与云计算相结合,利用云计算的弹性、多租户模式、易维护等特性,以及GIS的数据平台统一管理、空间数据存储方便、可共享性高等特点,构建水利地理信息服务平台。从云GIS基本理论出发,结合虚拟化技术及云的3种服务模式,提出江苏省水利地理信息服务平台的原型设计方案,并初步实现水利信息资源共享机制,旨在为今后地理信息系统在水利行业的建设摸索一条可行之径。     

云计算技术在电子文档管理的运用

云计算是一种全新的计算模式和网络应用服务。云计算技术在电子文档管理领域的运用,有助于计算机文档一体化管理的普及;利用统一平台,采集和存储文档数据,改善电子档案的利用服务环境,实现电子文档数据海量存储与云端备份,在电子文档资源建设中发挥重要的作用。     

云计算技术在网络数据库平台建设中的应用

大数据时代,网络数据海量增长。为提升网络数据库的存储容量、数据处理效率、共享服务能力,将云计算技术应用于网络数据库平台建设中。在网络数据库的具体建设中,围绕云计算的虚拟化技术和MapReduce技术应用展开分析,从平台操作系统、Hadoop集群、数据存储、数据整合和预处理、数据挖掘和分析等几个方面对网络数据库平台进行搭建。结果表明,云计算技术能全面实现网络数据库的性能优化。     

一种基于Hadoop的Scool云存储平台

针对海量数据的指数级增长,现有的文件存储系统很难满足现有系统需求,提出基于Hadoop的Scool云存储平台,系统通过采用Linux集群技术、分布式文件系统和云计算框架等技术,来实现海量数据存储和高速数据处理。通过比较云存储和传统存储模式的区别,分析了云存储技术优势和可行性,介绍了云存储架构模型,设计了基于Hadoop的Scool云存储文件管理系统,为今后深入研究云计算和云存储提供了一定的基础。     

基于MapReduce的关联规则增量更新算法

云计算以其强大的存储和计算能力而成为解决海量数据挖掘问题的有效途径。经典的关联规则增量更新算法FUP需要频繁扫描原数据集,不适用于海量数据的处理。文中以提高海量数据上关联规则增量更新效率为目标,将FUP算法与云计算的MapReduce编程模式相结合,提出了一种基于MapReduce的关联规则增量更新算法MRFUP。该算法只需扫描原数据集一次,并能充分利用云计算强大的存储和并行计算能力。基于Hadoop的实验结果表明,MRFUP算法可提高对海量数据的处理能力和效率,适用于海量数据的关联规则挖掘。