基于HADOOP分布式系统的数据处理分析

各种信息数据在迅猛增长,云计算技术的出现为海量数据的处理提供了良好的解决方案。Hadoop 是云计算技术中分布式并行编程框架的开源实现,它利用集群的并行计算和存储能力,高效的完成对海量数据的处理,云计算能够为社会创造出更大的价值。最后通过Hadoop组织廉价的计算机资源搭建了一个分布式云计算平台,具有高容错、高效性、高扩展性等优势,并完成对数据处理能力和平台可扩展性进行性能测试与分析。     

以混合存储模型实现云计算平台对电信海量数据的处理

利用云计算平台获取海量存储空间和弹性计算能力是当前学术界研究的重点和产业界应用的方向。文章提出的海量数据分布式处理模型,基于混合型数据存储,实现一种以数据为中心的、计算密集型的、高经济性云计算平台。实践证明,在海量数据处理方面,该模型可以很好发挥关系数据库和非关系数据库的优点,具有良好的参考示范价值。     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

浅析云计算在物联网中的应用

随着物联网技术迅速发展,物联网产生的海量数据需要云计算平台优化存储和处理。云计算平台上的应用和服务是物联网的核心。基于物联网的云计算平台目前在多个行业实施,云计算的应用将会实现统一的数据中心和服务中心,并实现海量数据的处理、共享和整合。文章从云计算与物联网的结合的可行性与优点及应用范围几个方面对云计算在物联网中的应用进行了探讨。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

一种基于Hadoop平台CloudSVM的网络流量分类方法

大规模的netflow训练数据集是构建高质量、高稳定网络流量分类器的必然要求。但随着网络流特征维数的提高和数据集规模的扩大,无论是网络流的分析处理还是基于支持向量机(SVM)的分类器模型的训练,都无法在有效的时间内得到有效的处理结果。本文基于Hadoop云计算平台,采用MapReduce技术对SVM网络流量分类器进行分布式学习和训练,构建CloudSVM网络流量分类器。通过对来自校园网出口镜像的近2 T的大规模网络流量的跟踪文件的分布式存储和处理,对抽取的样本数据集进行分类,实验验证了基于Hadoop平台分布式存储和并行处理大规模网络数据集的高效率性,也验证了CloudSVM分类器在不降低分类准确度的情况下可以快速收敛到最佳,并随着大规模网络流样本的增加,SVM分类器训练的时间趋近平稳。     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

采用云计算技术的网络流量检测

为了实现对现网大数据网络流量的实时、有效检测,提出了一种基于云计算的网络流量检测方案。该方案充分利用Hadoop平台Map/Reduce编程模型在海量数据处理方面的优势,采用分层化的设计思想,克服了传统检测方案在海量数据应用环境中效率低下、可扩展性与安全性不足的缺点。重庆移动DPI平台应用表明,该方案较为有效,流量检测效果良好,在大数据处理时效率较普通分布式处理有明显提高。     

基于Hadoop的分布式集群平台构建方法研究

随着网络技术的发展,用户的数据量呈现指数级的增长,产生的海量数据单靠一台高性能的计算机存储,成本很高,不适合大部分的用户。基于Hadoop分布式集群平台,在构建低价的硬件上,成本低,应用场合广泛,能够满足海量数据存储的需求。介绍了Hadoop发展前景趋势和三大核心技术,详细分析了分布式集群的构建方法,成功构建分布式集群平台。     

基于云计算的海量数据处理平台设计与实现

针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用Map-Reduce架构,设计并实现了基于云计算的海量数据处理平台.实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问.     

Hadoop云平台下的并行化图像处理实现

近年来,云计算在IT行业掀起了新一轮技术革新浪潮。云计算是一种新兴的计算模型,它是并行计算、分布式计算、网格计算的综合发展,以简单、透明服务的形式提供无限制的计算资源。Hadoop实现的开源云平台提供了并行计算模型MapReduce、分布式文件系统HDFS和分布式数据库HBase等。随着数字图像数据量不断增长,单机模式的图像处理已逐渐不能满足用户需求。文中提出了利用Hadoop云平台实现海量图像的并行     

基于云计算的海量图片存储管理系统研究

随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。     

基于云计算的海量网络流量数据分析处理研究

随着互联网技术的迅速发展,在我们的生活中网络已经成为我们不可以缺少的重要的组成部分.网络流量监控技术是对网络中海量的流量数据进行分析的重要工具和技术.基于云计算的网络流量监控技术可以对网络流量数据和用户的特征进行更好的分析,可以对用户的上网行为进行深入的挖掘,更好的为用户推荐喜欢的网络内容.本文结合互联网的发展现状对海量网络流量数据分析技术进行了分析,在基于云计算的基础上提出了海量网络流量数据分析的几个关键性技术,对基于云计算的海量网络流量数据分析技术进行了分析和研究.     

一种基于关键帧的分布式视频分析解耦机制

近年来云计算逐渐应用于海量视频数据分析,但视频的处理单位是视频帧,而视频帧的大小是不固定的,所以不能直接用云平台处理视频,否则会出现帧不完整、找不到视频头文件、视频解码不成功等情况.通常的解决办法是对视频数据进行预处理,将视频分成若干独立可解码的视频块提交到文件系统中进行处理,但是当数据量很大时,预处理的工作量也很大.因此提出了一种基于关键帧的分布式视频分析解耦机制,将文件系统中的视频块按关键帧位置对视频数据进行巧妙分片.实验表明,提出的分布式视频分析解耦机制可有效对视频进行并行处理,保证了帧的完整性,且与云平台默认的分块方式相比计算负载更加均衡,提高了整体处理效率.     

云计算关键技术的探讨

云计算(cloud computing)中涉及了分布式处理、并行处理和网格计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术。本文从云计算的体系架构和服务角度出发,对云计算中实现的访问控制管理、数据管理和虚拟化功能所使用加密算法和虚拟化等关键技术,用计算机和网络知识分析了这些技术存在的问题,提出了需要改进的方向。     

基于Google Earth Engine的海量舰船目标SAR图像处理应用研究

传统基于单机的合成孔径雷达(Synthetic Aperture Radar,SAR)图像舰船目标检测需要在本地计算机上进行数据下载、处理和分析,这极大受限于本地计算机的性能,只能对少量SAR图像进行检测。本文利用Google Earth Engine(GEE)遥感云计算平台的海量数据存储和强大运算能力,通过在云端部署SAR卫星数据、模型算法和计算机算力,在GEE平台上进行了大范围海域的海量舰船目标SAR图像处理应用研究,实现了舰船目标检测同时还可以获取舰船目标信息、统计舰船目标数量、批量下载目标检测结果图像等。通过在Sentinel-1 SAR数据上进行相关实验,结果表明本文研究可在线对海量SAR数据进行实时、高效、快速地处理,对海上舰船监视具有较高的实际应用价值。      

Internet of things intrusion detection model and algorithm based on cloud computing and multi-feature extraction extreme learning machine

With the rapid development of the Internet of Things (IoT), there are several challenges pertaining to security in IoT applications. Compared with the characteristics of the traditional Internet, the IoT has many problems, such as large assets, complex and diverse structures, and lack of computing resources. Traditional network intrusion detection systems cannot meet the security needs of IoT applications. In view of this situation, this study applies cloud computing and machine learning to the intrusion detection system of IoT to improve detection performance. Usually, traditional intrusion detection algorithms require considerable time for training, and these intrusion detection algorithms are not suitable for cloud computing due to the limited computing power and storage capacity of cloud nodes; therefore, it is necessary to study intrusion detection algorithms with low weights, short training time, and high detection accuracy for deployment and application on cloud nodes. An appropriate classification algorithm is a primary factor for deploying cloud computing intrusion prevention systems and a prerequisite for the system to respond to intrusion and reduce intrusion threats. This paper discusses the problems related to IoT intrusion prevention in cloud computing environments. Based on the analysis of cloud computing security threats, this study extensively explores IoT intrusion detection, cloud node monitoring, and intrusion response in cloud computing environments by using cloud computing, an improved extreme learning machine, and other methods. We use the Multi-Feature Extraction Extreme Learning Machine (MFE-ELM) algorithm for cloud computing, which adds a multi-feature extraction process to cloud servers, and use the deployed MFE-ELM algorithm on cloud nodes to detect and discover network intrusions to cloud nodes. In our simulation experiments, a classical dataset for intrusion detection is selected as a test, and test steps such as data preprocessing, feature engineering, model training, and result analysis are performed. The experimental results show that the proposed algorithm can effectively detect and identify most network data packets with good model performance and achieve efficient intrusion detection for heterogeneous data of the IoT from cloud nodes. Furthermore, it can enable the cloud server to discover nodes with serious security threats in the cloud cluster in real time, so that further security protection measures can be taken to obtain the optimal intrusion response strategy for the cloud cluster.