基于Hadoop技术的物联网大数据同步存储系统设计

目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、处理器、存储器构建硬件平台,完善系统接口设计,合理设计软件程序,进一步提升系统的实际应用性能,并采用加密算法对存储数据进行加密处理,保证数据存储的安全性。实验结果表明,针对海量物联网数据,基于Hadoop技术的物联网大数据同步存储系统能够有效提高数据存储的同步性和存储效率,减少数据存储时延。     

面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

LTE-Advanced网络Uu接口用户行为分析系统的研究与实现

大数据时代,面对海量且复杂的结构化、半结构化和非结构化数据,传统的信令监测分析系统无法快速准确地分类、处理以及存储海量数据中包含的信息.针对这些问题,提出了一种基于Hadoop系统技术平台和支持向量机(Support Vector Machine,SVM)分类算法的LTE-Advanced网络Uu接口用户行为分析系统.对用户行为分析系统的系统架构、在Hadoop平台下数据挖掘分类算法SVM的实现进行了详细阐述,并通过Uu接口进行了现网测试,测试结果表明,提出的用户行为分析系统达到了预期的效果,对用户偏好分析以及精准营销具有推广意义.     

对职业院校学习资源云存储模型构建的思考

针对大数据时代以及职业院校学习资源需求的特点和海量数字学习资源提供服务中的不足,结合云计算的特点提出了基于Hadoop框架构建学校内部云存储的设计方案,为学生在大数据背景下能够进行高效的学习提供帮助。文中重点论述了云存储的体系结构和各个层的功能,通过实验进行模拟测试进行分析。     

基于HADOOP分布式系统的数据处理分析

各种信息数据在迅猛增长,云计算技术的出现为海量数据的处理提供了良好的解决方案。Hadoop 是云计算技术中分布式并行编程框架的开源实现,它利用集群的并行计算和存储能力,高效的完成对海量数据的处理,云计算能够为社会创造出更大的价值。最后通过Hadoop组织廉价的计算机资源搭建了一个分布式云计算平台,具有高容错、高效性、高扩展性等优势,并完成对数据处理能力和平台可扩展性进行性能测试与分析。     

基于云计算的海量数据存储模型

针对目前网络产生的数据越来越多以及随之而来的海量数据的存储问题,在云计算技术上,依据Hadoop及虚拟化技术,提出了基于云计算的海量数据存储模型。将医院信息化的海量数据部署在Hadoop平台上,根据云计算的核心算法MapReduce来处理数据,最后将数据存储在虚拟资源池中。通过实际的应用,该模型可以很好地克服现行的存储方式存在的不足,解决海量数据在存储当中存在的问题,并且能够很好地提高存储的效率。     

基于SQL-on-Hadoop的分布式广电数据仓库的设计与实现

为解决传统数据仓库扩展能力弱,不支持非结构化数据的问题,江苏有线结合实际应用情况,基于SQL-on-Hadoop技术实现了分布式的广电数据仓库TRAF。TRAF融合了传统数据仓库与Hadoop技术,可以同时存储结构化和非结构化数据,具备良好的扩展能力。TRAF在HBase框架之上构建支持多重查询嵌套和多级索引ANSI SQL标准的查询接口,实现海量用户行为的实时分析;采用通用x86服务器替代原有小型机存储,大幅降低了系统构建成本。测试结果表明,数据量在10亿条时,TRAF的处理速度比传统关系型数据仓库提升了5倍,同时构建成本降低了50%,有效提升了广电数据分析系统的应用水平。     

基于Hadoop的电子通信数据快速存储系统设计

在Hadoop云平台进行数据云存储系统的优化设计,提高大容量数据快速存取能力,构建基于Hadoop的大容量数据快速存储系统,采用负载均衡调度和云存储优化方法进行存储系统构架,进行Hadoop云平台的海量大数据进行信息融合处理,对Hadoop云平台大容量数据信息流进行非线性时间序列重组,采用特征空间降维方法降低存储开销,优化存储结构,提高存储和调度的速度。仿真结果表明,采用该方法进行Hadoop大容量云存储系统设计,提高了数据存储的吞吐性能和快速存取性能。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

数据仓库与大数据融合的探讨

针对传统企业对非结构化数据缺乏有效利用的问题,探讨了基于数据仓库与大数据融合的企业大数据解决方案.根据数据仓库建设理论和下一代企业级数据仓库架构,利用Hadoop技术进行非结构化数据的收集、处理及存储,通过与传统数据仓库和BI工具共同协作,解决企业大数据应用困难的问题.数据仓库与大数据技术的融合解决了传统企业数据处理的障碍,从而推动大数据项目的实施.     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

基于Hadoop的个人健康信息服务系统

个人健康信息服务系统作为现代医院健康管理系统的一个重要分支,在整个医疗系统中起着十分重要的作用.本文论述了通过Hadoop大数据平台构建了一种个人健康信息管理的方法,设计并且实现了一套基于Hadoop的个人健康信息管理系统.Hadoop作为一种日趋成熟的大数据平台,与医疗信息化相结合,为个人医疗中产生的数据提供了一种安全可靠的存储途径,实现医疗数据的集中管理.本系统利用Hadoop平台适合海量数据的运算与存储的特点,建立了个人健康信息数据中心,实现对患者健康信息最完整、最准确的管理.     

基于Hadoop技术的数据查询平台建设

传统的关系型数据库架构在应对电信运营商海量的大数据处理时建设成本高昂,处理能力低下,已经无法满足在大数据场景模式下的新型业务需求。Hadoop云计算平台作为一种新型的大数据处理方案,充分利用其低价格和高性能的优势,可以满足海量数据存储及数据处理功能。文章在对Hadoop技术介绍的情况下,设计一套基于Hadoop架构的数据查询平台,实验证明,该平台能够有效提高数据处理效率,降低建设成本。     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

基于Hadoop技术的挖泥船大数据平台架构研究

基于大数据背景下对海量疏浚历史数据进行高效存储、提取和处理的目的,采用了Hadoop技术,通过建立挖泥船大数据平台并结合数据挖掘算法,完成了对疏浚大数据的采集、存储和分析.以挖泥船疏浚实例为应用背景,通过使用Hadoop平台的数据挖掘工具Mahout对疏浚工艺点进行了聚类研究,并根据聚类结果给出了初步的疏浚性能评估.结...     

浅谈Hadoop云计算的认识

Hadoop是一个分布式系统基础架构,已经广泛应用在云计算领域,Hadoop的框架最核心的设计是：HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。     

语义Web数据的云存储研究

介绍了海量RDF数据分布式存储的一种解决方案。随着Web数据和各种网络资源的剧增以及语义网的发展,海量RDF存储成为当前比较紧迫的问题。文中研究了当前流行的几种分布式存储框架,依托开源框架Hadoop Database(HBase),在Linux集群上实现了高效、协作存储海量RDF数据。     

Hadoop框架在商业大数据应用处理方面的优势

运营商对接省份数据系统是一个数据采集处理系统,其主要功能是采集各个省份通过ftp上传的数据文件,对其进行格式转换、数据查重、稽核校验,将查重和校验结果分别记录入库,从而为其他系统提供所需数据。为了提高系统处理数据的性能,新系统引入Hadoop开源框架。在框架上引入Hadoop技术,把原有系统中的数据格式转化、数据查重处理及稽核校验流程放到Hadoop数据仓库Hive中进行处理,从而减轻现有系统中的瓶颈。     

基于Hadoop下利用Hive进行网络日志存储和分析

随着网络应用的普及和网络的深入发展,网络上传输的数据量越来越大,在网络安全管理方面要求越来越严格,如何有效的存储、查询、分析海量的网络日志就成了网络安全管理方面的新挑战。云计算技术的完善和普及,为解决这类问题提供了新的方法,云计算机就是通过网络系统将多台计算机组成一个分布式系统,从而完成海量数据的存储和计算。Hadoop是一个用于构建云计算机平台的开源系统,为了存储和分析这些海量的数据,可以利用Hadoop分布系统下对网络日志的存储、查询、分析,通过该系统的应用可以节约存储成本、提高查询效率,为网络的安全管理、网络优化提供数据支持。