共查询到20条相似文献,搜索用时 18 毫秒
1.
杜艳绥 《信息技术与标准化》2013,(4):36-38,42
通过阐述Hadoop平台下的HDFS分布式文件系统数据存储及处理功能和MapReduce核心架构的数据处理模式,结合Hadoop云平台数据操作机制,探讨与分析了基于云计算平台的数据挖掘设计。 相似文献
2.
随着科学技术的发展,各行业及领域需要处理的数据呈爆炸式增长。Hadoop是大文件存储处理的理想平台,但Hadoop在处理海量小文件时的表现并不令人满意。本文首先对HDFS的系统架构作了简要介绍,进而分析了HDFS处理海量小文件时存在的问题,最后介绍了目前国内外对该问题提出的优化方案。 相似文献
3.
HDFS一致性管理的研究 总被引:1,自引:0,他引:1
HDFS是开源云计算项目Hadoop的存储系统,具有良好的容错性和扩展性,但是HDFS原有的一致性模型不能适用于实时性要求高,数据完整性要求不严格的任务。为了让HDFS能够满足云存储不同应用场景,在已有HDFS的总体架构和读写流程基础上,从数据一致性的角度剖析HDFS的局限和不足,提出解决方案,把NWR模型引入HDFS当中,并且将文件系统的读写锁机制改进为多粒度的锁机制。实验结果证明:通过以上措施,使用户可以根据自身需要配置云存储系统,平衡一致性和可用性。 相似文献
4.
针对当前图书馆云检索系统未能较多关注用户需求,检索效率低的问题,以数据挖掘技术为核心,以分布式开源框架Hadoop为支撑,提出一种基于数据挖掘技术的智能图书馆云检索系统。首先集成Hive,HDFS,MapReduce,Hadoop组件对智能图书馆云检索系统的硬件部分进行设计。Hive主要用于图书馆书籍资源关键词的存储与分析;MapReduce主要用于图书馆书籍资源实际统计分析计算;HDFS主要用于相关操作数据的存储;而Hadoop主要用于存储设备的相关管理。然后在系统架构下,确定了系统的实现流程以及图书馆资源在分布式环境下的检索机制。通过多组实验数据测试系统性能,并与其他同类检索系统相比较,所设计系统检索效率有明显提升,且随着数据量的增加,提升效率会更加明显。 相似文献
5.
6.
基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。 相似文献
7.
《无线电通信技术》2018,(1):9-13
Hadoop分布式文件系统(HDFS)是Hadoop的核心之一,已经广泛应用于天地一体化网络数据的存储。但由于HDFS存储和管理的数据容量受限于命名节点(Name Node)的内存大小,其扩展性受到制约。针对Name Node管理元数据时存在的加载文件系统镜像(FSImage)时间过长、容量受内存大小限制等问题,提出将HDFS层级化的元数据结构调整为扁平化结构,并将元数据移出内存的优化思路,设计了基于日志结构合并树(Log-Structured Merge-Tree,LSM)与内存映射文件进行元数据管理的F-HDFS架构,并介绍了F-HDFS的元数据管理方式。通过F-HDFS的原型系统与HDFS的对比实验,表明F-HDFS性能整体优于HDFS,可提供稳定快速的元数据服务,能存储与管理超过HDFS 5.3倍以上的数据。 相似文献
8.
9.
Hadoop是一个分布式系统基础架构,已经广泛应用在云计算领域,Hadoop的框架最核心的设计是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。 相似文献
10.
11.
12.
借助大数据相关技术,基于Hadoop架构体系提出一套数据共享平台方案,并提供详细的软件功能方案和硬件部署方案,以期指导运营商IT支撑系统后续类似平台的落地建设。 相似文献
13.
在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在MapReduce过程中的分工与协作,最后,对云计算作出展望。 相似文献
14.
15.
数据产业进入了高速增长期,实现海量的数据流量分析经营成为运营商需迫切解决的问题。借助大数据相关技术,基于Hadoop架构体系提出了一套流量分析平台设计方案,并提供了详细的软件功能方案和基础架构方案,以期指导运营商流量分析类平台的落地建设。 相似文献
16.
Hadoop云平台对海量数据的HDFS分布式存储,在应用map/reduce并行编程后,可实现数据挖掘技术的并行计算。文章对hadoop体系的实际部署和运行、map/reduce的数据挖掘程序架构方法和运行过程进行了构思和实现。 相似文献
17.
分析了某电信运营商的IT系统架构现状及其在大数据时代面临的挑战,简述了电信运营商IT架构转型的原则,详细阐述了基于云资源池、Hadoop平台和分布式数据库这3类核心平台的IT架构整体规划方案,提出TIT架构演进的各阶段工作重点及预期目标。指出探索非IOE架构、选择外围场景进行云化、逐步实现核心系统数据及服务轻量化,将成为运营商在大数据时代提升自身竞争力的必由选择。 相似文献
18.
19.
针对传统Hadoop平台架构中单名字节点瓶颈和对小文件存储支持不理想的问题进行优化。首先针对第一个问题,增加节点层次并在第二层增加NameNode数量等措施,解决了单名字节点瓶颈;又通过在原 HDFS 的数据存储过程中增加合并处理模块,实现小文件合并为大文件处理的方法,提升了小文件的访问效率。实验数据对比表明这些方法是有效、可行的。 相似文献