基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。     

一种Hadoop异构集群下提高数据本地性的分发算法

Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法,该算法评估每个slave节点的Map任务执行速度,将输入数据放在运行更快的节点上,以达到更好的数据本地性。     

基于Hadoop的石油大数据平台设计

在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用.文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善.新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系.构建出的大数据平台经...     

大数据场景下基于HDFS的云存储服务系统设计

本文通过构建大数据场景下基于HDFS的云存储服务系统,能够有效地存储海量数据,实现用户的文件数据进行分布式存储,并达到降低分布式文件系统成本的目的。     

基于Hadoop的高校大数据计算平台构建研究

为了有效帮助学校实现对校内数据的集中管理和高效运用,可以通过利用Hadoop技术搭建起相应的大数据计算平台。文章将在此背景下,通过简单介绍Hadoop的构造模块以及具体组件,尝试对基于Hadoop的高校大数据计算平台构建进行简要分析研究。     

Hadoop大数据计算平台搭建实践

无线电监测工作者在日常工作中积累了海量的监测数据文件,如何快速解析处理这些监测数据成为亟待解决的问题.本文首先介绍了 Hadoop大数据分析框架,其次详细介绍了 Hadoop大数据分析平台的分布式部署方法,最后对平台进行验证测试,为高效处理海量无线电监测数据奠定基础.     

一种面向Hadoop中间数据存储的混合存储系统

针对Hadoop的Reduce阶段的I/O性能瓶颈,设计了针对Hadoop中间数据存储的设备同层混合存储系统。该系统包含数据映射和数据迁移两大模块,其中数据映射模块主要负责I/O请求重定向及维护元数据,数据迁移模块利用闲时进行数据迁移,提高SSD的利用率。实验结果表明,该混合存储系统能够缓解Hadoop的Reduce阶段的I/O瓶颈并提升该阶段的整体性能。     

基于Hadoop技术的物联网大数据同步存储系统设计

目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、处理器、存储器构建硬件平台,完善系统接口设计,合理设计软件程序,进一步提升系统的实际应用性能,并采用加密算法对存储数据进行加密处理,保证数据存储的安全性。实验结果表明,针对海量物联网数据,基于Hadoop技术的物联网大数据同步存储系统能够有效提高数据存储的同步性和存储效率,减少数据存储时延。     

基于Hadoop架构的医疗大数据平台的应用

随着大数据技术在各行业中的应用和推广,建设医疗大数据平台成为加强医疗行业核心竞争力的重要手段。文中分析了医疗大数据特点、设计和研究了医疗大数据平台的应用实践,利用科学设置和布置集群、互联网和服务器等,最大程度地保证了医疗大数据平台环境的安全性和稳定性,希望能为相关工作人员提供一定的技术参考。     

存储对石油勘探大数据处理集群效率影响分析

高密度宽方位外业采集方式导致石油勘探外业采集数据体迅速膨胀,石油勘探迎来大数据时代。原始弹炮上万道的接收方式和上千次的覆盖次数使得地震数据体内部的关联性比以往更复杂,使用传统的地震数据处理方法处理目前的高密度采集数据时,地震数据处理集群系统出现了效率低下的现象。通过分析发现PC集群中存储系统配备方式和地震勘探数据的存储方式是导致集群系统效率不高的原因,并给出了解决该问题的思路和方案。     

大数据时代的光存储技术

概述了光存储技术的发展历史和现状，分析了在大数据时代光盘的作用和存在的意义。面对传统光盘容量低、速度慢等问题，介绍了能够妥善解决此问题的光盘库技术。最后介绍了可替代传统光盘的全息光存储技术。其中，同轴全息光存储既可与传统光盘相兼容，又可作为大数据高密度高速率长期保存的解决方案。     

基于Hadoop的质检大数据分析的研究

随着社会生产的发展,政府监督和企业委托的产品质量检验产生了规模非常巨大的质检数据.这些数据持续快速增长,数据类型多样化,针对对海量的质检数据进行高效率的访问,并进行有效的分析利用,为政府和公众提供质量监管、预测和预警的帮助.现提出了一种基于Hadoop分布式计算技术进行存储和分析质检大数据的方法,设计了质检大数据分析的架构和主要部分的实现代码.该设计具有良好的高扩展性和高可用性,能满足质检大数据的存储和挖掘等要求.     

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案.通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBas...     

一种基于负载均衡的新型自适应路由算法

提出了一种用于波分复用(WDM)网络中的新型自适应路由算法.引入蚁群算法解决动态路由问题,通过改进寻路中链路综合权重的设置、优化蚁群寻路的原理以及考虑波长优先级来设计算法.仿真结果表明,这种算法对光通道建立比较有效,使用这种算法,不仅可以使拥塞率更小,负载分布也更加均衡.     

基于Hadoop的网络行为大数据安全实体识别系统设计

为解决大数据网络的负载拥塞问题,设计基于Hadoop的网络行为大数据安全实体识别系统。在Hadoop分布式框架中,规划网络行为大数据接收模块与识别发送模块的从属位置,实现网络行为大数据安全实体识别系统的硬件运行环境搭建。在此基础上,分析实体识别地址,在保持良好均衡处理结果的条件下,对识别信息进行导入导出与存储处理,实现系统软件运行环境搭建,结合基础硬件执行条件,完成基于Hadoop的网络行为大数据安全实体识别系统设计。对比实验结果表明,与理想状态下的识别系统相比,应用基于Hadoop的安全实体识别系统后,大流网络通道的占用率明显下降,单位时间内分流转发的安全信息总量提升,大数据网络的负载拥塞现状得到有效缓解。     

一种面向FC-AE-ASM网络的数据监控存储方案设计

文章通过分析FC协议及其帧组织结构,结合现有航电FC网络应用的特点,设计实现了一种面向航电FC网络ASM消息和ELS帧的监控和存储方案.针对消息实时监控和灵活配置的需求,设计了逻辑硬件和配置软件相融合的数据监控策略;针对监控数据高效利用、便于分析等方面的需求,设计了包含自定义监控帧头的帧压缩按序连续存储策略,为FC网络系统数据监控提供了解决方案.     

Hadoop框架核心技术在高校大数据教学系统中的应用

文章构建了云中实验室Hadoop大数据实验平台,用15台服务器、两台交换机建立了虚拟化平台,将大数据专业课所需的环境虚拟在服务器群集中;在大数据服务器中利用Hadoop的HDFS,Map Reduce,Zookeeper和HBASE高可用性核心技术,有效地实现了中原工学院大数据教学系统的高可用性、可靠性,保证系统服务的不间断运行。     

面向大数据云存储系统的关键技术研究

该文介绍面向大数据的云存储系统的关键技术,依据定向随机游走规则对分布式云存储技术进行分析。为了保证数据安全,通过RAS加密算法对数据进行加密,利用公钥或密钥针对所需存储的数据进行加密,将另一个作为对应的解密密钥对数据进行解密。为了保证系统的可靠性和数据的访问效率,详细分析数据的检索技术。通过云存储技术、数据加密技术和数据检索技术的组合方式达到高效整合、管理网络存储资源的目的,对外提供友好的连接窗口,使云计算网络数据的发布方式更加快速,为使用者提供便捷的存储服务。仿真实验结果表明,采用所提关键技术的云存储系统不仅运行时间和整体耗能低,而且可用性极高。