天地一体化网络中基于HDFS的元数据优化策略

Hadoop分布式文件系统(HDFS)是Hadoop的核心之一,已经广泛应用于天地一体化网络数据的存储。但由于HDFS存储和管理的数据容量受限于命名节点(Name Node)的内存大小,其扩展性受到制约。针对Name Node管理元数据时存在的加载文件系统镜像(FSImage)时间过长、容量受内存大小限制等问题,提出将HDFS层级化的元数据结构调整为扁平化结构,并将元数据移出内存的优化思路,设计了基于日志结构合并树(Log-Structured Merge-Tree,LSM)与内存映射文件进行元数据管理的F-HDFS架构,并介绍了F-HDFS的元数据管理方式。通过F-HDFS的原型系统与HDFS的对比实验,表明F-HDFS性能整体优于HDFS,可提供稳定快速的元数据服务,能存储与管理超过HDFS 5.3倍以上的数据。     

HDFS一致性管理的研究

HDFS是开源云计算项目Hadoop的存储系统,具有良好的容错性和扩展性,但是HDFS原有的一致性模型不能适用于实时性要求高,数据完整性要求不严格的任务。为了让HDFS能够满足云存储不同应用场景,在已有HDFS的总体架构和读写流程基础上,从数据一致性的角度剖析HDFS的局限和不足,提出解决方案,把NWR模型引入HDFS当中,并且将文件系统的读写锁机制改进为多粒度的锁机制。实验结果证明：通过以上措施,使用户可以根据自身需要配置云存储系统,平衡一致性和可用性。     

信息数据存储平台开发

面对社会企事业单位、网络业务场景中大量的数据信息资源,传统以DFS为主的文件系统,由于其本身的物理存储资源,不一定直接连接于本地节点,且不能进行海量数据信息的分块切分与存储,围绕近年来网络数据存在的海量化、类别丰富化、并行计算困难、高并发读写等问题,引入Hadoop分布式文件系统、HDFS存储结构、HAR归档文件,构建起Hadoop分布式文件存储平台,开展多种文件类型的读取写入、判别查询、合并处理、缓存加载与备份存储,并比较DFS、HDFS两种文件计算方式的内存消耗、存储效率,以保证文件存储的安全有效性。     

冠字号云存储管理系统设计

文中云存储纸币冠字号码追踪系统提供冠字号、钞票流转信息以及图像数据等大数据的存储、快速检索、定时数据清理,建立接大数据分析系统,实时并发接收和存储多种生产设备产生的记录数据,形成大数据存储仓库,根据用户需要对大数据执行高速查询分析任务。采用HDFS云存储文件系统,以云服务的形式提供图像的存储、冠字号等数据的高速并行存储,以及所有数据的定时清理、检索服务,实现对海量数据高性能、高可靠性支持和较强的在线扩容能力。     

基于HDFS的云存储在高校信息资源整合中的应用

研究如何将基于HDFS的云存储应用于整合高校信息资源,旨在通过合适的构建基于HDFS的云存储服务系统,解决高校的海量数据存储问题。通过对概念的解析,结合高校信息资源存储的特点,构建了一个低成本、高效率、高安全性的分布式信息资源整合解决方案,并给出了系统结构图。     

大数据场景下基于HDFS的云存储服务系统设计

本文通过构建大数据场景下基于HDFS的云存储服务系统,能够有效地存储海量数据,实现用户的文件数据进行分布式存储,并达到降低分布式文件系统成本的目的。     

基于HDFS的分布式存储策略分析

本文重点围绕HDFS机架感知和副本存放策略方面对HDFS分布式存储进行剖析.副本存放策略和机架感知主要通过Datanode节点形成的树状网络拓扑图来让Namenode节点获取,从而确定副本存放的位置,这种方式保证了对于数据的极高的容错性的同时也兼顾了数据本地化,即提高了数据在集群网络中的传输效率.基于此,提出一个设想,希望通过对副本存放策略的深入挖掘,根据Datanode数据节点的实时状态信息,实现对于数据块副本的定向存储,再由数据驱动任务分配,来为每一个Datanode数据节点分配更适合的任务,从而达到负载均衡提高资源利用率的作用.     

海量数据存储模型的研究

随着互联网上信息量的爆炸式增长,海量网页数据的存储出现了难题.针对海量网页数据进行存储的问题,传统的集中式存储和管理方案已经难以提供高效、可靠和稳定的服务.本文设计并实现了一种针对海量网页数据进行存储的分布式平台模型.该模型利用Ha-doop集群和基于HDFS分布式文件系统的Hbase数据库实现高效率地分析、计算和存储海量数据,以MapReduce计算模型和Zookeeper同步协同系统保持数据写入的高效性和一致性.最后通过实验测试,该存储模型可以克服传统的存储模型存储时存在的读写效率低、数据写入不一致的问题,同时具有良好的扩展性、可行性、稳定性和可靠性.     

基于DSP视频系统的CF卡FAT文件系统设计与实现

设计并实现了基于DSP视频处理系统的CF卡FAT文件系统.该系统能在DM642平台上,以CF卡为存储介质对视频数据进行实时存储,存储格式为FAT16文件系统;并与PC机兼容通过PC机对写入CF卡的视频文件进行各种基本操作.     

基于Hadoop的海量数据存储平台设计

基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。