基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

基于Redis实现HBase二级索引的方法

随着大数据时代的到来,海量数据对传统数据库技术提出了存储和检索性能的挑战。HBase是开源No SQL数据库,适合于各种非结构化和半结构化的松散数据的存储和管理,目前已经被很多大型企业用于处理海量数据。它基于rowkey的有序存储,对rowkey支持毫秒级的快速检索。然而,随着HBase应用的不断深入,单一的通过rowkey检索数据的方式不再满足需求,在实际应用中,经常需要根据指定字段,或者几个字段进行组合检索。针对该问题,本文提出了一种基于Redis创建HBase二级索引的方法,使得在实际应用中,支持多条件查询,提升查询的效率和性能。     

海量自动气象站分钟数据存储检索系统设计

地面自动气象站的时空密度不断增加,产生的观测数据量呈指数级增长,传统的关系型数据库在海量数据存储与检索方面存在能力不足、检索性能下降等问题。鉴于此,本文设计一种自动站分钟数据存储与检索系统。使用Quartz定时采集自动站分钟文件并解码入库;应用HBase分布式数据库建立分钟数据存储模型;针对多要素查询需求,应用Elasticsearch建立辅助索引,实现HBase的二级索引。系统测试结果表明,分钟数据入库平均耗时54.6 s,二级索引完整可靠,数据检索结果返回时效达到毫秒级,能够满足业务应用中对自动站分钟数据存储和检索时效的要求。     

Hadoop应用测试实战

通过研究基于HBase的数据存储模式,开展基于Hadoop的数据应用研究,并探索Hadoop的集群配置、任务调度配置和优化技术。通过研究成果的应用,构建基于云计算技术的海量日志信息存储访问架构,改进监控数据存储与应用的关联度,极大地提升海量监控数据存储与访问的时效,为实时监视与业务分析人员提供更快捷、高效的访问体验,从而进一步提高对业务系统运行及性能的监视与评估能力。     

面向空间应用的数据对象存储与检索系统研究

针对当前标准对象存储系统的数据对象属性存储和检索方面的不足,结合空间应用数据对象特点,进行了对象属性设计,提出了一种基于HBase数据库的属性管理方法。该方法利用HBase数据库对数据对象及其属性进行集中管理,同时采用分段散列索引实现利用对象属性快速检索对象数据。测试结果表明,基于HBase数据库对象管理方法性能优于现有的属性管理方法,具有较高的对象属性检索效率。     

基于IFC标准的建筑信息模型分布式大数据平台存储技术研究

随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。     

基于Hadoop的电力运维审计系统的设计

国家电网公司信息化程度越来越高，单机运维审计系统产生的数据量日益增多，对海量数据高效率存储分析性能严重下降，系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求，在Hadoop开源架构的基础上，本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术，实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明，基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%，大大提升了存储分析海量数据的性能，具有系统工作稳定和服务不间断等优势。     

面向HBase的大规模数据加载研究

分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间.基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载方式在效率和灵活性方面存在不足;进而,提出了自定义并行数据加载算法,并针对集群进行优化.实验结果表明,优化后的自定义并行数据加载方式能充分发挥集群性能,具有较好的加载效率和数据操作能力.     

Hadoop在人员定位软件系统中的应用研究

针对现有人员定位系统难以满足大型煤矿大数据量访问需求的问题,提出将Hadoop应用于人员定位软件系统中,利用并行计算模型MapReduce和非关系型数据库HBase实现人员定位数据的并行化访问。Hadoop的应用显著提升了人员定位软件系统的数据处理性能、实时性和可扩展性。     

基于非关系型数据库HBase存储技术的检索研究

随着信息技术的快速发展,数据量在以指数级飞速增长的同时数据类型也越来越多样化,传统的关系型数据库已不能满足日常数据存储的需求,因此如何实现海量多样化数据的存储和检索成为急需解决的问题。根据上述问题,文中对基于列式存储的HBase数据库的发展和技术原理进行大量调研,得出HBase数据库不但能够有效处理海量数据还可以实现更快速的检索。文中针对HBase的架构和列式存储模型进行检索效率和适用场景的研究,并通过实验验证得出当数据量和返回结果集达到一定数量时,使用HBase数据库的响应时间比传统数据库快得多。     

一种基于HBase的数据持久性和可用性研究

HBase（HadoopDataBase）是ApacheHadoop项目下的一款非关系型数据库,它是一个基于列簇的开源数据存储系统,关于HBase的研究和应用越来越受到关注．由于HBase会在内存缓存数据后写文件系统,所以缓存的大小成为影响系统性能的一个重要因素．本文提出一种基于备份日志的持久性、可用性方案RemoteLogProcess,使得HBase能够在不同的缓存规模获得更好的写性能．实验证明,在保证数据的持久性和可用性前提下,RLP能够在不同的缓存大小下获得稳定的性能,并且在缓存不超过默认设置时明显提高写操作时间性能．     

一种基于OWL的语义网数据划分与并行加载方法

随着语义网数据规模的爆炸式增长,海量数据存储和检索面临越来越严峻的挑战,分布式数据库与并行计算已成为其主要解决方案。基于列存储分布式数据库HBase设计了一种多表语义网数据存储模型,实现从OWL本体定义到存储模型的映射。基于OWL本体定义信息对语义网数据实现按类划分,并将三元组存储于主体所属于的类的两张表里,采用MapReduce框架实现并行的数据划分和加载任务,最后在Hadoop集群环境下对方法进行了可行性验证。     

基于Hadoop的海量医学图像检索系统

为了提高海量医学图像检索效率,针对单节点医学图像检索系统的缺陷,提出一种基于Hadoop的海量医学图像检索系统。首先采用Brushlet变换和局部二值模式算法提取医学示例图像特征,并将图像特征库存储于Hadoop分布式文件系统(HDFS);然后采用Map将示例图像特征与特征库的特征进行匹配,采用Reduce接收各Map任务的计算结果,并按相似度大小进行排序;最后根据排序结果找到医学图像的最优检索结果。实验结果表明,相对于其他医学图像检索系统,Hadoop的医学图像检索系统减少了图像存储和检索时间,提高了图像检索速度。     

基于行键的HBase大数据文件存储转换与快速检索研究

针对传统关系型数据库很难满足数据的快速存储与检索的问题,研究了基于数据文件字段映射表、文件对象字段、HBase列映射表和存储转换执行方案映射表解决文件对象的异构性和存储转换的通用性问题。提出了自定义RowKey行键的规则与生成算法;给出了基于映射表与行键的数据转换与存储流程及算法;最后基于行键前缀匹配或关键字匹配方式实现了不同需求的数据快速访问与检索,且具有较强的通用性。     

基于Hadoop的中医哮喘用药组合关联分析

针对传统平台运行Apriori算法来挖掘中医病案中用药组合规律时,存在着占用内存空间大、计算效率低和PB级数据无法处理等问题,提出基于Hadoop的中医哮喘用药组合关联分析方法。采用Mapreduce分布式计算框架和HBase分布式数据库优化Apriori算法性能：一方面使用Mapreduce计算框架并行处理数据,借助HBase高速读写数据的特性,加速频繁项集的产生;另一方面摒弃传统算法中的自连接产生候选项集方式,对每个节点上的数据,使用循环和递归相结合的方式产生候选集,提高候选集产生的效率。实验结果证明,借助基于Hadoop的中医哮喘用药组合关联分析方法挖掘中医药组合规律,效率更高,能更有效地指导临床实践。     

分布式存储系统HBase关键技术研究

HBase是一个面向列的非关系型的开源分布式存储系统,它基于Hadoop HDFS文件存储系统,使用MapReduce来处理海量数据,利用Zookeeper作为协同服务,它使用简单的键值对映像关系为超大规模和高并发的海量数据实时响应系统提供一个很好的解决方案。对HBase的体系结构、数据模型、MapReduce算法设计等几个方面进行详细阐述,并对HBase的未来发展做出展望。