基于Nutch的搜索引擎与HBase的结合 在大数据时代的应用探究

Nutch作为一个在2002年兴起于Apache开源项目的开源搜索引擎,经过十多年的发展,无论在抓取速度、抓取效率还是部署方便性上,都更加成熟,被越来越多的人认可。HBase作为Apache开源项目下的著名分布式的、面向列的开源数据库,有着强大的可扩展性和极高的按行健查找效率。二者与大数据这一概念相伴而生,二者的结合也必将在大数据时代有所作为。     

基于HBase的大数据架构下负载平衡技术

随着气象数据规模和种类的不断增长,气象数据已经逐渐进入海量服务阶段,而基于大数据背景提供更敏捷的数据服务已经成为业务发展的迫切需求。本文针对气象中的半/非结构化数据,提出基于HBase系统的负载平衡算法和策略。在实际测试对比中发现,系统可以满足200多万个格点,100个并发的场景,查询速度在2 s以内,与未曾增加负载平衡算法相比,系统数据响应速度提升了42.69倍,能够有效地满足实际业务需要。     

面向HBase的大规模数据加载研究

分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间.基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载方式在效率和灵活性方面存在不足;进而,提出了自定义并行数据加载算法,并针对集群进行优化.实验结果表明,优化后的自定义并行数据加载方式能充分发挥集群性能,具有较好的加载效率和数据操作能力.     

融合通信系统中分布式存储引擎的研究

融合通信是当今计算机应用领域研究热点之一,人们对融合通信系统中应用服务的要求也越来越高.在数据存取方面,基于传统关系型数据库或者基于传统文件系统的存储方式已经越来越不能满足应用的需求.随着Hadoop技术以及相关子系统的发展,分布式存储的优势日渐明显.因此,本文在分析HBase、Hive各自特点及其体系结构的基础上,结合融合通信具体项目提出了基于HBase-Hive集成设计的存储引擎设计方法,以此来解决融合通信系统中数据安全性、数据获取效率等方面不满足的情况.通过对比实验表明,该设计方案提高系统数据查询获取效率,也为后续数据挖掘方面的开发做好准备.     

基于HBase的并行BFS方法

NoSQL数据库作为下一代巨型数据的存储模式,在科学计算和商业计算领域均发挥着重要作用,受到当前学术界和企业界的广泛关注。提出一种新的基于NoSQL数据库HBase的并行求取最短路径树的方法。首先利用Watts-Strogatz模型完成对巨型网络的数学建模,这种建模方式使得网络模型具有一定的聚类效果;其次利用HBase最近发布的Coprocessor简化和改进并行BFS方法,提高其计算效率。此外,还设计并实施了大量实验,得出了巨型网络的最短路径树,验证了该算法的正确性和有效性;同时对比其它路径算法,验证了该算法的高效性。     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

基于云技术的校园服务系统服务器端设计研究

云计算是一种基于Internet以服务的方式提供动态可伸缩的虚拟化资源的计算模式,通过这种模式,共享的软硬件资源和信息可以按需分配给计算机和其它设备。本文顺应目前手持智能终端普及的热潮,进一步推进数字校园的建设,实现高校信息共享的移动化。首先,本文对基于Hadoop分布式计算平台的云技术如Map Reduce、HDFS、HBase及其开发环境等进行深入的研究。其次,采用Java语言开发基于Hadoop的针对高校学生的校园服务系统的服务器端系统,该系统包括用户和微博信息服务、通用API以及Web管理系统等部分。     

基于Hadoop的信令详单实时查询平台构建方法

随着电信行业4G通信网络技术的普及,移动端互联网应用正蓬勃发展,随之带来的数据流量呈爆炸式增长,传统的处理方法难以支撑海量信令数据的实时查询需求,为此,提出了一种基于Hadoop的大数据实时查询平台,以支撑超大规模的信令详单的处理.通过数据采集、数据建模、rowkey设计、数据入库、二级索引、数据压缩与存储等实现方法,提供了实时数据查询服务.最后,在现网实验环境进行了验证,能够取得非常好的收益.     

基于云平台Hadoop的三维虚拟地球数据组织形式

云计算的发展推动了整个行业的进步,同时也给GIS的发展提供了非常大的机会。本文针对开源云平台Hadoop搭建了一个小型的私有云,利用Hadoop HBase存储键值对数据的优势,将三维虚拟地球GeoGlobe格式数据存储于HBase之上,实现了三维GIS的金字塔状瓦片数据存储到HBase中,最后给出了具体的实现方案。     

HBase 在飞行模拟训练数据存储中的应用分析

为提升飞行员飞行模拟训练质量,对飞行模拟训练数据化存储方式进行研究。介绍 HBase 分布式数据库 原理、飞行模拟训练数据,对数据在 HBase 分布式数据库中的存储结构进行设计,提出一种基于 HBase 分布式数据 库的存储方案,实现了数据在分布式系统中的入库程序,并通过实验对存储方案进行测试分析。测试结果表明：该 存储方案有效地解决了飞行模拟训练数据存储的需求,并提高了数据的访问效率。