基于Hadoop的信令详单实时查询平台构建方法

随着电信行业4G通信网络技术的普及,移动端互联网应用正蓬勃发展,随之带来的数据流量呈爆炸式增长,传统的处理方法难以支撑海量信令数据的实时查询需求,为此,提出了一种基于Hadoop的大数据实时查询平台,以支撑超大规模的信令详单的处理.通过数据采集、数据建模、rowkey设计、数据入库、二级索引、数据压缩与存储等实现方法,提供了实时数据查询服务.最后,在现网实验环境进行了验证,能够取得非常好的收益.     

HBase 在飞行模拟训练数据存储中的应用分析

为提升飞行员飞行模拟训练质量,对飞行模拟训练数据化存储方式进行研究。介绍 HBase 分布式数据库 原理、飞行模拟训练数据,对数据在 HBase 分布式数据库中的存储结构进行设计,提出一种基于 HBase 分布式数据 库的存储方案,实现了数据在分布式系统中的入库程序,并通过实验对存储方案进行测试分析。测试结果表明：该 存储方案有效地解决了飞行模拟训练数据存储的需求,并提高了数据的访问效率。     

基于自定义的LIRe和HBase的海量医学图像检索

为了解决海量医学图像检索效率低的问题,提出一种自定义的LIRe和HBase相结合的方案.首先,将医学图像上传到HDFS;然后,通过自定义LIRe框架分别提取海量医学图像的形状以及纹理特征并将特征向量及图像的绝对路径存储到HBase中.最后,利用MapReduce模型以及图像特征索引工具LIRe方便地对医学图像特征建立索引进行特征匹配实现检索.实验结果证明,自定义的LIRe提高了检索准确性,相比将医学图像以及特征向量均存储在HDFS中,也提高了检索效率.     

基于云技术的校园服务系统服务器端设计研究

云计算是一种基于Internet以服务的方式提供动态可伸缩的虚拟化资源的计算模式,通过这种模式,共享的软硬件资源和信息可以按需分配给计算机和其它设备。本文顺应目前手持智能终端普及的热潮,进一步推进数字校园的建设,实现高校信息共享的移动化。首先,本文对基于Hadoop分布式计算平台的云技术如Map Reduce、HDFS、HBase及其开发环境等进行深入的研究。其次,采用Java语言开发基于Hadoop的针对高校学生的校园服务系统的服务器端系统,该系统包括用户和微博信息服务、通用API以及Web管理系统等部分。     

基于Nutch的搜索引擎与HBase的结合 在大数据时代的应用探究

Nutch作为一个在2002年兴起于Apache开源项目的开源搜索引擎,经过十多年的发展,无论在抓取速度、抓取效率还是部署方便性上,都更加成熟,被越来越多的人认可。HBase作为Apache开源项目下的著名分布式的、面向列的开源数据库,有着强大的可扩展性和极高的按行健查找效率。二者与大数据这一概念相伴而生,二者的结合也必将在大数据时代有所作为。     

基于云平台Hadoop的三维虚拟地球数据组织形式

云计算的发展推动了整个行业的进步,同时也给GIS的发展提供了非常大的机会。本文针对开源云平台Hadoop搭建了一个小型的私有云,利用Hadoop HBase存储键值对数据的优势,将三维虚拟地球GeoGlobe格式数据存储于HBase之上,实现了三维GIS的金字塔状瓦片数据存储到HBase中,最后给出了具体的实现方案。     

面向HBase的大规模数据加载研究

分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间.基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载方式在效率和灵活性方面存在不足;进而,提出了自定义并行数据加载算法,并针对集群进行优化.实验结果表明,优化后的自定义并行数据加载方式能充分发挥集群性能,具有较好的加载效率和数据操作能力.     

基于HBase的QAR数据存储设计与实现

为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。     

基于云存储的重复数据删除架构的研究与设计

随着云计算的发展,云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作,缓解了老式数据中心的存储压力.另外,重复数据删除技术是一种缩减存储空间减少网络传输量的技术,随着云的广泛应用也势必会发展应用于云存储中.这两种技术结合将会给IT存储业带来实际效益.本文通过研究重复数据删除技术、云存储技术,设计了基于云存储的重复数据删除架构,提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案.在本架构下,海量数据存储在HDFS中;而文件数据块的哈希值存储在HBase中.     

基于HBase的支持频繁更新与多用户并发的R树

基于位置服务的应用已经进入大数据时代,传统基于位置服务的技术面临系统扩展性、性能等方面的挑战。云计算技术是大数据处理的基础,索引是优化查询的重要手段。尽管目前已存在大量的研究成果,但尚未有HBase上的支持频繁更新与多用户并发的R树索引。针对移动对象索引的频繁更新与多用户并发的需求,文中提出了基于HBase的支持频繁更新与多用户并发的R树索引,它只索引包含移动对象的网格,避免了频繁更新问题;进一步基于HBase的数据行与数据分区的组织与读写特性,对R树的节点进行重组,并对网格Z-order编码,从而减少了对HBase的读写操作,提高了查询效率;最后提出了基于ZooKeeper分布式读写锁的优化策略,提高了索引的吞吐量。实验结果表明,与网格索引相比,在数据非均匀的情况下,所提策略的查询吞吐量提高了25%～50%,更新吞吐量约在同一数量级;与分布式共享锁索引相比,分布式读写锁索引的吞吐量提高了近40%。