基于HBase的大数据架构下负载平衡技术

随着气象数据规模和种类的不断增长,气象数据已经逐渐进入海量服务阶段,而基于大数据背景提供更敏捷的数据服务已经成为业务发展的迫切需求.本文针对气象中的半/非结构化数据,提出基于HBase系统的负载平衡算法和策略.在实际测试对比中发现,系统可以满足200多万个格点,100个并发的场景,查询速度在2 s以内,与未曾增加负载平...     

基于HBase的工业时序大数据分布式存储性能优化策略

在自动化的工业场景中,大量工业设备产生的时序性日志数据量呈爆炸式增长,业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据,但由于未考虑特定业务场景中数据与访问行为特征的关联,现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题,基于分布式存储系统HBase,利用工业场景中数据与访问行为特征的关联性,提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题,提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型（LR）对数据进行冷热分类,并将热数据分散存储在不同节点;同时,为进一步降低存储集群中跨节点的通信开销,以提升工业时序数据高维索引的查询效率,提出索引主数据同Region化策略,设计索引RowKey字段及拼接规则,将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明,引入优化策略后的数据负载分布倾斜度降低28.5%,查询效率提升27.7%,验证了所提优化策略能够有效地挖掘特定时序数据的访问模式,合理地分配负载,降低数据访问开销,有能力满足对特...     

分布式计算环境中典型RPC的比较研究

本文介绍了分布式计算环境中两种典型的远程过程调用机制：ＯＳＦ／ＤＣＥ中选用的ＲＰＣ，即ＮＣＳ２．０，和Ｓｕｎ／ＯＮＣ中的ＲＰＣ。文中重点在以下七个方面进行了比较性研究：数据表示，联编，可扩展性与一致性，传输层无关性与透明性，可靠性，安全性和多线程技术。最后，介绍了为实现两种ＲＰＣ间的可移植性和可互操作性所作的努力。     

基于InfiniBand的RPC优化

随着无限带宽(IB)网络技术的发展,IB网络以其高性能、低延迟以及低功耗和低成本的优势逐渐在数据中心占据重要的地位.而作为重要的网络通信模型,远程过程调用(RPC)协议如何利用IB网络的远程内存直接访问RDMA特性是一个重要议题.NFSover RDMA解决了内核态下网络文件系统(NFS)利用RDMA协议传输数据的问题.然而,面向跨越内核态和用户态的RPC应用,目前仍然没有基于IB的RPC相关优化.通过将IB协议族中的套接字直接协议(SDP)集成到现有RPC协议中,使内核态以及用户态RPC程序都能使用IB网络的RDMA协议,从而提升网络传输性能.经测试,此方案与传统的基于TCP/IP协议的RPC实现相比,用户态RPC与内核态RPC可分别获得10％00和35％的性能提升.     

Novell网实现RPC的工具

本文概要介绍了基于计算机网络环境信息处理的发展趋势－顾客／服务器网络服务方式，并以此为基础，描述了ＮＯＶＥＬＬ网络环境下，为顾客／服务器应用程序的开发提供的了一种有效工具。     

实现RPC的一种方法

本文首先讨论了ＲＰＣ的功能和通信模式，在分析了几种典型的ＲＰＣ机制之后，提出了一种实现ＲＰＣ的方法，内容包括ＲＰＣ语义的研究，ＲＰＣ机制的构成成分及功能，实现时所用的主要数据结构和算法步骤及其特点。     

基于RPC的通用数据库性能测试工具构架

以常见数据库测试基准为对象,以实际测试工作为基础,总结分析在数据库性能测试工作中所需的测试程序的构架需求。借助远程过程调用机制,设计并实现一种满足可控、互通、分布、高效和灵活需求的数据库性能测试系统通用构架,该构架兼顾用户界面的交互,引入异步通信机制增强整个系统的可用性。     

用户态RPC协议分析及其多线程优化

RPC(Remote Procedure Call)协议有多个版本,分为内核态RPC与用户态RPC两类.开发人员根据设计需求选用合适的RPC版本,很多情况下会涉及跨内核态和用户态的通信.用户态RPC不如内核态RPC完善,缺少多线程机制、RDMA(Remote Direct Memory Access)机制等,需要优化以提高性能.结合此类需求,分析了用户态TI-RPC(Transport Independent Remote Procedure Call)运行机制,提出分层多线程的优化方法;利用TI-RPC底层接口重构RPC端口创建与服务启动;增加线程池机制,使TI-RPC在RPC层实现多线程并发服务.性能对比测试表明RPC内部多线程优化可将网络的利用率提高到网络满带宽的93%.     

基于HBase的海量文件的检索方案研究

在互联网(尤其是移动互联网)、物联网、云计算、大数据等高速发展的大背景下,数据呈现爆炸式地增长。这类数据不规则的特性决定了其无法再按照传统基于属性列的方式进行检索,而是需要具备更加庞大的水平扩展性。使用No SQL数据库HBase和搜索引擎Elastic Search相结合,通过对检索方案进行设计,对关键字匹配、语意检索、逻辑关系等检索策略进行测试和分析,实现能够快速、准确的适用于海量数据的检索方案。     

客户机／分布式服务器系统模型中的RPC通信设计

本文详细给出了客户机／分布式服务器系统模型中RPC通信的设计,其中包括客户机／分布式服务器系统模型的提出、基于该模型的RPC通信设计要解决的问题、该模型下RPC通信的设计思路、设计框图、设计对服务器方RPC应用程序的要求、接受客户机调度请求的服务器地址的指定、设计中涉及的关键问题及解决方法等。     

基于HBase的多分类逻辑回归算法研究

为解决在大数据环境下,用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户端内存的问题,提出了块批量梯度下降算法,用于计算回归模型的系数。将训练数据集存入HBase后,通过设置表扫描对象的起始行键参数,可取出大小合适的含训练样本及结果值的数据块,同时为避免客户端到服务端频繁的RPC调用,取出的数据块可进行多次迭代计算,以加快系数的收敛。当取出的数据块达到指定的迭代次数后,再按行键次序取出下一个数据块,如此循环,直到系数收敛或达到指定的循环控制阈值。多分类的逻辑回归问题可转换为二分类来解决,因此需要为每一个分类在训练数据表中设定结果值列,结合训练样本列簇,按块批量梯度下降算法得到每个分类的回归系数。实验结果表明,得到的回归系数,能准确的对测试样本进行分类。     

基于对等网络的RPC通信模型

对等网络是使PC或其它终端不通过服务器便可以直接在Internet上进行通信的技术;而远程通信是实现对等网络通信的基础,据此提出了一种基于对等网络的远程通信模型,并对模型的结构、实现和远程地址动态定位的方法进行了讨论。     

基于HBase的海量地形数据存储

随着遥感技术的发展,遥感数据的类型和量级发生了巨大变化,对于传统的存储方法产生了挑战。针对HBase中海量地形数据管理效率不高的问题,提出一种四叉树-Hilbert相结合的索引设计方法。首先,对传统地形数据管理方式和基于HBase的数据存储国内外研究现状进行了综述;然后,在基于四叉树对全球数据进行组织的基础上,提出了四叉树和Hilbert编码相结合的设计思想;其次,设计了根据经纬度求地形数据的行列号和根据行列号计算Hilbert编码的算法;最后,对设计的索引的物理存储结构进行了设计。实验结果表明,利用设计的索引进行海量地形数据入库,数据入库速度与单机情况相比,提高了63.79%~78.45%;在地形数据的范围查询中,设计的索引与传统的行序索引相比,查询时间降低了16.13%~39.68%。查询速度最低为14.71 MB/s,可以满足地形数据显示的要求。     

基于HBase的遥感数据分布式存储与查询方法研究

遥感影像的存储与查询是地理信息处理中重要的内容,在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题,提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分,并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。另外,采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明,与MySQL和MapFile相比,该方法可以有效地提高数据的写入和查询速度,且具有较好的可扩展性。     

基于HBase的QAR数据存储设计与实现

为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。     

基于HBase的列存储压缩策略的选择优化

大数据时代背景下,列存储数据库使用场景愈加增多,推动了列存储相关领域的研究进展。为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大,分类粒度小,配套分类算法缺陷导致的学习成本高,压缩效率难以保证的问题,本文提出了一种基于排序的列区混合压缩策略,首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较,实验结果显示本文方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了本文方法的有效性。     

面向海量交通数据的HBase时空索引

针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法。通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景。     

大数据通信中带宽优化技术仿真

在宽带通信中,采用点对点信道传递技术,在传递大数据时,服务器只起到链接作用,无调控功能,造成信道很容易被海量数据占用,带宽占用率过高.传统的带宽调整策略都是在应用到对等网络中时,以服务器流量分流控制为基础,对等网络中,服务器不再起调控作用,因此,传统的带宽优化通信技术效果较差.提出基于均衡遗传算法的对等网P2P大数据通信中带宽减压方法.采用均衡技术,使种群中的所有个体均衡分布在指定空间中,针对所有的种群个体进行染色体编码,建立所有染色体构成的初始种群,对种群个体进行选择、交叉和变异运算,获取通信中带宽数据传输的合理调度方式,实现对等网P2P大数据通信中带宽减压.实验结果表明,利用改进算法能够在短时间内传递大量的通信数据,提高了带宽效率,满足了大数据通信的实际需求.