基于HBase的交通数据时空分块索引

智能交通领域快速发展带来的海量交通数据已难以通过传统关系型数据库及时处理。针对交通数据的分布特点与查询需求,提出了一种基于分布式数据库HBase的时空分块索引框架(STB-HBase),利用HBase行键设计结合二级索引的方式,解决数据在时空维度分布不均引起的热点问题,并设计出STB-HBase下的移动对象轨迹查询和时空范围查询算法。实验结果表明,STB-HBase对交通数据有良好的存储性能和查询效率。     

基于SQL-on-Hadoop的分布式广电数据仓库的设计与实现

为解决传统数据仓库扩展能力弱,不支持非结构化数据的问题,江苏有线结合实际应用情况,基于SQL-on-Hadoop技术实现了分布式的广电数据仓库TRAF。TRAF融合了传统数据仓库与Hadoop技术,可以同时存储结构化和非结构化数据,具备良好的扩展能力。TRAF在HBase框架之上构建支持多重查询嵌套和多级索引ANSI SQL标准的查询接口,实现海量用户行为的实时分析;采用通用x86服务器替代原有小型机存储,大幅降低了系统构建成本。测试结果表明,数据量在10亿条时,TRAF的处理速度比传统关系型数据仓库提升了5倍,同时构建成本降低了50%,有效提升了广电数据分析系统的应用水平。     

一种基于TwemProxy的HBase索引缓存方案

随着大数据时代的到来,数据量呈现爆炸式增长,HBase作为一种非关系型数据库为企业级用户提供了具有高可扩展性的系统平台,然而HBase采用类B+树索引设计,不支持非主键索引,在应对基于非主键索引请求时,查询效率较低,难以应用于实时性较高的业务需求。文章设计并实现了一种非主健索引的HBase分布式集群优化方案,使用基于Twemproxy的Redis集群作为缓存设计方案,提出基于热度积累的缓存替换算法,降低HBase扫描的资源访问开销,提高索引性能。实验结果表明:改进后的集群设计方案较传统分布式HBase数据库在非主键查询效率上有较明显性能提升,在缓存命中率上提升约20%,并且保持良好的可扩展性。     

基于HBase的配用电海量时序数据存取研究

针对配用电海量时间序列数据,目前南方电网普遍采用关系型数据库进行存储,在技术上使用分库、分区、分表、联合索引等方式进行优化,灵活性、可扩展性、存储量等方面都存在问题。为满足配用电海量时间序列数据的存储要求,分析了关系型数据库优缺点,提出采用分布式数据库HBase构建电力系统数据中心以提高系统性能,并重点分析了HBase数据存储机制及实现方法,最后通过仿真实验进行对比。实验结果表明,基于HBase的配用电海量时间序列数据存取技术在存储及查询操作上具有较大的性能优势。     

一种海量数据库记录归档处理和查询方案

提出了一种对海量数据进行归档的处理方式,能够简单、高效地存储和访问这些数据.其基本思路是在归档时,对不同的数据进行分别处理,建立索引和压缩数据,将索引和压缩数据存储在文件系统中,并对归档后的记录提供独立高效的查询支持.     

基于分布式的遥感数据管理系统研究与实现

文中基于分布式系统构建了一种集存储、管理和计算为一体的多源异构遥感数据管理系统,系统使用Apache HBase存储标准化后的遥感瓦片对象;使用MongoDB存储瓦片元数据,并根据Z曲线编码进行范围分区,实现负载均衡;使用Apache Spark+GDAL进行栅格计算;利用改进的Z曲线编码进行空间查询。经过原型系统性能测试实验表明,文中查询方法在百万级数据量的窗口查询下是PostgreSQL的空间索引查询性能的4.25倍,计算时使用惰性加载图像数据的策略,计算效率相比GeoTrellis提高了18%。     

铁路通信数据HBase分布式查询系统设计

目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据存储模块和数据查询模块。利用HBase存储算法设定存储模型,得到逻辑片段集合,通过分析逻辑关系实现存储调度。实验结果表明,设计的基于HBase的铁路通信数据分布式查询系统数据写入性能响应延迟时间低于0.2 ms,缓冲性能写入延迟时间低于0.1 ms,能够很好地保证查询实时性。     

一种海量数据查询的实现方案

文章对海量数据的查询方法展开探讨,并提出具体基于存储在HBase中的查询解决方案。     

基于HBase的后勤保障监控数据实时检索方案设计

后勤综合保障监控数据有着实时性、流速快、海量以及多维度的特征,对于监控数据的多维度检索、分析和预警都有较高的实时性要求。鉴于此,文中基于HBase设计了一种分布式监控数据实时存取系统。通过Kafka Streams进行流数据清洗解码,并利用ElasticSearch构建二级索引优化查询。实验表明该系统对PB级数据多维度检索性能提高10～30倍,方案可行且高效。     

基于Hadoop和HBase的分布式索引模型的研究

随着互联网上信息量飞速增长,海量数据的索引出现了难题,现行的索引方案已经难以提供高效、可靠的服务,为此,设计并实现了一种针对海量数据进行索引的平台模型。该平台模型首先利用Solr分布式索引器生成索引文件,然后利用Hadoop分布式集群,以HDFS分布式文件系统、Map Reduce分布式并行计算模型、Zookeeper同步协同系统以及Hbase分布式数据库技术来处理、协调管理索引和存储海量数据,最后通过实验测试,该平台模型可以克服现行的海量数据索引时存在的效率低的问题,同时具有良好的扩展性和可靠性。     

基于Solr的全台网门户检索系统的设计与实现

全台网门户是基于浙江广电全台网项目的门户入口,本门户网站涉及电视节目文件化播出的送播业务、权限申请业务、下载业务以及大量的查询业务.本文基于开源搜索引擎框架Solr对全台网门户信息检索系统进行了概要设计,然后从前置数据处理模块、Solr配置模块、Solr搜索模块三方面,对全台网门户信息检索系统进行了详细设计,实现的检索系统不仅能为存储在数据库中的各种数据提供检索功能,还能检索存储在服务器中的软件工具.     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

SQL Server 2012的列存储索引技术有效运用

若想为加强数据库查询的性能,可通过SQL Server 2012在表中建立列式的索引,提高工作的效率。文章主要分析了列存储缩影存储的原理,探讨列存储索引应用局限和优势,以便相关用户能够在列式索引下挖掘各种交互式数据,进而获取既有数据商业价值。     

基于自定义的LIRe和HBase的海量医学图像检索

为了解决海量医学图像检索效率低的问题,提出一种自定义的LIRe和HBase相结合的方案.首先,将医学图像上传到HDFS;然后,通过自定义LIRe框架分别提取海量医学图像的形状以及纹理特征并将特征向量及图像的绝对路径存储到HBase中.最后,利用MapReduce模型以及图像特征索引工具LIRe方便地对医学图像特征建立索引进行特征匹配实现检索.实验结果证明,自定义的LIRe提高了检索准确性,相比将医学图像以及特征向量均存储在HDFS中,也提高了检索效率.     

内存映射技术在大数据存储应用中的研究

针对无线网络技术研究中对大数据实时存储和国产化需求,在Qt平台下利用内存映射技术,设计实现了一种针对大数据的实时存储方案,可实现对无线网络中频采样数据和解调解码数据的实时存储。并通过设计有效的索引机制,极大的提高了后续离线数据分析时的数据搜索效率。最后通过测试代码对该内存映射文件存储技术进行了实验验证。     

基于图形数据库Neo4j的RDF数据存储研究

现有的RDF数据分布式存储方式大多将RDF数据分成多个维度,存储多份数据,这无疑大幅度地增加了数据的存储空间,同时给数据的管理带来了很大的难度。本文通过将RDF数据以图的形式存储在图形数据库Neo4j中,大幅度地减少了RDF数据存储的数量。同时,图形数据库Neo4j在数据查询时建立多维索引机制,大大提高了大量复制RDF数据的处理效率。     

基于XML信息检索技术的研究

基于XML信息检索技术首先要解决的是建立一个比较高效的索引机制,索引是实现快速查询的重要保证。在介绍了两种基于关系数据库索引技术的基础上,提出一种新的倒排索引技术,并在查询效率和存储开销两个方面进行对比分析,通过实验数据说明新索引技术可取得查询效率和存储开销的最佳权衡。     

分布式列存储数据库性能测试方法研究

针对分布式列存储数据库的性能测试标准尚不成熟、测试数据量大、产品选型困难的问题,提出了一种列存储数据库的性能测试方法,详细介绍了两款分布式列存储数据库HBase和Cassandra,根据业务场景选择适合的读写操作比例和测试环境、测试数据的准备工作,并记录了HBase、Cassandra的性能测试结果。测试结果表明,HBase在读写混合场景时读性能较好,Cassandra写性能和只读操作性能方面相比于HBase均占优势。     

FastBit在流量测量系统中的应用

通过对当前网络测量系统中数据存储方案的分析,引入一种新的基于位图索引的列式数据库FastBit的解决方案,通过对不同查询类型引入不同索引编码方法,可以提高查询的效率,使用WAH算法减少了索引占用的存储空间,位图索引可以在查询时快速生成,不需要时删除。通过在网络环境下的测试,证明了该解决方案比基于SQL数据库的方案有更高的效率,更适合高速网络的测量。     

基于网络共享的材料性能数据库系统

针对材料性能数据管理的需求，文中提出一种材料性能数据网络共享方案，该设计包括材料性能数据采集、数据查询、数据分析、数据可视化以及数据安全管控模块的材料性能数据库系统，能解决现有材料性能数据库网络化共享不足、数据融合及多学科支持不足、智能化服务不足、标准化不足和数据安全管控不足等问题。采用分级访问控制策略，用户登录系统后对材料性能数据进行标准化处理并存储，形成共享材料性能数据库；再对存储的标准化处理后的材料性能数据按照权限进行受控查询共享，对受控查询共享得到的材料性能数据进行对比分析；最后，对得到的受控查询共享结果和得到的对比分析结果进行可视化展示。数据库系统采用基于B/S跨平台J2EE的MVC架构集成第三方计算平台，用户通过浏览器及网络可方便使用材料性能数据及相关服务；数据库采用MongoDB，支持分布式存储及高效查询。