基于HBase整合Hive的查询性能研究

HBase可以实现海量数据的查询,但是在数据定位方面具有先天劣势.引入Hive对HBase进行优化,搭建了一个基于"HBase存储+Hive查询"的整合框架.通过对美国新冠肺炎的部分数据分别使用HBase与HBase+ Hive整合框架进行数据统计并且记录查询时间,可证明HBase+ Hive整合框架的查询性能优于HB...     

H Base 下时态信息索引策略研究

针对海量非结构化时态信息存储与快速检索的需求,提出使用Hadoop 平台下的分布式、非结构化数据库HBase对海量时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型;设计了多级分布式哈希索引表算法（ tDHT）,实现对时态列族的时态属性值的高效、快速的检索。通过将时态属性值向二维空间映射,实现时态数据向空间对象的转化,采用对空间数据的处理方法对时态数据区域进行划分,生成多级时态数据子区域,利用分布式哈希表思想设计HBase存储的多级索引表目录。实验结果表明,该索引策略具有较高的性能,可以在一定程度上加快对HBase中时态信息的检索速度。     

基于HBase数据库的数据分布式存储方法

针对互联网数据种类繁杂、数量过多且占用内存较大等问题,提出基于HBase数据库的数据分布式存储方法。鉴于HBase稀疏行/列矩阵存储的特点,从逻辑模型和物理模型两方面展开分析;利用OGC简单要素模型建立空间数据模型,将几何对象转换为字节对象,提高用户读写效率;利用网格空间索引作为索引机制,通过分析每个网格的索引ID值得到属性信息和拓扑关系,便于用户查询;数据存储模型由网格金字塔模型完成构建,根据数据的多尺度层级结构特征,划分为不同的层级,每个层级都有其各自的数据图层表结构和字典表结构,用户可快速找到所需的数据。结果表明：所提方法可生成合适的节点数量,取得理想的读写效率和存储效率。     

基于HBase的输电线路综合数据存储方案设计

输电线路综合数据具有复杂性、体量巨大及多源异构等特点。针对当前关系数据库对于视频图像、图片等非结构化数据处理能力不足的问题,结合大数据的相关理论,提出基于Hadoop和HBase的输电线路综合数据的存储方案,将结构化数据和非结构化数据均转化为Bytes数组存入HBase数据库,并阐明具体的存储原理和工作方式,有效地解决了原有数据信息共享性差、非结构化数据难以存储等难题,弥补了关系数据库的不足,为大数据时代下智能电网的信息化建设提供思路。     

大数据技术在医疗健康管理的应用与设计

面对传统医疗健康管理系统在存储和管理海量数据方面表现欠佳的问题,提出基于Hadoop对医疗健康数据进行高效管理和快速处理的方法。根据医疗健康数据特点,将HBase与Solr相结合实现多条件查询从而提高查询效率。设计医疗健康数据HBase数据库、医疗健康数据写入HBase过程和医疗健康数据MapReduce查询分析三个组成部分,搭建Hadoop集群环境,对HBase和MapReduce的性能进行测试对比。经测试,当数据量逐渐增大到一定规模时,该模型表现出明显的优势,可满足海量的医疗健康数据管理要求,缩短了计算时间,提高了处理效率。     

大数据基元的HBase数据库存储模型与实现

大数据将在未来经济、社会和生活等领域产生深远影响,而大数据的整合存储研究为促进和深化其应用范围有重要的理论和实践意义。本文利用分布式文件系统HBase的数据存储结构特征,采用可拓学基元对异构数据集进行整合处理并存储在HBase数据库。通过提取数据特别是半结构化和非结构化数据的典型特征和属性取值并转换为基元后生成一个新的数据集,不但为数据分析和数据解释提供一种新的实现方式,而且为领域问题的策略生成提供大数据的研究思路和解决方案。     

基于NoSQL的PDM零件非几何信息存储策略

MBD技术在制造业上的应用,使现有PDM系统中存在着大量RDB难以处理的非结构化数据。提出了一种PDM混合数据存储策略,用RDB存储零件的描述信息,而其实际内容则用NoSQL数据库存储。该方案不仅可以利用RDB的结构化特点来方便查询与统计,还能充分利用No SQL灵活的存储结构较快处理非结构化数据。实验结果表明,该策略可以有效的提升查询速度,降低数据的存储空间。     

海量短信快速查询系统

基于HBase技术,采用索引表和详情表来存储短信数据,设计了基于REST的短信分页查询接口,实现了海量短信的秒级查询。     

老年智能社区多源异构数据云存储与查询

老年智能社区复杂,管理涉及多源异构数据,针对传统数据存储方法在数据存储量、存储类型、扩展能力上的不足,将云计算技术应用到老年智能社区管理中,提出利用HBase与Hadoop云平台进行老年智能社区多源异构数据的存储与查询。首先分析老年智能社区的数据多源性,根据数据的特点将其分为医学影像、空间数据和属性数据3类,分别设计医学影像存储方法、空间数据存储模型、空间索引与属性数据倒排索引。在集群环境下分别对3种数据进行写入与查询实验。实验结果表明:该方法能够解决老年智能社区多源异构数据的存储与查询问题。     

基于STM8S单片机的档案数字化

针对传统实物档案管理中盘点效率低、档案存放位置不清、借还手续繁琐等问题,设计了一种以STM8S为核心的档案数字化系统。通过TCRT5000光电传感模块检测当前档案状态,通过无线射频模块读/写RFID标签数据,实现对档案的编码、分类、存储和读写等操作,再通过集中控制器将档案数据信息上传至PC机,为用户二次开发提供便利。实验结果表明,该方法能够准确高效地实现档案的入库、存储、查找、出库等,且操作简单。该方法可以推广至图书馆、仓库等应用系统中。