基于行键的HBase大数据文件存储转换与快速检索研究

针对传统关系型数据库很难满足数据的快速存储与检索的问题,研究了基于数据文件字段映射表、文件对象字段、HBase列映射表和存储转换执行方案映射表解决文件对象的异构性和存储转换的通用性问题。提出了自定义RowKey行键的规则与生成算法;给出了基于映射表与行键的数据转换与存储流程及算法;最后基于行键前缀匹配或关键字匹配方式实现了不同需求的数据快速访问与检索,且具有较强的通用性。     

基于HBase的海量文件的检索方案研究

在互联网(尤其是移动互联网)、物联网、云计算、大数据等高速发展的大背景下,数据呈现爆炸式地增长。这类数据不规则的特性决定了其无法再按照传统基于属性列的方式进行检索,而是需要具备更加庞大的水平扩展性。使用No SQL数据库HBase和搜索引擎Elastic Search相结合,通过对检索方案进行设计,对关键字匹配、语意检索、逻辑关系等检索策略进行测试和分析,实现能够快速、准确的适用于海量数据的检索方案。     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

基于云计算的图像检索研究

以Web2．0技术为代表的现代技术快速发展及应用,加速了网络信息容量的膨胀。如何从如此庞大的信息源筛选出用户所需的信息,尤其是图像信息,则必须对这些信息进行高效地检索。图像检索传统算法上的改进难以解决海量数据存储、计算及传递等一系列问题,云计算作为一种新兴的计算模型,对解决图像检索发展遇到的瓶颈有着极其重要的推动作用。     

海量数据分布式存储与检索优化分析研究

本文主要是针对关系型数据库的信息管理系统在处理海量数据的存储与检索方面的一些可选方案进行探讨与分析,并结合实际应用,分别从分布式数据存储、动态表、索引、查询语句优化等4个方面对海量数据的存储与检索给出可行的优化配置解决方案。     

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。     

基于云存储技术的数据库密文验证式检索研究

传统检索方法构建的检索模型与搜索体系之间缺少逻辑,检索效果不佳,因此研究基于云存储技术的数据库密文验证式检索方法.基于云存储技术设置密文搜索体系;制定检索逻辑;通过密文检索模型执行数据库密文验证式检索任务.设计对比试验,测试索引和检索性能.实验结果得知,这种方法在索引文件中用时最少,得到的检索文档数据更多.证明该方法有...     

列式数据库持续突破

虽然行式数据库依然大行其道,但列式数据库市场份额在不断扩大当中。 过去30多年数据库发展史上,列式数据库第一次改变了数据存储的方式。由于数据按列存储,数据类型都一样,数据特征相似,所以可以对数据进行高效压缩。这种压缩在使用的时候,不仅没有性能的损耗而且正是因为做了大幅度的压缩,它的I／O量大大减少,通过列式存储和强力的压缩使得性能大大提高。     

基于数据冗余的HBase合并机制研究

HBase列式数据库的所有操作均以追加数据方式写入,导致其合并机制占用资源过多,影响系统读性能。为解决该问题,提出一种基于数据冗余的合并机制,将列族下文件删除数据占比达到设定阈值的文件进行合并,以减少无用数据在系统中的占用空间。实验结果表明,与HBase原有仅考虑文件大小、个数和时间间隔的合并机制相比,改进的合并机制可提高HBase系统查询效率以及Major合并性能。     

海量网络数据智能分级存储技术研究

随着网络的普及和应用,诞生了海量的网络数据,因此针对海量网络数据实施有效的存储,可以提高数据的访问效率和安全性。文章详细地分析了海量网络数据智能分级存储现状,提出了一种智能分级存储系统,并且研究了智能分级存储的数据分类技术、数据放置技术、数据迁移技术等关键技术。     

基于非关系型数据库的水文数据分析方法研究

针对水文结构化和非结构化数据中的文字信息分析,以及从分析结果直接调取原始数据进行溯源以验证数据的真实性,提出基于非关系型数据库的水文数据分析方法。将海量水文数据存储在 TRIP 非关系型数据库,搜索引擎集成在数据库,利用索引、中文自动分词、检索和统计分析功能,对水文数据中的数值、日期、 时间、文字内容进行分析。对水文观测项目文字内容的分析,获得水文测站的水文观测项目分布;对长序列、 全时段分钟降水数据的分析,获得降水变化特征;对单站单日降水量的分析,获得单站单日降水量的分布,读取数据库中降水自记纸图像文件并进行溯源。研究结果表明：在非关系型数据库存储海量水文结构化和非结构化数据的基础上,能够对海量水文数据进行分析和数据溯源,具有现实的应用价值。     

基于云技术的分布式实时数据库高性能数据存储检索机制探讨

随着科技的不断改革与发展,云计算技术在各个领域得到了广泛的扩展和应用,为适应时代的各种需求,高职院校也应将云计算技术渗透于计算机教学中。本文结合云技术的基本定义,提出建立分布式实时数据库的框架、分布式实时数据库高性能数据存储机制以及分布式实时数据库高性能数据检索机制的具体内容,重点探讨了基于云技术的分布式实时数据库高性能数据存储检索机制,以为高职计算机教学提供参考。     

一种基于Hive日志分析的大数据存储优化方法

从2002年起,某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长,数据集高速增长,原生的Hive的查询性能已经不能令人满意。文章研究了大数据及存储的现状,提出了一种基于存储日志的分析的Hive存储格式优化方法,通过该优化方法从查询时间和存储空间利用率两方面使系统性能得到提升,提升了查询效率。论文对该金融机构原有Hive存储系统通过基于存储日志分析的Hive存储格式优化方法进行改进,通过实际数据,充分证明了该方法的可行性。     

一种关系型数据库自动划分方法的设计

随着互联网、物联网的发展,软件系统收集和产生了海量的数据,单个数据库由于各种限制已经无法满足海量数据存储和访问的要求,必须将数据分散在多个数据库中,以达到存储海量数据、平衡负载、提高系统可用性的目的。如何将单个数据库中的数据划分到不同的数据库中成为数据库管理员面临的首要问题。本文提出一种综合考虑SQL语句、SQL语句执行频率,服务器性能,数据量等多因素的数据库划分方法,满足数据存储和访问要求,从而为数据库设计人员划分数据库提供帮助。     

HBase数据库中大对象存储方案的研究

在云计算和大数据时代,电子商务、移动互联网以及各种智能终端的兴起,产生了大量的数据,其中图片、视频等在社交领域经常使用的数据都是非结构化的,所以无法用传统的数据存储技术进行存储。HBase是一种适合存储大对象的非结构化数据库,该文对HBase数据库存储大对象的技术进行分析,以为大对象存储提供经验。     

无人机数据库中海量飞行数据快速检索模型设计

对无人机数据库中海量飞行数据进行快速准确的检索,能够为无人机的安全飞行提供可靠的保障。传统的数据检索方法进行海量飞行数据检索的过程中,没有考虑飞行数据之间的联系,在检索的过程中需要频繁扫描数据库,降低了挖掘效率。提出一种基于模糊粗糙集算法的无人机数据库中海量飞行数据检索方法。该算法在充分考虑到飞行数据之间的联系的前提下,利用自动标引技术对数据库中的实时飞行数据进行分析,再利用特征向量进行飞行数据的内部描述,计算飞行数据检索的模糊表示的上、下近似集,建立海量飞行数据检索模型,根据模型的输出结果利用布尔逻辑进行模糊匹配,最终检索出与查询的关键词近似的飞行数据,并将检索结果按照相似度进行排序。实验结果表明,该算法能够提高检索的效率,效果令人满意。     

通信网络数据云存储数据库可验证密文检索研究

云端数据加密在保障数据安全的同时,也给数据检索工作带来了困难.为此,提出一种通信网络数据云存储数据库可验证密文检索方法.首先分析云存储数据库加密形式,选取字符型数据作为加密检索对象;然后预处理字符型数据,建立密文索引结构,再对用户检索词进行处理,包括去停用词、查询切分、查询扩展、检索词加密等过程,最后通过计算密文检索词...     

基于分离存储技术的海量图像数据库管理系统的构建及实现

如何构建海量图像数据库管理系统才能实现图像的快速存储与显示是航测图像应用中的关键问题之一。主要从实现原理、算法流程、快速存储与显示技术三方面讨论了此问题,给出以缩略图替代原始图预览、内存流和特大图像动态显示为主要技术的整体解决方案,并介绍了一个基于上述技术的实例系统IMAGESee。     

基于本体的教育资源语义检索关键技术研究

该文对基于本体的语义检索涉及的几个关键技术进行了深入探究,包括教育资源本体的构建、本体数据的存储等。并在此基础上设计出基于本体的自适应Web信息抽取模型和本体数据及实例数据存储模型。