基于行存储模型的模拟列存储策略研究

列存储模型在只读的数据仓库应用中表现出非常好的性能,很多研究表明对于典型的OLAP查询,列存储数据库的性能大大优于行存储数据库.根据列存储模型的特性及数据处理特点,在传统的行存储模型关系数据库中模拟列存储的存储模式及数据处理过程,并通过优化的基于聚类的列存储模型、全索引模型与典型的行存储方式进行类比性能测试.实验结果显示,采用传统行存储模型模拟的列存储模型针对OLAP类查询具有很高的数据访问速度及查询性能,整体性能介于行存储数据库与列存储数据库之间.对于实际应用系统来说,该方案减少了整体系统部署代价,而且无需为提高OLAP查询的性能增加额外系统(列存储)投入,从而为OLAP应用提供了良好的性能支持.     

压缩数据上的关系代数操作算法

针对在大数据管理中,在压缩的数据上无需解压即可进行相关操作的问题,在数据服从正态分布的前提下,根据列数据存储的特点,提出了一种新的面向列存储的压缩方法——CCA。首先,通过对列数据的长度进行归类;然后,采用抽样的方法获得重复度较高的前缀;最后,使用字典编码进行压缩,提出了列索引(CI)和列实体(CR)作为数据压缩结构来降低大数据存储的空间需求,从而直接有效地在压缩数据上支持选择、投影、连接等基本操作,并实现了基于CCA的数据库原型系统——D-DBMS。理论分析和在1 TB数据上的实验结果表明,该压缩算法能够显著提高大数据的存储效率和数据操作性能,与BAP和TIDC压缩方法相比,在压缩率分别提高了51%、14%;在执行速度上提高了47%、42%。     

面向列的内存访问研究综述

在大规模、数据量密集的特定应用场景下,以行存储访问数据的方式弊端日益凸显,逐渐不能满足数据高速访问的性能需求,数据亟需更加高效的传输和处理方式.因此,拓展新的内存访问方式,并且同时兼容行、列方向的访问对提升访问效率、降低整体功耗、节省内存空间有着重要意义.本文围绕动态随机存储和非易失性存储两个方面来详细介绍实现列方向的内存访问方式,重点分析了存储单元的结构设计以及实现列向存储访问过程.最后,对内存两种不同访问方式进行了比较和总结,并且对行列访问的内存数据库、数据挖掘、数据加密算法、实时系统的应用场景进行了展望.     

浅谈SQL Server 2012列存储索引技术

为了提高数据库的查询性能,SQL Server 2012提出了在表中创建列式索引。本文阐述了列存储索引的存储原理及使用列存储索引的优势与局限,旨在可以让用户通过列式索引卓越的性能挖掘交互式的探索数据,从而通过现有数据获得更多的商业价值。     

HUABASE:基于列存储的关系型数据库系统

HUABASE是基于列存储的关系型数据库系统.列存储技术的特点是数据查询效率高、读磁盘少、存储空间少,是构建数据仓库的理想架构.HUABASE实现了多种数据压缩机制、查询优化和稀疏索引技术,在支持高效率的商业智能方面具有良好的发展前景,可以帮助企业轻松做出明智的业务经营决策.     

基于列数据库的RDF数据管理实现

随着语义网的发展,Web上越来越多的开放数据以RDF格式发布,对海量RDF的有效管理是实现语义网的一个重要条件.文中讨论并分析了现有的几种RDF数据存储方法,针对垂直划分的方法,基于列数据库MonetDB,实现了一个RDF数据管理方案.该方案将RDF和RDFS信息分开存储,并在Barton数据集上,设计了包含几种连接的基准查询,对比RDF管理系统Sesame的三元组模式,分别进行了存储空间和查询效率测试.实验结果验证了基于列数据库的垂直划分方案的有效性.     

基于HBase的列存储压缩策略的选择优化

大数据时代背景下,列存储数据库使用场景愈加增多,推动了列存储相关领域的研究进展。为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大,分类粒度小,配套分类算法缺陷导致的学习成本高,压缩效率难以保证的问题,本文提出了一种基于排序的列区混合压缩策略,首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度,然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐,在TPC-DS标准数据集上与前人策略进行比较,实验结果显示本文方法在压缩率、压缩/解压时间方面均有优异的表现,从而证明了本文方法的有效性。     

一种列存储数据仓库中的数据复用策略

数据复用是数据仓库管理中节约存储空间、提高查询效率的重要手段.列存储技术将来自同一属性的数据连续存储,极大地提高了数据仓库等分析型应用软件的性能,同时增加了复用的可行性和灵活性.为此,提出了一种列存储数据仓库中的数据复用策略.首先,利用模式匹配技术发掘候选可复用列,排除大量无法复用的数据列,在此基础上对候选可复用数据进行筛选和过滤,大大降低复用数据检测的复杂度.针对确定的可复用数据,提出了基于列存储的复用实现策略,分别给出了原始数据列、压缩数据列及索引数据列的复用实现方法.最后提出了基于复用数据的查询实现技术.在大规模数据仓库基准数据集上的实验结果验证了数据复用策略在减少存储量、节省数据装载时间及提升查询性能方面的有效性.     

面向空间应用的数据对象存储与检索系统研究

针对当前标准对象存储系统的数据对象属性存储和检索方面的不足,结合空间应用数据对象特点,进行了对象属性设计,提出了一种基于HBase数据库的属性管理方法。该方法利用HBase数据库对数据对象及其属性进行集中管理,同时采用分段散列索引实现利用对象属性快速检索对象数据。测试结果表明,基于HBase数据库对象管理方法性能优于现有的属性管理方法,具有较高的对象属性检索效率。     

大数据环境下数据读取关键技术研究

针对大数据环境下数据读取面临的主要挑战,文中重点研究了分布式文件系统中数据读取关键技术。根据数据存放结构的不同,从数据加载、查询处理和存储空间利用三个方面分析比较行存储、列存储和行列混合存储的优缺点和面临的挑战,重点介绍列存储中涉及到的压缩和物化技术,具体分析了存储压缩中经常运用的行程编码算法、词典编码算法、位向量编码算法和元组重构中运用的延迟物化技术。通过分析现有技术存在的问题,探讨相关的解决方案,并展望了未来研究的发展方向。     

An Efficient Schema Transformation Technique for Data Migration from Relational to Column-Oriented Databases

Data transformation is the core process in migrating database from relational database to NoSQL database such as column-oriented database. However, there is no standard guideline for data transformation from relational database to NoSQL database. A number of schema transformation techniques have been proposed to improve data transformation process and resulted better query processing time when compared to the relational database query processing time. However, these approaches produced redundant tables in the resulted schema that in turn consume large unnecessary storage size and produce high query processing time due to the generated schema with redundant column families in the transformed column-oriented database. In this paper, an efficient data transformation technique from relational database to column-oriented database is proposed. The proposed schema transformation technique is based on the combination of denormalization approach, data access pattern and multiple-nested schema. In order to validate the proposed work, the proposed technique is implemented by transforming data from MySQL database to HBase database. A benchmark transformation technique is also performed in which the query processing time and the storage size are compared. Based on the experimental results, the proposed transformation technique showed significant improvement in terms query processing time and storage space usage due to the reduced number of column families in the column-oriented database.     

分布式存储系统HBase关键技术研究

HBase是一个面向列的非关系型的开源分布式存储系统,它基于Hadoop HDFS文件存储系统,使用MapReduce来处理海量数据,利用Zookeeper作为协同服务,它使用简单的键值对映像关系为超大规模和高并发的海量数据实时响应系统提供一个很好的解决方案。对HBase的体系结构、数据模型、MapReduce算法设计等几个方面进行详细阐述,并对HBase的未来发展做出展望。     

基于数据仓库的C/S模式财务物流信息系统设计

将数据仓库技术和C/S模式数据库技术应用于高校后勤财务与物流信息系统一体化设计中,采用事件驱动的体系结构和业务与信息处理集成的模式,将会计信息的采集、存储、处理、传输嵌入到业务处理系统中,由业务数据直接导出会计信息。系统将数据仓库、方法库和模型库有机地结合起来,通过记录业务活动的各种特征数据,利用数据仓库技术,最大限度地采集业务数据,实现会计业务流程重组,为后勤集团提供管理和决策支持。     

Redis缓存技术在自动气象站资料调用中的优化应用

为了提高气象自动站资料的检索查询效率,采用基于内存Key-Value结构的Redis数据库技术,通过搭建Redis数据库集群,把数据缓存在内存中并实现主从复制,提出一种适合气象自动站数据特性的数据存储结构模型,使得高频次访问的气象自动站数据能够直接从内存中读取,有效地减少数据查询响应的时间.本文分析了逐小时自动气象站观测资料的调用情况和到报时间特性,并基于Redis分别从业务库、索引库和时间库对逐小时自动站资料进行存储设计和具体实现,最后通过实验比对,得出采用Redis缓存逐小时自动气象站观测资料的检索效率比直接访问CIMISS检索效率高,该方法也可以应用到其它资料的检索调用业务场景中,具有较好的推广应用价值.     

基于GIS的灾害应急管理系统的数据集成研究

常用的关系数据库缺乏直接管理空间数据的成熟通用方案。借助于空间数据库引擎(SDE)技术,扩展关系数据库功能,使关系数据库成为业务数据和空间数据的统一存储管理平台,并在此基础上建立基于Geodatabase模型的灾害应急管理系统数据库,对系统数据整体结构进行研究设计,解决了空间数据和业务数据的关联问题,实现灾害应急管理系统空间数据和业务数据的无缝集成和一体化存储。该方法已在省级应急管理信息示范平台上成功应用。     

基于Ionic的自适应前端技术研究与应用

由于硬件升级和WiFi的广泛覆盖,网络应用业务和服务在Web端和智能移动终端并驾齐驱,用户也经常在两者之间切换,因此,支持跨平台自适应于Web端和移动终端的网络应用研发技术是当今的一个热点.Ionic框架技术通过前端交互设计,逻辑控制设计,调用系统原生接口完成应用软件的研发;AngularJS框架技术通过强大的视图数据双向绑定功能,自定义指令扩展功能,灵活的数据处理功能,增强HTML的动态应用;MongDB数据库技术借助数据库、集合、文档作为存储单元实现单服务器部署和多数据中心架构.本文研究怎样组合Ionic框架、AngularJS技术实现自适应前端页面的设计,研究了MongDB的存储原理和它内置文件系统GridFS存储文件的工作原理,以及它内置分片系统Sharding对松散数据结构的支持和存储数据的强扩展性原理,并采用研究的结果设计实现了一款自适应于Web端与移动终端的应用软件,为用户在Web端和移动端切换带来了简便,实现了良好的用户体验.     

基于数据仓库的C/S模式财务物流信息系统设计

将数据仓库技术和C/S模式数据库技术应用于高校后勤财务与物流信息系统一体化设计中,采用事件驱动的体系结构和业务与信息处理集成的模式,将会计信息的采集、存储、处理、传输嵌入到业务处理系统中,由业务数据直接导出会计信息。系统将数据仓库、方法库和模型库有机地结合起来,通过记录业务活动的各种特征数据,利用数据仓库技术,最大限度地采集业务数据,实现会计业务流程重组,为后勤集团提供管理和决策支持。     

MDICA: Maintenance of data integrity in column-oriented database applications

Current information technologies generate large amounts of data for management or further analysis, storing it in NoSQL databases which provide horizontal scaling and high performance, supporting many read/write operations per second. NoSQL column-oriented databases, such as Cassandra and HBase, are usually modelled following a query-driven approach, resulting in denormalized databases where the same data can be repeated in several tables. Therefore, maintaining data integrity relies on client applications to ensure that, for data changes that occur, the affected tables will be appropriately updated. We devise a method called MDICA that, given a data insertion at a conceptual level, determines the required actions to maintain database integrity in column-oriented databases. This method is implemented for Cassandra database applications. MDICA is based on the definition of (1) rules to determine the tables that will be impacted by the insertion, (2) procedures to generate the statements to ensure data integrity and (3) messages to warn the user about errors or potential problems. This method helps developers in two ways: generating the statements needed to maintain data integrity and producing messages to avoid problems such as loss of information, redundant repeated data or gaps of information in tables.     

航空公司应用中的MySQL内存存储引擎

开源数据库MySQL越来越广泛地应用于航空公司的信息系统，在深入分析航空公司应用领域数据特点的基础上，该文提出了用内存存储引擎管理航空公司基础数据的方法。该方法结合内存表和磁盘表两种机制，不但提供快速的性能，而且解决了内存表的永久保存问题。