基于行存储模型的模拟列存储策略研究

列存储模型在只读的数据仓库应用中表现出非常好的性能,很多研究表明对于典型的OLAP查询,列存储数据库的性能大大优于行存储数据库.根据列存储模型的特性及数据处理特点,在传统的行存储模型关系数据库中模拟列存储的存储模式及数据处理过程,并通过优化的基于聚类的列存储模型、全索引模型与典型的行存储方式进行类比性能测试.实验结果显示,采用传统行存储模型模拟的列存储模型针对OLAP类查询具有很高的数据访问速度及查询性能,整体性能介于行存储数据库与列存储数据库之间.对于实际应用系统来说,该方案减少了整体系统部署代价,而且无需为提高OLAP查询的性能增加额外系统(列存储)投入,从而为OLAP应用提供了良好的性能支持.     

工业历史数据库的研究

提出了一种最高容量为60000个信号点、记录达到秒级的快速历史数据存储与查询方案,该方案采用二级缓存和二级索引的组织方式,应用了高效的二级压缩方法.目前采用该方案实现的数据库系统已经在商用组态软件中稳定运行,实践证明有良好的存储和查询效率.     

列存储模式下闪存数据库的查询优化算法

固态硬盘的高性能在现有数据库系统中未能获得提升,针对该问题,提出一种连接算法,基于列存储模式,对闪存数据库连接查询进行优化。算法充分利用列存储的存储粒度小和固态硬盘高速随机读的优点,有效克服与闪存的不匹配问题。实验结果表明,与原算法相比,该算法在不同选择率和不同内存条件下的查询时间较少。     

基于扩展存储过程的数据库加密技术研究

提出了一种基于扩展存储过程的数据库加密系统方案,并阐述了主要的功能模块.该方案应用扩展存储过程和UDF(用户自定义函数)对动态链接库进行封装,实现了加密功能,并对两级密钥采用智能卡进行存储,从而在不影响系统原有功能的基础上,提高了数据库系统的安全性.     

一种异步本体系统的实现框架

设计一种融入异步传输技术的本体系统开发思路。该方法立足于语义检索引擎和本体存储的设计,提出将Ajax应用到本体系统中实现异步传输模式的构想;描述一种语义检索引擎的实现结构和转换方法;探讨一种借鉴文件系统与RDB优点的复合式本体存储方案,并给出两者间的映射关系。     

GKD-Base PL/SQL存储过程的设计与实现

存储过程作为一种高效访问数据库的机制,是现代数据库系统的重要特征。该文兼容OraclePL/SQLV2.3语言规范,在数据库管理系统GKD-BasePL/SQL引擎上,采用语法树表示存储过程的中间代码,并设计了函数管理器。从而在GKD-Base上实现了有效的存储过程编译、存储、调用和执行机制。     

应用于数据库安全保护的加解密引擎系统

针对系统业务数据安全存储问题,采用加解密引擎服务对应用端发送数据进行加密,根据用户ID来识别不同用户的传输命令,利用用户私有的KEY进行加密存储。该方案在云计算平台下具有保护用户数据存储安全、隔离数据的功能。当应用端用户查询已加密数据时,加解密引擎服务端根据用户ID读取缓存区用户密钥,解密数据返回给应用端明文数据。当加解密系统和第三方应用进行集成时,加解密引擎将载人用户定义的加密算法、加密矢量等信息,按照用户自身的密钥加密敏感数据,可保证用户敏感数据存储安全并隔离不同用户的业务数据。以某市人口库系统集成为例,验证了方案的可行性。     

利用Java实现数据库的存储过程

本文利用Java的字节码及其动态加载和执行的特性实现了数据库系统的存储过程.经过实验验证本文方法不仅仅可以在特定的数据库系统中加入存储过程.而且可以在大多数普通数据库系统中实现.     

企业云存储数据的加密与密文全文检索研究

将密文规则的基于属性加密技术同Lucene全文索引技术相结合,提出适合云存储中密文数据全文检索的方法;针对云存储的特点改进了密文规则的基于属性加密技术.给出了设置在企业端的私有安全模型,并基于Lucene全文索引引擎以及改进的密文规则的基于属性加密方案开发设计了密文全文检索服务和数据加密与访问控制服务.在Eucalyptus云平台上实现了该安全模型的主要服务模块.该安全模型较好地解决了企业数据云存储的机密性与密文全文检索问题.     

列存储数据仓库中启发式查询优化机制

研究和实践表明列存储更加适合于大规模数据集上的即席查询的“读优化”应用需求.然而由于列存储的处理对象是列,此时传统的基于规则的查询优化方法并不完全适用.文中首先比较了列存储系统中查询优化与行存储系统的不同,在此基础上提出适合于列存储的启发式查询优化机制,其中包括启发式优化策略、重写规则、左深连接树结构和相关算法.实验表...     

航空货运系统数据库的存储优化设计

开源数据库MySQL越来越广泛地应用于航空公司的信息系统,在深入分析航空货运系统数据特点的基础上,提出了联合使用内存和磁盘存储引擎的方法,用InnoDB存储业务数据,用Memory存储基础数据,大大提高了表连接操作的性能。针对内存表的永久保存问题,用写回相关磁盘表的方法加以解决。     

基于HBase的QAR数据存储设计与实现

为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。     

一种适于无操作系统的嵌入式系统存储管理方法研究

针对无操作系统嵌入式系统中的链式存储线性表和顺序存储线性表存储管理方法存在的存储空间浪费、CPU操作频繁问题,提出了一种改进的顺序存储线性表存储管理方法。该方法采用顺序存储和首(尾)地址变化的方式存储多条关联的信息,既节省了存储空间,也减少了不必要的CPU操作。该方法在某微机继电保护装置故障记录中的应用结果验证了其可行性。     

基于HBase的海量地形数据存储

随着遥感技术的发展,遥感数据的类型和量级发生了巨大变化,对于传统的存储方法产生了挑战。针对HBase中海量地形数据管理效率不高的问题,提出一种四叉树-Hilbert相结合的索引设计方法。首先,对传统地形数据管理方式和基于HBase的数据存储国内外研究现状进行了综述;然后,在基于四叉树对全球数据进行组织的基础上,提出了四叉树和Hilbert编码相结合的设计思想;其次,设计了根据经纬度求地形数据的行列号和根据行列号计算Hilbert编码的算法;最后,对设计的索引的物理存储结构进行了设计。实验结果表明,利用设计的索引进行海量地形数据入库,数据入库速度与单机情况相比,提高了63.79%~78.45%;在地形数据的范围查询中,设计的索引与传统的行序索引相比,查询时间降低了16.13%~39.68%。查询速度最低为14.71 MB/s,可以满足地形数据显示的要求。     

Optimizing disk storage to support statistical analysis operations

Data stored in spreadsheets and relational database tables can be viewed as “worksheets” consisting of rows and columns, with rows corresponding to records. Correspondingly, the typical practice is to store the data on disk in row major order. While this practice is reasonable in many cases, it is not necessarily the best practice when computation is dominated by column-based statistics. This short note discusses the performance tradeoffs between row major and column major storage of data in the context of statistical data analysis. A comparison of a software package utilizing column major storage and one using row major storage confirms our results.     

基于DBMS的元数据管理策略*

海量存储系统的元数据一般采用层次结构或哈希法来管理,存在元数据修改和查询目录等操作所需时间和空间开销大等问题,严重影响了系统的性能。通过引入二维表保存元数据信息,提出了一种基于DBMS的新型元数据管理策略。分析了将基于DBMS元数据管理策略用于管理海量存储系统中的元数据信息时,所需的时空开销以及管理元数据的灵活性。验证了基于DBMS元数据管理策略能有效地减少查询和更新所需的时空开销,实现高效、灵活的元数据管理功能,从而有效地提高海量存储系统的性能。     

Seamlessly integrating similarity queries in SQL

Modern database applications are increasingly employing database management systems (DBMS) to store multimedia and other complex data. To adequately support the queries required to retrieve these kinds of data, the DBMS need to answer similarity queries. However, the standard structured query language (SQL) does not provide effective support for such queries. This paper proposes an extension to SQL that seamlessly integrates syntactical constructions to express similarity predicates to the existing SQL syntax and describes the implementation of a similarity retrieval engine that allows posing similarity queries using the language extension in a relational DBMS. The engine allows the evaluation of every aspect of the proposed extension, including the data definition language and data manipulation language statements, and employs metric access methods to accelerate the queries. Copyright © 2008 John Wiley & Sons, Ltd.     

一种大规模RDF语义数据的分布式存储方案

随着语义Web的发展,越来越多的RDF数据发布到Web上,需要一个可以提供存储和查询功能的数据管理系统来对海量的RDF数据进行管理。针对上述问题,设计并实现了一种大规模RDF语义数据的分布式存储方案。该方案通过RDF数据装载和预处理,可以有效地管理海量的RDF数据,并通过构建索引可以有效地对大规模RDF数据进行查询。工作包括底层的RDF存储方案的设计与实现,数据的预处理与装载。同时,设计了一系列实验来评估和对比不同节点数目的Cassandra集群之间的性能,数据采用的是从DBpedia获得的13 million行RDF的数据集。实验结果显示,方案对大规模RDF语义数据的存储和查询具有性能优势。     

DICE: An Effective Query Result Cache for Distributed Storage Systems

Due to the proliferation of Internet and Intranet, the distributed storage systems have received a lot of attention. These systems span a large number of machines and store huge amount of data for a lot of users. In the distributed storage systems, a row can be directly accessed using a row key. We concentrate on a problem of efficient processing of queries whose predicate is on a column but not a row key. In this paper, we present a cache management technique, called DICE which maintains query results of range queries to support the next range queries. To accelerate the search time of the cached query results, we use modified Interval Ski Lists. In addition, we devise a novel cache replacement policy since DICE maintains an interval rather than a data item. Since our cache replacement policy considers the properties of intervals, our proposed technique is more efficient than traditional buffer replacement algorithms. Our experimental result demonstrates the efficiency of our proposed technique.     

动态数据记录存储结构的设计

在新兴的数据库应用领域中，出现了许多不确定，不完全的动态数据记录，这就要求数据库管理系统能够存储长度可变或格式可变的数据记录，有的场合需求存储记录属性内嵌复杂对象的数据信息。本文首先对传统的记录存储结构进行分析，进而设计出适宜于存储不确定、不完全信息的存储数据结构。