基于B+树索引的实时数据库缓冲区管理算法

考虑到工控位号历史数据时间戳递增的特点,针对已有实时数据库产品历史数据存储索引查询效率不高,磁盘空间利用率低的不足,提出了一种以B+树为索引方式,以状态链表和页式存储为管理方式的历史数据缓冲区管理方式.经过实际测试表明,基于该缓冲区管理算法的历史数据存储模块存取效率高,并发性能好,磁盘空间的利用率高,完全可以替代关系数据库作为实时数据库的历史数据存储模块.     

组态软件中的历史数据处理过程

实时数据库中历史数据是系统定时从实时数据库中采样,保存到历史数据库中的数据,用户需要时可随时从历史数据库中访问历史数据。历史数据库包含内存历史数据库和磁盘历史数据库。内存历史数据库关注的是测点近期数据的组织方式;磁盘历史数据库管理的对象是历史数据文件和管理信息文件。本文描述了磁盘历史数据库的文件结构、缓冲区进行了描述,并阐述了磁盘历史数据库的实现技术。     

工业实时数据库过程数据存储的研究与应用

过程数据是一种丰富的信息资源,过程数据存储的主要目的是为了满足某些应用软件（如趋势图软件）对实时数据的需求以及用户对历史数据的查询。在福大自动化公司开发的实时数据库软件基础上,主要介绍以内存数据库和磁盘历史数据库来存储实时历史数据,重点研究过程数据的存储设计和存储结构。最后,由工程实例给出了存储系统的功能应用。     

文件映射在DCS实时历史数据库中的应用

该文通过文件映射机制提出了集散控制系统的实时历史数据库查询历史数据的文件处理方案,利用文件映射机制在大型文件处理和频繁读写文件中的优势[4],提高了DCS实时历史数据库对历史数据文件的处理效率,缩短了查询历史数据的时间。     

智能超市中在线与离线RFID数据仓库技术研究

本文通过分析超市环境RFID数据管理的特点,提出了在线数据处理与离线数据存储相结合的数据仓库模型,实现智能超市中的RFID数据管理。使用内存数据库管理物品的最新信息,使频繁的状态更新在内存中完成,提高了实时查询的速度。利用磁盘数据库的大容量存储历史数据,支持对离线数据的查询。     

实时历史数据库库文件结构设计与分析

本文对制约历史数据库发展的瓶颈--磁盘I/O、文件的索引和数据的组织结构等进行了深入的研究。对库文件结构设计中的问题进行了详细分析,在此基础上设计出自己的历史数据库文件结构。最后,通过实验确定了写入块的大小,对查询性能进行了分析。     

Sybase SQL Server索引的使用和优化

在应用系统中,尤其在联机事务处理系统中,对数据查询及处理速度已成为衡量应用系统成败的标准。而采用索引来加快数据处理速度也成为广大数据库用户所接受的优化方法。在良好的数据库设计基础上,能有效地使用索引是SQL Server 取得高性能的基础,SQL Server 采用基于代价的优化模型,它对每一个提交的有关表的查询,决定是否使用索引或用哪一个索引。因为查询执行的大部分开销是磁盘I/O, 使用索引提高性能的一个主要目标是避免全表扫描,因为全表扫描需要从磁盘上读表的每一个数据页,如果有索引指向数据值则查询只需读几次磁盘就可以…     

基于相似度的粗关系数据库的近似查询

基于数据库理论和粗集方法研究了粗关系数据库中不确定数据的存储、索引和检索。提出了分别采用邻接表和十字链表实现粗关系数据库中属性值等价类和元组数据的存储;借助汉明距离和聚类方法,提出了实现粗关系数据库索引的方法;提出一种基于Rough集中的上、下近似计算数据间的相似度,并基于相似度给出了对粗关系数据库进行查询的模型,设计了相应的查询算法。最后,通过一个具体实例说明了查询算法的可行性和有效性。     

基于通用关系模式的XML数据存储模型研究

关系数据库具有成熟的索引、存储、查询技术,将XML数据存储到关系数据库中将极具意义。但是,XML数据复杂的层次结构和关系数据库扁平的表达结构之间的不匹配,使得在存储过程中出现了很多复杂的问题。从上述应用背景出发,文章提出了一种基于模型映射以及嵌套集合模型（Nested Sets Model）的通用的关系存储模型以及查询算法。通过实验并且分析了在各个查询场景下实验数据的正确性以及性能情况后表明,该中间件能够使XML数据在关系模式中有效存储,并且能够有效地满足查询要求。     

基于BD结构的历史数据流存储与查询

实际应用中,人们往往不仅需要近期数据流,还需要结合大量历史数据流来共同解决问题。研究表明,处理大量历史数据流时,传统数据库索引技术(如B+树)不能提供高的存储利用率和查询效率。针对任意时间段历史数据流的存储查询问题,提出一种基于BD结构的存储与查询方法。该方法将BDTree和BDHash相结合,能有效降低BDTree的高度,减小索引项的规模,同时可以避免数据结点规模过大。在此基础上,研究了部分扩充策略以解决数据插入失败问题。理论分析和实验结果表明,该方法能提高存储空间利用率和查询效率,可以有效应用于历史数据流的存储和查询。     

基于XML数据的通用路径表达式的查询

查询重写是数据库研究的一个基本问题,它和查询优化、数据仓库、数据集成、语义缓存等数据库问题密切相关。同时,查询重写也是在关系数据库中存储和查询XML数据的关键问题。由于XML数据是元素嵌套和元素引用的,嵌套层数可以任意,并且模式和数据混合,因此XML的查询会涉及到广义路径表达式(GPE)。文中着重研究了如何解决XML数据的查询重写的方案,把含有广义路径表达式的XML查询语句重写为含有简单路径表达式(SPE)的XML查询语句,再转化为基于关系数据库的SQL语句。     

基于分布式内存数据库的移动对象全时态索引

针对现有移动索引仅对内存/磁盘两层结构进行优化,忽略了索引节点在内存中的缓存敏感性,提出一种基于分布式内存数据库的全时态索引结构DFTB^x树。该索引结构针对存储器Cache、内存和磁盘3层结构进行优化,根据Cache行、指令数量和TLB失配数等多个条件设计内存索引节点的大小。同时,根据磁盘数据页的大小设计历史数据迁移链节点的大小,使得Cache和内存能够一次读取索引节点和迁移链节点数据,避免多次读取数据带来的延迟。此外,构建历史数据迁移链,实现历史数据持久化,从而支持移动对象全时态索引。实验结果表明:与B^x树、B^dual树、TPR*树和STRIPES算法相比,DFTB^x树具有较高的查询和更新效率。     

基于全文检索的XML存储查询系统

XML数据库已经成为数据库领域的重要成员,但是在商业数据库产品中它主要构建在关系数据库基础之上,这自然引入很多难题.针对XML的关系数据库存储,提出一种新的XML索引编码,解决了在关系数据库中集成全文检索技术和XML结构连接查询算法的问题,同时借助全文检索技术达到XML查询加速的效果.该方案应用于实际软件开发项目中.很好地解决了XML文档的关系数据库存储管理工作,并且具有很高的查询效率.     

基于XML数据的通用路径表达式的查询

查询重写是数据库研究的一个基本问题,它和查询优化、数据仓库、数据集成、语义缓存等数据库问题密切相关.同时,查询重写也是在关系数据库中存储和查询XML数据的关键问题.由于XML数据是元素嵌套和元素引用的,嵌套层数可以任意,并且模式和数据混合,因此XML的查询会涉及到广义路径表达式(GPE).文中着重研究了如何解决XML数据的查询重写的方案,把含有广义路径表达式的XML查询语句重写为含有简单路径表达式(SPE)的XML查询语句,再转化为基于关系数据库的SQL语句.     

关系数据库中海量要素存储的分区优化研究

目前,关系数据库中的分区技术应用相当广泛,但是用分区策略管理海量要素图层数据的存储与索引没有比较系统的技术方法。采用不同管理方式、不同分区粒度、不同索引方式及其组合的分区技术来系统地管理海量空间图层数据,进一步研究了不同的分区粒度及索引方式对查询效率的影响,并通过实验验证了关系数据库中的分区技术对海量要素图层数据的存储与管理具有优化作用。结果表明,在不使用分区键作为查询条件时,分区粒度越大查询效率越高;使用分区键作为查询条件时,本地分区索引查询效率更高等。利用合理的分区方案使得海量要素图层数据存储和管理得以优化,对矢量大数据的存储和管理研究具有重要意义,为更好地应用分区技术来解决实际遇到的存储与检索效率问题提供决策支持。     

对象关系模型中关联对象的连接算法分析

基于关系数据库聚簇索引的逻辑和存储方式,提出在对象关系模型中遍历关联对象时缓存中间结果的连接算法,并给出了性能分析公式,通过计算和模拟实验证明了采用该方法查询关联对象时能减少磁盘的I／O次数和磁盘访问时间。     

计算机网络环境中的小型关系数据库系统

MRDS是一个在计算机网络环境中的小型关系数据库,是我们对设计、实现关系式数据库管理系统的一个尝试。本文介绍了此关系数据库的查询语言SRQL,数据查询、数据管理系统以及索引文件的实现,并讨论了在小型机上关系数据库的查询优化策略。     

基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

基于最佳桶划分的数据库加密存储与查询

现有支持快速查询的数据库加密方案未给出字符字段的划分值提取方法.针对该问题,提出一个基于最佳桶划分的数据库加密存储与查询方案.该方案利用最佳桶划分思想提取索引字段的划分值,通过提取代加密字段的索引值以及转换查询数据库的SQL语句实现加密字符型数据的存储和查询.实验结果表明,该方案具有较高的首次查询命中率和稳定的过滤效率...     

基于行存储模型的模拟列存储策略研究

列存储模型在只读的数据仓库应用中表现出非常好的性能,很多研究表明对于典型的OLAP查询,列存储数据库的性能大大优于行存储数据库.根据列存储模型的特性及数据处理特点,在传统的行存储模型关系数据库中模拟列存储的存储模式及数据处理过程,并通过优化的基于聚类的列存储模型、全索引模型与典型的行存储方式进行类比性能测试.实验结果显示,采用传统行存储模型模拟的列存储模型针对OLAP类查询具有很高的数据访问速度及查询性能,整体性能介于行存储数据库与列存储数据库之间.对于实际应用系统来说,该方案减少了整体系统部署代价,而且无需为提高OLAP查询的性能增加额外系统(列存储)投入,从而为OLAP应用提供了良好的性能支持.