关系型数据库内存化存储模型研究

大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值（RB-KVM）和分段列式键值交叉（PCB-KVCM）存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。     

MongoDB负载均衡算法优化研究

随着Web2.0网络应用的兴起和大数据技术的发展,传统的关系型数据库(ORDBMS)已经难以满足海量数据的存储需求。非关系型数据库(NoSQL)因其高扩展性、高伸缩性、高可用性和容错性等特点,得到了越来越多的应用。作为一种新兴的NoSQL数据库,MongoDB数据库因具有模式自由、易于扩展、故障自动恢复、支持自动分片等特点,被广泛应用于大数据处理与分析中。文中首先介绍了MongoDB自动分片架构原理和实现机制,然后分析了MongoDB自带的负载均衡算法,其虽能使各个节点数据量达到平衡,但没有考虑各个节点的负载均衡。为了解决节点的负载平均问题,在原算法基础上提出了一种基于节点实时负载的负载均衡改进算法,改进算法的主要思想是引入节点负载指数作为chunk块迁移的一个判断条件。通过搭建测试环境并进行实验,验证了改进的负载均衡算法可以有效地均衡分片中的数据,提高集群的并发读写性能,从而证明了算法的有效性。     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

浅谈NoSQL

NoSQL非关系型数据库已成为目前学术界和产业界研究的热点问题,它可解决传统关系型数据库不能解决的高并发读写、高可扩展性和高可用性问题。本文简单介绍了NoSQL的技术、基本数据类型以及与关系型数据库的比较。     

NoSQL的分布式存储与扩展解决方法

传统的关系型数据库已无法满足海量数据的存储与访问需求。针对该问题,提出一种非关系型数据库(NoSQL)的分布式存储与扩展解决方法。分析并改进NoSQL,讨论基于一致性哈希算法键值对的分布式存储,以及基于双hash环的数据库服务器节点的扩展方法,提出将NoSQL作为镜像引入数据库架构系统。实际应用结果表明,该方法可以避免资源浪费及服务器过载。     

使用Active DataGuard实现Oracle读写分离

随着企业的不断扩张、信息的迅速增长,企业需要存储、提供越来越多的数据。随着一个网站的业务不断扩展,数据不断增加,数据库的压力也会越来越大,大量的访问用户的短期内的大量并发操作一直是难以解决的问题。传统的数据可模式是读写在一起,由一个库完成,这里可以是单点库,也可以是RAC等集群库,但是即使是集群,也不能解决并发过多而造成的数据库压力。各大交易网站采用的方法是：读写分离。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战。NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点。NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能。文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法。这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能。     

分布式下MongoDB对激光点云的存储和处理研究

近年来,激光点云数据的应用急剧增加,如何对其进行高效存储和快速处理成为当前的一个重要研究方向。点云数据包含着丰富的地理信息,属于空间数据范畴。传统的关系型数据库对海量空间数据的存储和处理相对薄弱,分布式环境下非关系型数据库的应用为此提供了一个新的研究视角。Sharding技术是数据库水平扩展的一种解决方案,在分布式环境下搭建MongoDB的Sharding集群,通过范围分片和哈希分片对大量激光点云数据进行分布式存储、空间查询和MapReduce运算测试,充分体现了分布式下MongoDB在空间数据的存储和处理方面的巨大优势。     

基于FODO算法MongoDB自动分片的改进

随着Web2.0技术的高速发展,云计算中的大规模分布式服务和数据存储技术对传统的关系型数据库带来了巨大的挑战.NoSQL数据库打破了关系型数据的束缚,正在成为人们关注的焦点.NoSQL是一种非关系型数据库管理系统,松散的数据存储机制,不支持多表查询,有高效的查询功能.文中首先介绍了MongoDB数据库自动分片的原理和实现机制,然后为了解决在自动分片中数据负载不均衡,提出了基于数据操作频率的改进算法.这个改进的平衡策略可以有效地均衡分片中的数据,提高集群的并发读写性能.     

基于IFC标准的建筑信息模型分布式大数据平台存储技术研究

随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。     

基于GIS的灾害应急管理系统的数据集成研究

常用的关系数据库缺乏直接管理空间数据的成熟通用方案。借助于空间数据库引擎(SDE)技术,扩展关系数据库功能,使关系数据库成为业务数据和空间数据的统一存储管理平台,并在此基础上建立基于Geodatabase模型的灾害应急管理系统数据库,对系统数据整体结构进行研究设计,解决了空间数据和业务数据的关联问题,实现灾害应急管理系统空间数据和业务数据的无缝集成和一体化存储。该方法已在省级应急管理信息示范平台上成功应用。     

NoSQL数据管理技术

社交网络和微博等新型应用对数据管理技术提出了新的挑战,如海量数据高效存储、高并发访问、高可扩展性和高可用性等。而传统的关系数据库技术无法满足这些新型应用的需求,因此,NoSQL数据管理技术的研究、开发和应用越来越受到重视。本文从NoSQL数据模型、数据存储、查询处理以及SQL与NoSQL混合数据库解决方案等方面,综述了NoSQL数据管理技术发展现状和趋势,并介绍了几种典型的NoSQL产品。     

基于关系数据库的XML存储技术评述

XML近来已成为科学与业务应用中数据表示的标准以及Web上应用间数据交换的标准。为实现XML的潜能,XML的有效存储是一个必须首先要解决的技术环节。在关系数据库中存储XML数据是一种可选的策略。文章简要综述了各类典型的XML关系存储方法,并对这些方法进行了评述。     

基于XML的CAPP数据描述技术研究*

提出采用XML技术来描述CAPP系统中的数据信息,结合关系型数据库存储的方法使CAPP系统具有良好的扩展性和灵活性,提高了与制造业信息系统的集成能力。     

基于Neo4j的海量石油领域本体数据存储研究

语义网技术的发展促进了石油领域中多学科本体之间的整合技术的发展。随着数据的规模的增大,传统的基于关系型数据库的数据存储和信息检索等存在较多问题。对此,提出了一个基于Neo4j数据库的领域本体构建过程,专注于改进数据存储和信息检索两个方面。首先,提出了一种基于图形数据库Neo4j的大规模本体数据存储问题的解决方案,通过设计一种基于Neo4j的存储模型配合分布式存储机制,实现存储空间的高效利用。其次,在Neo4j数据模型的基础上,设计了一种两层索引结构的检索算法。实验评估表明, 提出的方法与基于关系数据库的方法相比,在数据存储方面可以节省10％以上的存储空间,在信息检索方面将检索效率提高了30多倍。     

基于Oracle Spatial的ITS空间数据库的实现及访问

在智能交通系统(Intelligent Transportatlon System，ITS)中，空间数据库的实现和访问至关重要。随着ITS的发展，基于传统的纯关系型数据库设计的空间数据库系统，其属性数据和空间数据是分开存储的，难以满足新型ITS在内容、数量、类型、关系等方面高速增长的要求。为此一些数据库厂商对传统的关系型数据库技术进行了扩充，并推出了一序列新的数据库产品，如Oracle公司的Oracle8i，真正实现了属性数据和空间数据统一存储和管理。该文结合实际ITS信息系统开发，分析了Oracle8i的数据库技术——Oracle Spatial，提出了一种基于Orackle Spatial的ITS空间数据库的实现及访问方法。     

面向工程试验的数据集成研究*

对分布异构环境中的工程试验数据的有效集成是全局试验决策支持的基础。依据工程数据组织分散、模式复杂多变的特点以及OLAP和数据挖掘对数据的要求,剖析了构建数据集成元对象模型的方法、邦联式工程数据仓库的集成途径和使用元对象模型实施异构数据集成的关键技术。     

An Efficient Schema Transformation Technique for Data Migration from Relational to Column-Oriented Databases

Data transformation is the core process in migrating database from relational database to NoSQL database such as column-oriented database. However, there is no standard guideline for data transformation from relational database to NoSQL database. A number of schema transformation techniques have been proposed to improve data transformation process and resulted better query processing time when compared to the relational database query processing time. However, these approaches produced redundant tables in the resulted schema that in turn consume large unnecessary storage size and produce high query processing time due to the generated schema with redundant column families in the transformed column-oriented database. In this paper, an efficient data transformation technique from relational database to column-oriented database is proposed. The proposed schema transformation technique is based on the combination of denormalization approach, data access pattern and multiple-nested schema. In order to validate the proposed work, the proposed technique is implemented by transforming data from MySQL database to HBase database. A benchmark transformation technique is also performed in which the query processing time and the storage size are compared. Based on the experimental results, the proposed transformation technique showed significant improvement in terms query processing time and storage space usage due to the reduced number of column families in the column-oriented database.     

融入区块链技术的医疗数据存储机制

医疗机构现有数据库存储的单一性和集中性,使得电子医疗数据的安全性、完整性和可追溯性无法得到保证,从而导致患者的医疗隐私受到威胁。虽然已有研究提出了基于云存储等数据安全存储的方案,但是其需要依赖一个完全可信的第三方来保证交互的可靠性。为此,文中提出了去中心化的区块链信息管理方案来实现医疗数据的安全存储。该方案采用了改进PBFT共识算法和优化Hash加密算法,将医疗数据安全有效地存储于分布式数据库中,保证了医疗数据的完整性和可追溯性;同时,设计了全新的数据交互系统来阻止第三方与数据库的直接交互,以防止不可信的第三方恶意破坏医疗数据,保证了数据的安全性;最后,通过访问控制与Lucene检索机制保护患者的隐私并实现医疗数据的快速检索。实验分析表明,相较于工作量证明(Proof of Work,POW)、股份授权证明(Delegated Proof of Stake,DPOS)等算法,改进的PBFT共识算法为医疗区块链系统提供了更优的稳定性和吞吐量;相比于普通的数据库交互,数据交互系统有效地阻止了对数据库的直接操作,具有较好的安全性和防篡改性。实验数据表明,去中心化的医疗数据存储系统、改进的PBFT共识算法以及数据交互系统的架构,实现了医疗数据的安全、可追溯和防篡改,解决了医疗数据集中存储、不可追溯和易受攻击等难点,为进一步推动区块链技术应用于医疗信息行业的发展奠定了基础。     

基于XML-DBMS的数据交换系统的设计及实现

随着信息共享需求的提高,关系数据库之间的数据交换日益频繁。XML语言具有良好的数据格式、可扩展性、高度结构化以及网络传输便捷等特点,可以提供数据库之间的无缝连接,能很好满足关系数据库数据交换的需要。XML-DBMS是种提取、交互、分发XML数据较好的技术,使用该技术设计和实现关系数据库之间数据交换,为轻量级数据交换提供一种新的解决方案。