基于冷热数据的MongoDB自动分片机制

MongoDB数据库中的自动分片(Auto-Sharding)机制仅通过数据量来进行分片迁移,会导致负载不均衡的问题。为此,提出一种基于数据冷热访问特征的Auoto-Sharding优化机制。通过朴素贝叶斯算法对数据的访问特性进行冷热数据判定,将数据分片中热数据的所占比重作为热负载值以确定数据迁移时机,并根据数据片之间的热负载差异建立新的数据迁移策略。实验结果表明,在高并发条件下,该优化机制的数据吞吐量高于原有的AutoShading机制。     

基于MySql多表分页查询优化技术

针对MySql在多表分页查询中由于数据量大导致效率无法满足系统要求,本文经过深入研究和分析发现,常用的表union操作需要耗费大量的时间,成为影响数据库访问性能提高的关键因素. 为了提升数据库类似操作的查询效率和用户体验,提出一种新的多表查询算法,该算法通过精确定位分表的技术避免多表的union操作以及使用合理的索引来提高查询效率. 通过大量的实验证实,优化后的查询算法在实现大数据量的多表union分页查询操作中效率有明显的提高.     

信息系统中历史数据的转移和恢复

针对信息系统存储量越来越大的情况,提出采用分布式数据库技术,通过建立转移信息索引表和对数据进行水平分片来实现历史数据的转移和恢复,从根本上解决了信息存储不断增加对系统速度的影响,同时提供了应用软件访问的透明性,也很好地保证了历史数据的查询访问速度,为大数据量信息系统设计提供了一种解决方法。     

基于分表的闪电定位系统数据库设计

闪电定位系统(LLS)所记录的闪电参数和信息是气象与电力系统常用的重要基础数据.目前,使用数据库和单表对LLS数据进行保存比较常见.随着年限积累,探测设备升级和站点布网密度增加,LLS数据不断增长,当存储数据达到一定数量后,单表读写效率会下降.数据存储层是闪电定位分析软件的基础,解决上述问题是该系统可持续、高性能工作的前提.通过分表和数据访问层(DAL)的统一建模语言(UML)设计,对现有数据库存储层改进.通过实验验证了该方法的有效性,解决了闪电定位数据库存储不可持续、效率随数据量增加而降低的问题.     

一种基于数据热点的MongoDB负载均衡策略

MongoDB作为一种新兴的NoSQL数据库,以其模式自由、文档式存储、故障自动恢复、良好的水平扩展、自动负载均衡等特点深受国内外市场的青睐.MongoDB自带的负载均衡策略能使各个节点数据量达到平衡.但是在实际的生产环境中,节点之间数据访问热度不同也会导致负载失衡,特别是出现节点过热的情况.针对这一问题,引入Markov随机过程,提出一种基于Markov预测模型的负载均衡策略,根据Markov模型的稳态概率向量预测各个分片的负载并进行数据迁移.通过实验,验证了当各个分片间出现节点过热时,所提出的负载均衡策略能够很好地使分片间的负载达到基于访问热点的均衡.     

MongoDB数据库中Sharding技术应用研究

非关系型数据库的出现,对于解决面向文档的超大规模和高并发的问题提供了卓有成效的解决方案。MongoDB为了提高处理大数据量的性能,提供了分片集群的功能,支持自动分片和划分架构,可以利用它构建一个水平扩展的数据库集群系统,将数据库分表存储在各个Sharding节点上。文中在研究MongoDB特性的基础上,着重分析Sharding技术的应用,通过比较普通和分片这两种情况下的性能测试,提出使用MongoDB中的Sharding技术来解决随着数据量增加带来的数据库的读写性能和效率的问题。     

基于关系数据库的实时数据压缩探讨

基于关系数据库,探讨实时数据在关系表中的压缩存储和访问技术.采用Oracle数据库内部语言,对给出的压缩方法加以实现.程序运行结果表明,针对大量的实时数据具有良好的压缩效果,压缩后数据量急剧减少,在数据时间间隔频率不高和采集点数较少时,给出的方法可作为实时数据库的替代方案.     

分布式应用层中间件的设计

针对如何在非分布式数据库管理系统中应用分布式特性,提出了分布式数据层中间件DDLM的设计方案。在数据持久化框架和JDBC之间引入一个分库分表的中间件,从而把数据拆分到多个数据库的多个表中,在用户看来这些数据仍然存在于一张表中,从而在应用层透明地解决了海量数据的读写问题。     

一种关系型数据库自动划分方法的设计

随着互联网、物联网的发展,软件系统收集和产生了海量的数据,单个数据库由于各种限制已经无法满足海量数据存储和访问的要求,必须将数据分散在多个数据库中,以达到存储海量数据、平衡负载、提高系统可用性的目的。如何将单个数据库中的数据划分到不同的数据库中成为数据库管理员面临的首要问题。本文提出一种综合考虑SQL语句、SQL语句执行频率,服务器性能,数据量等多因素的数据库划分方法,满足数据存储和访问要求,从而为数据库设计人员划分数据库提供帮助。     

基于KingView的SQL数据查询设计

针对工控系统中数据量大易造成数据库访问中断,现有数据查询环节开发繁琐、数据排列无序,设计了一种基于KingView与SQL Server的数据查询方案,通过对时间控件、日期控件及内嵌SQL函数的组合编程,实现了对数据库的访问及数据的调用,完成了按时间顺序进行系统数据查询的功能.试验结果表明,该查询方法运行可靠、操作简单,优化了工控系统的性能.     

基于Oracle数据库的作战数据虚拟化安全应用方法研究

随着作战数据库应用系统中大量重要、敏感数据的增长,数据库中数据的安全显得极为重要。本文尝试基于Oracle的数据库管理系统进行作战数据安全访问控制,重点介绍通过虚拟专用数据库(Virtual Private Database,VPD)实现多个相关数据库间共享表的安全,以达到"细"粒度访问控制。     

地面目标雷达与红外特性数据库构建

为了对地面目标雷达与红外特性测试的各类数据进行统一规范化管理,使其高效应用,分析各类数据的特性及其处理方式,构建了目标特性数据库管理系统;数据库的整体设计中,在数据头和数据文件方案基础上增加了自动跟随数据表编号的路径生成方法,结合了接口式的运作结构,模块化的数据库功能和层次化的数据表结构设计思路;数据库的编制基于Access数据库管理软件和VC++编程软件,通过ADO数据库访问技术加以实现,详细描述了ADO接口的编程步骤,并对本接口不同指针的入库频率和提取效率进行了对比择优;在运行中,提出了主、副数据库移植性管理方法;工作实践验证了目标特性数据库管理系统的可靠性和高效性,为地面目标特性的测试与分析提供了良好的数据支撑。     

Improving the performance and functionality of Mondrian open‐source OLAP systems

For a long time, the design of relational databases has focused on the optimization of atomic transactions (insert, select, update or delete). Currently, relational databases store tactical information of data warehouses, mainly for select‐like operations. However, the database paradigm has evolved, and nowadays on‐line analytical processing (OLAP) systems handle strategic information for further analysis. These systems enable fast, interactive and consistent information analysis of data warehouses, including shared calculations and allocations. OLAP and data warehouses jointly allow multidimensional data views, turning raw data into knowledge. OLAP allows ‘slice and dice’ navigation and a top‐down perspective of data hierarchies. In this paper, we describe our experience in the migration from a large relational database management system to an OLAP system on top of a relational layer (the data warehouse), and the resulting contributions in open‐source ROLAP optimization. Existing open‐source ROLAP technologies rely on summarized tables with materialized aggregate views to improve system performance (in terms of response time). The design and maintenance of those tables are cumbersome. Instead, we intensively exploit cache memory, where key data reside, yielding low response times. A cold start process brings summarized data from the relational database to cache memory, subsequently reducing the response time. We ensure concurrent access to the summarized data, as well as consistency when the relational database updates data. We also improve the OLAP functionality, by providing new features for automating the creation of calculated members. This makes it possible to define new measures on the fly using virtual dimensions, without re‐designing the multidimensional cube. We have chosen the XML/A de facto standard for service provision. Copyright © 2008 John Wiley & Sons, Ltd.     

网格环境下的数据库访问和集成

为了集成网格环境中的数据库资源,促进网格应用支持现有数据库的访问,提出一种基于服务的数据库访问和集成系统(GridDBAdmin)。GridDBAdmin为用户提供了虚拟的全局逻辑数据库视图,支持用户使用现有的SQL语言同时访问多个数据库。系统由元数据服务和网格虚拟数据库服务构成。其中元数据服务负责发现含有用户所需数据的数据库,网格虚拟数据库服务提供全局逻辑视图,通过分布式查询机制将用户的SQL请求分解到具体的数据库中并进行结果合并。对基于Globus和OGSA-DAI工具包开发的原型系统进行了测试,得到了较好的结果。     

基于异构集成的元数据及其多表动态查询算法

基于企业内多个分布异构关系数据库的集成需求，设计了一个向上支持集成访问界面，向下表述数据库网络位置、数据模式、数据内容的元数据字典模式。给出了面向集成环境和各异构数据库的通用查询请求表示。基于元数据字典，提出了一种因访问需求变化而引起相关数据库关系表动态变化的动态查询语句构造算法，并对算法进行了论证。     

采用数据降维技术实现网络异构数据库分级数据共享

各主题数据库结构的复杂性,以及共享数据指标变量之间广泛的相关性,是异构数据库实现共享的重要障碍。目前的许多研究是针对异构数据库结构复杂问题,提出实现一致性访问的策略,但这些解决方案无法使系统达到良好的可扩展性。文中提出了一种新的解决方案,即发掘各主题数据库的结构共性,通过数据降维降低数据库结构上的复杂性,以实现库之间方便灵活的数据共享,从而达到较好的可扩展性。     

关系数据库的关键词查询性能优化

关系数据库上的关键词查询使得用户不必了解SQL语法或者数据库模式即可方便进行检索,并利用关系表的连接来保证查询的完整性。由于关键词集合查询的信息通常与不同数据类型的字段相关,并且分散在多个表中,而关系数据库缺乏对这类信息有效的索引,从而导致查询效率和准确率比较低。针对关系数据库的结构化模式,提出了一种基于层次树的数据提取方法,将关系数据库模型化为一棵层次树,关键词查询问题转化为树的遍历问题,并从关键词数据类型的分类、属性值之间的相关度、查询结果评分排序等方面设计了一个综合的优化方法。通过实验验证,该方法可以实现以较高的效率和较低的计算代价完成关键词查询。     

基于DFX数据交换机制的ADO静态绑定技术

基于DFX数据交换机制的DAO静态绑定技术，可以大大降低程序员的人工编码量，提高数据库的访问效率。ADO作为一种通用数据访问对象模型，近年来已成为数据访问的一种趋势。该文结合实际开发经验，详细阐述了在ADO中如何利用DFX数据交换机制实现数据库表中字段到数据成员变量之间的自动静态绑定。     

ESB数据操纵控制器

本文基于企业服务总线,从多数据库支持、数据操作请求调度、数据操作的安全性、数据库的访问优化四个方面考虑,对ESB系统内部模块对数据库的访问操作进行分析和研究,提出数据访问控制层,即ESB数据操纵控制器. 数据操纵控制器的目的是将ESB内的数据操作限制在尽可能小的指令范围内,这样提高了其数据操作的安全性和高效性. 并且数据操纵控制器支持多种数据库的访问和操作,使得ESB系统的产品通用性更强.