虚拟化模型驱动的分布式数据湖构建方法研究

提出了适应工商联业务服务对象分布广、类型多、不确定性强等特点的虚拟化模型驱动的分布式数据湖构建方法,给出了分布式数据湖的整体架构设计,定义了适应分散、碎片化数据收集场景的数据虚拟化模型和模型驱动下的数据库间协作流程;通过构建虚拟化的全局数据索引网络,实现边缘数据库节点、二级区域数据库节点和中央数据库节点的库间路由和协调一致,形成去ETL化和去中心化的辐射型分布式数据湖,缓解了集中式数据湖构建方法所存在的数据更新时效性差、存储需求量大、频繁搬运大量数据耗费大量带宽、经济性差等诸多问题。对比测算表明,所提方法既满足了工商联分析业务对大数据的需求,又很好满足了实时处理业务对鲜活数据的需要,减少了数据搬运成本,提升了经济性。     

基于Kubernetes的云原生数据库集群部署方案

针对气象结构化数据在单机数据库环境下存在缺乏灵活扩展和资源利用率低下的问题,提出了一种基于Kubernetes的云原生数据库部署方案,将MySQL数据库运行在Kubernetes+容器的环境,通过集群部署调优,形成分布式云原生数据库服务能力。该方案利用Shared Everything+Shared Storage的存储计算分离架构实现资源池化高效管理;利用Shared Nothing的分布式架构,实现数据水平分片、水平扩展。测试结果证明,该方案具有较好的横向扩展和数据查询性能。     

数据库在分布式管理系统中的应用与优化设计

互联网、大数据、云计算等技术的快速发展,促进了分布式管理系统在电子商务、电子政务、金融证券、电力通信等领域得到广泛普及和使用,取得了显著的应用成效.分布式管理系统在数据处理过程中,数据库是最为关键的一个重要组成部分,其承载着系统数据的连接、查询、删除、修改、插入等操作功能,直接影响分布式管理系统的操作性能.分析了数据库在分布式管理系统中的应用,提出了利用Agent技术优化数据库操作组件,提高系统数据加工的速度,进一步提升系统性能.     

基于列存储的MapReduce并行连接算法

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化。使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法。实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性。     

工业监控系统中的分布式实时数据库研究

分析了工业监控系统中的分布式实时数据库的的功能与特点、结构、数据对象和事务的种类。提出建立内存数据库保证系统实时性并讨论了PC机和嵌入系统上实现内存数据库管理的区别和难点。着重研究了根据数据相关度分配数据的分布机制的实现和基于价值函数的事务并发调度。为构建工业监控系统中的分布式实时数据库提供了一条思路。     

基于分布式图数据库JanusGraph的高可用服务架构研究

目前,图数据广泛应用于金融科技、智能问答、智慧城市等多个领域。图数据库作为图数据的存储介质,技术发展迅猛。随着数据量的爆发式增加,图中顶点和边的数量随之增加,所需要的存储和计算能力远超出单台机器所能提供的能力,因此分布式图数据库成为图数据库发展的必然方向。JanusGraph作为一种开源图数据库,具备可拓展节点数量的分布式存储能力,支持海量点边图数据的存储,在分布式环境下的图查询和图遍历都有着良好的性能。虽然JanusGraph支持数据的分布式存储,但是其服务本身Janus-Server并未支持高可用。文章提出一种基于JanusGraph的高可用服务架构,补足JanusGraph的这一缺陷,提升JanusGraph的高可用性。     

多副本分布式事务处理关键技术及典型数据库系统综述

数据复制是分布式数据库提高可用性的重要手段,通过在不同区域放置数据库的部分副本,还可以提高本地读写操作的响应速度,增加副本数量也会提升读负载的线性扩展能力.考虑到这些优良特性,近年来国内外都出现了众多多副本分布式数据库系统,包括Google Spanner、CockroachDB、TiDB、OceanBase等一系列主流的工业界系统,也出现了包括Calvin、Aria、Berkeley Anna等一系列优秀的学术界系统.然而,多副本数据库带来诸多收益的同时,也带来了一致性维护、跨节点事务、事务隔离等一系列挑战.总结分析现有的复制架构、一致性维护策略、跨节点事务并发控制等技术,对比几个代表性多副本数据库系统之间在分布式事务处理方面上的差异与共同点,并在阿里云环境下搭建跨区域的分布式集群环境,对几个代表性系统的分布式事务处理能力进行了实验测试分析.     

一种提高数据库实时性的设计方法

结合机群作战分布交互仿真系统给出了一种提高仿真系统数据库实时性的方法。即利用集中和分布式的数据库结构对机群作战分布交互式仿真系统的数据库进行了优化设计,减少了网络数据流量。同时,采用ADO数据库访问技术,提高了数据库操作响应速度．利用Windows Sockets套接字编写的广播通信接口程序以及在线程之间建立共享内存,增强了数据缓冲能力。提高了系统处理数据的能力,从而保证了系统的实时性。时钟节点的加入保证了系统的时空一致性,保证了数据的准确性。经试验验证可以满足系统要求。     

分布式气象大数据快显技术的设计与实现

随着气象数据不断迈向海量的大数据范畴，原有省级CIMISS已不能满足实际需求。为了解决系统实时查询性能低下、动态扩展能力不足等问题，基于GBase、MySQL、MongoDB、HBase等不同的数据库，针对不同的气象数据特征进行分库存储，构建大数据分布式存储数据中心，并利用并行计算技术针对数据服务显示功能进行增速。实践证明，该方案不但能与CIMISS无缝衔接，而且还极大提升数据的查询显示速度，且并发响应能力强，时间跨度越大查询优势则越明显。与CIMISS相比，整体系统查询速度平均提升了860%,能够有效地满足气象业务和科研的服务需求。     

基于列存储的MapReduce分布式Hash连接算法

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化的特点。传统关系型数据库在对大数据进行操作时存在系统性能严重下降、计算效率提升有限以及可扩展性差等问题,因此引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce分布式Hash连接算法。首先,设计面向大数据的分布式计算模型,在设计的分片聚集并行连接的基础上,利用Hash连接以及动态探测方法优化了数据并行连接处理效率;然后,针对该算法开发了基于Hadoop的原型系统。通过实验证明,在大数据分析处理中,所提算法在执行时间和负载能力上都有很好的性能表现,也能提供良好的可扩展性。     

分布式数据库通用查询对象模型

提出基于CORBA的分布式数据库通用查询对象模型，该模型结合目前最先进的分布式对象技术，异构数据库访问技术以及为了解决异构分布式计算机系统数据传输问题而提出了的数据类型鉴别器技术，为异构分布式数据库系统提供可跨平台移植的，跨数据库查询的具有统一接口的分布式数据库通用查询构件，利用分布式数据库通用查询对象模型概念的实现，成功开发出南方电力调度中心异构分布式计算机信息交换系统软件，给出了使用该软件在分布式异构系统中实现数据通用查询的实验结果，证明是可行的。     

体育竞赛实时数据分享系统储存方案设计与优化

在"互联网+"概念的影响下,越来越多的信息技术应用于体育产业.本文通过构建基于MEAN框架的体育竞赛实时数据管理系统,设计了一种结合本地存储与远端云数据库的分布式存储方案,既实现数据的实时分享,又保障数据的可靠性.并通过实验的方式比较了基于HTML5 Local Storage本地存储的两种方法与本地NoSQL数据库的...     

基于CORBA的分布式通用数据库查询对象模型的研究

本提出基于CORBA的分布式通用数据库对象模型，该模型结合目前最先进的分布式对象技术，异构数据库访问技术以及为了解决异构分布式计算机系统数据传输问题提出的数据类型鉴别器技术，为异构分布式数据库系统提供可跨平台移植的，跨数据库查询的具有统一接口的分布式通用数据库查询构件。利用分布式通用数据库查询对象模型概念的实现成功开发出某电力部门异构分布式计算机信息交换系统软件。     

Dispatching mobile Agents for DDM applicationss

Techniques for mining information from distributed data sources accessible over the Internet are a growing area of research. The mobile Agent paradigm opens a new door for distributed data mining and knowledge discovery applications. In this paper we present the design of a mobile agent system which couples service discovery, using a logical language based application programming interface, and database access. Combining mobility with database access provides a means to create more efficient data mining applications. The processing of data is moved to network wide data locations instead of the traditional approach of bringing huge amount of data to the processing location. Our proposal aims at implementing system tools that will enable intelligent mobile Agents to roam the Internet searching for distributed data services. Agents access the data, discover patterns, extract useful information from facts recorded in the databases, then communicate local results back to the user. The user then generates a global data model through the aggregation of results provided by all Agents. This overcomes barriers posed by network congestion, poor security, and unreliability.     

基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

基于.NET的分布式数据库信息系统的设计

介绍了分布式数据库的特点及设计方法,阐述了地理位置分散的企业利用分布式数据库技术实现信息系统的过程。分布式数据库技术使得企业的数据在逻辑上整体一致,完整同步,且实现了安全传输,这让企业在不断发展中,其信息系统也能不断发展。介绍了基于Microsoft.NET的Web Service技术特点,以及通过这种技术访问分布式数据库的便利性和优越性。最后通过实际的应用,展示基于上述技术的企业管理信息系统的实现。     

对象事务服务与数据库集成机制研究

在分布式事务处理系统中需要持久存储的数据资源的参与来保证事务的持久性,数据库系统（DBMS）的广泛使用为事务系统提供了丰富的数据源,将分布式事务系统同现有的数据库系统的集成具有非常重要的意义,本文研究了通用请求代理体系结构（CORBA中的对象事务服务（OTS）和关系数据库系统的集成机制,提出了对象事务服务和数据库系统集成模型,设计并实现了数据库连接器DBConnector,完成了事务服务系统和数据库系统的无缝集成。     

Wcrl: A data model independent language for database systems

The need for data model independent languages for database systems has become apparent in recent years. They can be used for the conceptual level of a database system, for communication in a distributed database system, for data restructuring, and so on. This paper proposes a language,wcrl, to fill this need and compares it with the very few other languages which have been developed almost concurrently to fill the same need.     

基于.NET的Web Service技术的分布式异构数据库的集成

本文分析了Web Service的特点,提出了一种基于Microsoft.NET的Web Service技术访问分布异构数据库的体系结构,并采用.NET技术实现了原型系统.在原型系统中,使用Web Service将分布于Internet上不同的数据库系统中的数据集成,向访问数据库的应用程序提供统一的数据操作接口,实现了分布式数据库的透明访问.     

基于Agent的分布式数据库查询优化研究

目前分布式数据库查询优化器基于代价模型,总代价=CPU代价+I/O代价+通信代价,在远程通信网或数据传输率较低的系统中,通信代价应作为首要的优化目标来考虑;提出了一种基于Multi-Agent技术的查询模型(QMAS);同时为了保证系统组内、组间Agent之间的高效通信,采用了树型拓扑结构(TTMAS)的通信模型,系统内各Agent使用通信原语高效通信、协作,且满足Agent间的通信路由最优,从而保证了QMAS的查询效率.