网格数据库管理模型与策略

越来越多的网格应用需要管理大容量和广域分布的数据。开放网格服务体系结构中的网格服务提供了动态创建、管理和在网格服务中交换的一致接口。本文探讨了以OGSA网格服务管理网格数据库的模型，网格数据库服务提供支持数据访问的控制和发现、执行数据管理的操作，实现数据资源的虚拟化，通过网格实现现有数据库的访问与集成。同时讨论了相关的优化策略。     

基于数据网格环境的连接操作算法

数据网格是一种分布式数据管理体系结构，能够为分布在网格中的资源提供协同的管理机制．数据库管理系统在数据网格中发挥着重要作用，在各种数据库操作中，连接操作是一种最常用也是最耗时的操作，到目前为止，尚未有文献提出数据网格环境下的连接操作算法．主要对数据网格环境下海量数据的连接操作算法进行了研究，针对网格中各结点之间网络带宽异构的特点，采取关系缩减算法、行分块传输技术和流水线并行机制来减少查询的响应时间．理论分析和实验结果证明，算法在减少网络通信开销、增加I／0和CPU并行、降低响应时间方面具有较好的性能．     

网格环境下的一种数据集成模型

本文结合相关的网格技术和异构数据库集成技术,设计了新的基于OCSA-DAI体系结构的数据集成模型,该模型在中间件层扩展和完善了OGSA-DAI的功能,体现了良好的网格数据库访问与集成性能,并通过代理中间件在访问代理层实现与实际数据源相关的转换操作采提供对通用数据访问接口的支持,实现了真正意义上的语句透明.本设计采用分层+组件方法,具有易扩展和移植性等特点.     

数据库网格:基于网格的多数据库系统

近年来,数据网格技术的快速发展为广域分布环境下的海量数据共享提供了强有力的支持。数据库网格是指主要由各种数据库管理系统构成的数据网格环境,其技术难点是在网格环境下研究解决分布式查询、事务、多数据源视图等传统的数据库领域的问题。该文通过讨论数据网格、数据库网格和多数据库的概念和特点,并比较上述问题在多数据库和数据库网格环境下的异同,对数据库网格的特点进行了总结,对数据库网格技术的研究和发展方向进行了探讨和展望。     

支持Web深层数据库网格的部分关键技术的研究

当前,深层Web数据库数量急剧增加,然而其知识并没有得到有效的利用.本文提出将特定的深层Web数据库应用于网格环境中的思想,并针对支持深层Web数据库网格的部分关键技术进行研究,主要包括：（1）深层Web数据库元信息定义模型与模式抽取模型的研究;（2）多层次的模式匹配模型和自协调模型研究;（3）基于属性松弛的Web数据库查询与集成模型研究;（4）多目标函数代价模型和面向局部性的自适应优化调度模型研究.研发成果将为构建深层Web数据库网格提供良好的支持,就像网格的概念所定义的一样,为用户提供统一的接口,可按需为消费者提供集成的深层Web数据知识.其具有广阔的应用前景.     

面向内存数据网格的分布式事务保障机制

在线事务处理（online transaction processing,OLTP）应用面临并发量和数据量持续增长的问题,并且高并发读写操作使得后台数据库成为瓶颈。内存数据网格（in-memory data grid,IMDG）是基于内存的新型分布式数据访问平台,是解决系统数据库写操作瓶颈的有效技术途径之一。然而内存数据网格中数据访问操作涉及的数据分布是不可预知的,需要提供分布式事务保障。针对内存数据网格的系统特点,提出了一种分布式事务保障机制,设计实现了事务处理模型、请求处理和数据定位方法以及事务保障协议,并规范化地定义了客户端与服务器端以及服务器端之间的操作接口。在事务处理基准测试TPC-W上的实验结果表明,新机制可以提高在线事务应用的处理速度,并具备良好的扩展性。     

基于网格服务的数据发布系统

网格的核心任务是管理分布在Internet广域环境中的各种类型的软硬件资源，为基于Internet的分布式应用提供一个统一的、虚拟的共享资源的计算平台。如何将数据库资源并入现有的网格架构，满足更加广泛的网格应用的数据访问需求，已经成为一项亟待解决的课题。文章提出了一套网格环境中的数据发布系统的设计方案，以网格服务的形式封装对数据库的访问，实现跨越异构网络环境、异构操作系统环境和异构数据库平台的统一访问模式，从而将数据库资源加入到网格环境中。     

网格环境下数据集成模型研究

基于OGSA—DAI给出了一个用于解决网格环境下异构数据源数据集成和分布式查询处理的数据集成模型,在此基础上利用客户端元数据库解决了用户对目标数据库信息了解匮乏的问题,从而为用户的分布式查询处理提供了一种直观透明的、可视化的虚拟数据库视图环境。     

基于OGSA-DAI的数据集成模型研究

随着网格技术应用研究的发展,网格计算环境下数据库访问和集成现成为研究热点。以OGSA-DAI和异构数据库集成技术为基础,概述了数据集成的关键技术,提出了基于OGSA-DAI的数据集成模型,重点讨论了模型的体系结构、数据集成的步骤和实现方法,并以开发的基于此模型的虚拟数据库作为应用实例,验证了所提出模型的有效性。     

基于数据网格面向服务的查询算法

面向服务的框架（SOA）为用户的服务提供了一个标准的平台，实现服务的提供、发现、配置和集成，以帮助用户查询和处理信息．数据网格是面向服务的架构，为用户进行分布式远程数据查询服务提供了保障．对网格环境下Hidden Web数据库的研究与开发逐渐成为人们关注的焦点问题．要回答用户的查询，数据集成系统需要解决网格上的需求语义分析和关键字查询、建立数据查询模型．将数据库抽象为无向图，节点对应数据库中的元组，边对应“主-外码”的关系．查询的结果是与元组连接的答案树，它与查询的关键字相匹配．针对以上这些问题提出了一个新的查询算法，将改进的动态规划算法用于查询模型，保证Top-1答案树最优，Top-K答案树近似最优；给出了实验测试和评估结果．     

一种基于OGSA数据集成的改进模型

随着应用程序中所涉及的数据量和分布范围的不断扩大,其中的数据源采用不同的方式进行集成处理。网格服务可以支持分布数据、动态资源发现、访问透明性、动态负载平衡等虚拟服务。对于网络数据源中的动态服务,采用网格结构模型,并且针对如何使微机数据源有效地加入数据源池提出了改进模型,以更有效地利用网络数据库资源。     

基于大数据的电网规划精益分析平台研究与应用

随着新能源的大量接入和用户的广泛参与,电网企业的数据呈指数级增长,电网规划部门迫切需要运用大数据的分析手段提高规划决策的精准性。本文以地市供电公司的实体业务为切入点,基于地理位置信息,在数据融合贯通的基础上,运用数据可视化技术多维度动态展示地区电网负荷分布和电网供给能力,辅助规划人员快速发现负荷分布规律和电网薄弱点。运用大数据分析挖掘方法构建基于负荷特性分析的负荷预测模型,支撑电网项目和运行方式安排。打破电网负载问题的单一评价方法,建立可度量的电网综合评价体系及模型,为电网项目统筹提供量化依据。基于大数据的电网规划精益分析平台通过电网负荷可视化展示,有效提升了电网诊断分析效率,运用大数据分析方法提高了地区最大负荷的预测精度,实现了电网问题的数字化评估,提高了电网规划投资决策的精准性。     

科技数据网格中基于事件驱动的异步消息传输模型

典型数据网格实例在异构节点之间的数据传输效率低效。为了克服其缺点，提出了一个基于事件驱动的异步消息传输模型，给出了相关定义，论述了该模型的体系结构，并应用于科学数据网格中数据访问中间件当中。初步应用表明，该文提出的基于事件驱动的异步传输模型方案，对于具有数据海量性的科学数据网格具有重要意义。     

统一时空电网数据模型与访问技术

在电网的地理信息系统发展过程中,存在着多种不同的文件或空间数据库格式,也产生了大量的电网时空数据.为解决数据集中或各个系统间数据交互时,面临的异构数据问题以及时空数据应用问题,特提出统一时空电网数据模型与访问技术.本文从实际应用出发,利用元数据思想及软件插件模式,从数据及访问层面解决了异构数据和时态数据的使用.通过应用证明,采用统一空间数据模型与访问技术方式,能够有效地减少数据准备、系统开发的工作量,并且可以整合利用不同数据源各自的优点.     

基于SOA的海量准实时数据服务平台接入/访问研究

电网数据已成为电力企业发展的重要资产,但缺乏有效的技术手段对准实时数据进行高效的接入/访问。从松耦合、可重复性、标准化等架构设计原则考虑,通过数据接入方案和数据访问方案设计并实现了基于SOA技术的海量准实时数据服务平台。平台通过设计的数据接入/访问工具将不同业务系统的准实时数据统一接入,以测点形式有序集成,并统一对外提供订阅、查询和获取所需数据访问服务来支撑业务应用。同时通过平台电网模型同步与模型树建立和高级应用支撑的关键技术,建立主网模型,并借助变电站设备模型挂接完成主网与配网模型拼接,形成电网标准的模型树,实现电网准实时数据的高效集成和访问,更好的满足电力企业准实时数据纵向贯通和横向交互的需求。     

基于网格的多源数据访问

为促进网格环境下数据资源的共享,增强网格应用对现有数据访问的支持,针对资源的异构集成与透明访问问题,利用LDAP协议和LINQ技术提出一种基于网格的多源数据访问模型,并论述模型结构和关键模块的实现原理。该模型可实现对数据库、XML文档、ADO.NET数据集、内存数组集合等数据源的透明访问。     

智能电网监控运行大数据分析系统统一建模方法研究

随着电网监控运行一体化运行趋势愈发明显,大数据技术应用的不断成熟、普及,为具有多源、高维、异构等特征的电网监控大数据的分析与应用提供了解决方案。本文提出了面向智能电网监控运行大数据分析系统的统一建模方法,分析了监控大数据的数据源、数据范围及现状与存在问题,指出了数据建模所需解决的问题与思路,采用元数据思想构建了公共模型,基于业务需要构建了应用模型,对于数据接入与存储管理方面,定义了元数据模型,其目的是在接入、汇总监控业务相关数据源的基础上,构建以设备为中心的监控数据关联模型,实现数据对象统一建模,为实现多源数据高效、规范接入提供了模型支撑,同时定义了符合该建模思路的元模型,元模型约束了建模行为,保证建立的模型遵行领域约束,为上层智能监控大数据分析应用奠定了基础。     

面向电网PMU时序数据的云边协同技术

相量测量单元(phasor measurement unit, PMU)时序数据在支撑电网安全稳定运行中发挥了重要作用, 而随着电网调控云建设, 电网运行数据统计分析等业务对PMU时序数据的云端共享提出了需求. 本文提出了一种面向PMU时序数据的云边协同技术, 该技术针对PMU时序数据的存储和访问特性, 构建数据协同模型架构, 实现PMU时序数据从电网调度系统生产控制区边缘节点汇集到调控云, 并通过模型化的方式进行共享. 通过在测试环境下进行实施和测试, 验证了该技术的可行性.     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

An optimal replication strategy for data grid systems

Data access latency is an important metric of system performance in data grid. By means of efficient replication strategy, the amount of data transferred in a wide area network will decrease, and the average access latency of data will decrease ultimately. The motivation of our research is to solve the optimized replica distribution problem in a data grid; that is, the system should utilize many replicas for every data with storage constraints to minimize the average access latency of data. This paper proposes a model of replication strategy in federated data grid and gives the optimized solution. The analysis results and simulation results show that the optimized replication strategy proposed in this paper is superior to LRU caching strategy, uniform replication strategy, proportional replication strategy and square root replication strategy in terms of wide area network bandwidth requirement and in the average access latency of data.