数据网格中基于发布/订阅的实时复制技术及实现

介绍了网格数据库的研究现状,并针对一个企业的实际应用论述了如何基于OGSA-DAI采用发布/订阅模式,实现网格数据库间的实时数据复制。本文就其关键技术和体系结构进行了论述,并给出了主要服务的实现方法。     

监控信息流实时数据同步

实时数据同步是调度监控系统重要的性能指标。文中针对调度监控系统存在实时性低的问题,利用数据库设计模式,结合发布订阅技术,提出了一种基于数据库设计模式的发布订阅优化的新方法。通过数据库设计模式对发布/订阅模式进行监控信息流传输实验,基于数据库设计模式,实现了两个数据库之间监控信息流数据的同步,保证调度监控系统的实时性。     

基于发布/订阅系统的事件服务体系结构

网格环境下软硬设施的异构性、通信的异步性以及协同工作的特点使得基于事件的交互成为虚拟组织成员交互的自然抽象。适用于网格环境下的事件服务是发布/订阅系统。该文结合科学数据网格的特点,采用基于内容的发布/订阅系统实现事件服务。并且提出科学数据网格的事件服务体系结构,给出了系统框架及实现中的核心算法———路由算法和匹配算法。该方案已经应用于科学数据网格项目中,结果表明它能够很好地适用于数据网格环境中。     

多源数据库数据复制模型

针对跨数据库平台、跨操作系统平台、跨硬件平台数据交互需求,提出一种基于日志解析的数据交互复制模型。该模型通过对数据库Redo日志的分析与定位,从中抽取增量变化日志数据,然后采用并行同步传输的方式将抽取的日志数据传输到预处理端,在预处理端进行原始数据的事务合并处理,然后在装载发布端通过数据订阅的形式获取预处理端的队列数据,数据内容放入本地缓存队列文件,最后对本地缓存队列文件进行数据转换、数据装载入库,从而实现数据交互复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还具有较低的数据复制延时。     

基于主题的数据订阅分发技术

基于主题的订阅分发技术是一种将源数据通过一定的方式发布到目的地的技术，它既可以发布数据库的实时数据，也可以发布实时应用数据。该技术可用于实时数据库备份、信息备份，也可用于数据仓库和数据分布的其他场合。     

基于主动数据库分布式SCADA设计与实现

传统模式无法满足SCADA系统对主动数据服务的要求,针对SCADA系统的数据实时性、准确性需求,结合主动数据库技术,提出了基于主动数据库的分布式SCADA系统结构.同时针对SCADA系统与其他异构系统之间的集成和数据交互问题,将基于发布/订阅的消息模式引入系统中,从而降低与其他系统之间的依赖性,增强系统的可扩展性,并给出了主动数据库模型和实时消防监测报警系统的具体应用实例.     

信息网格中基于Agent的数据复制方法探讨

说明了有效的数据复制机制和副本管理策略是信息网格研究的重要内容.概述了应用Agent技术实现信息网格中数据复制的基本方法.探讨了在全国人口信息系统中基于Agent的数据复制方法的设计和实现,利用Agent的自主性、移动性和交互性等特点,实现上层创建下层副本,及同层间副本的创建.采用数据格式转换系统解决底层数据库的异构问题.重点分析了基于Agent的推动和拉动复制方法的实现特点,说明了基于Agent的数据复制方法在信息网格中的合理性和高效性.     

基于网格服务的数据发布系统

网格的核心任务是管理分布在Internet广域环境中的各种类型的软硬件资源，为基于Internet的分布式应用提供一个统一的、虚拟的共享资源的计算平台。如何将数据库资源并入现有的网格架构，满足更加广泛的网格应用的数据访问需求，已经成为一项亟待解决的课题。文章提出了一套网格环境中的数据发布系统的设计方案，以网格服务的形式封装对数据库的访问，实现跨越异构网络环境、异构操作系统环境和异构数据库平台的统一访问模式，从而将数据库资源加入到网格环境中。     

基于DDS的发布/订阅中间件设计

基于OMG组织颁布的实时系统中数据分发服务最新标准设计了一个新的发布/订阅中间件，实现了分布式环境中以数据为中心的数据实时传输，解决了分布式实时系统中服务质量约束和单点失效等问题。提出一种全局数据空间管理策略，解决了通信节点动态增删问题。该模型与CORBA规范和其他发布/订阅模型相比，具有较好的灵活性、实时性、可扩展性和可靠性。     

基于JAVA/XML的分布式异构数据库同步系统的实现

研究了通过JAVA/XML和数据库触发器来实现异构数据库之间的数据同步技术,以及基于订阅与发布模式的数据同步机制,详细介绍了该系统的体系结构和各个部分的功能,并给出了系统实现.     

Analysis of Scheduling and Replica Optimisation Strategies for Data Grids Using OptorSim

Many current international scientific projects are based on large scale applications that are both computationally complex and require the management of large amounts of distributed data. Grid computing is fast emerging as the solution to the problems posed by these applications. To evaluate the impact of resource optimisation algorithms, simulation of the Grid environment can be used to achieve important performance results before any algorithms are deployed on the Grid. In this paper, we study the effects of various job scheduling and data replication strategies and compare them in a variety of Grid scenarios using several performance metrics. We use the Grid simulator , and base our simulations on a world-wide Grid testbed for data intensive high energy physics experiments. Our results show that scheduling algorithms which take into account both the file access cost of jobs and the workload of computing resources are the most effective at optimising computing and storage resources as well as improving the job throughput. The results also show that, in most cases, the economy-based replication strategies which we have developed improve the Grid performance under changing network loads.     

在地震减灾仿真网格系统中数据网格应用技术研究

有效地定位、访问、浏览数据是异构广域网络中急需解决的问题,数据网格技术是解决此问题的有效手段之一。通过运用虚拟化的元数据模型,并在其基础上提出了单一的数据访问接口,同时运用单一的数据访问接口构建了元数据目录服务系统,最后在地震减灾仿真网格系统中应用该设计思想实现了地震数据的有效管理。     

Modeling Replica Availability in Large Data Grids

Large Grid systems not only provide massive aggregated computing power but also an unprecedented amount of distributed storage space. Unfortunately, the dynamic behavior of the Grid, caused by varying resource availability, unpredictable data updates, and the impact of local site policies makes it difficult to exploit the full capabilities of Data Grids.We present an analytical model for determining the optimal number of replica servers, catalog servers, and catalog sizes to guarantee a given overall reliability in the face of unreliable components. Our model captures the characteristics of peer-to-peer-like environments as well as that of Grid systems. Empirical simulations confirm the accuracy of our analytical model.     

医学数据网格中数据一致性问题研究及实现

分析了数据网格中数据不一致问题的产生以及数据网格中一致性服务的主要内容．基于数据访问特点，深入研究了数据网格中的一致性策略．结合上海医学网格第一阶段，即耳鼻喉医学网格的实际设计实现了一种新的数据一致性算法．最后还提出了在更为复杂的上海医学网格第二阶段，即乳腺癌医学网格中的一致性维护算法的思想．     

基于分布式文件电力异构数据存储综述

随着国网公司信息化建设的不断推进,在整个电网的运检和管理的过程中都会产生海量的数据,这些数据中包含各场景产生的视频、图片、传感器数据和一些企业档案信息等非结构（异构）化数据.在面对如此大规模非结构化的数据存储要求时,传统关系型数据库已经表现的力不从心了.如何对此类数据进行高效地、廉价地和安全可靠地存储,并且可以快速检索与分析,是当下研究的重要热点课题之一.本文首先分析了电网大数据的产生及特征,然后综述了工业界大数据分布式文件存储技术,最后分析适合国网非结构化数据的分布式文件存储策略.     

数据网格的数据管理策略

数据网格的目标是使数据密集型的高性能计算和数据密集型的数据共享事务处理及科学研究成为可能，数据网格主要包括数据存储系统和数据管理系统两大部分．数据管理系统对所存储的数据进行管理，主要包括数据的传送和复制等操作．文章对数据管理策略进行了详细的分类评述并且讨论了目前数据管理系统中的某些局限性和进一步的工作．     

基于网格的企业数据集成

基于网格的企业数据集成是一种新的集成模式,是实现企业网格应用的基础。在OGSA的体系结构下,建立企业数据集成拓扑结构和系统模型,研究节点互访过程,数据转换模型,探讨了其中的关键问题。实现在自治高效的管理环境中可伸缩性的数据集成,用户透明地使用企业数据资源。     

基于SOA的海量准实时数据服务平台接入/访问研究

电网数据已成为电力企业发展的重要资产,但缺乏有效的技术手段对准实时数据进行高效的接入/访问。从松耦合、可重复性、标准化等架构设计原则考虑,通过数据接入方案和数据访问方案设计并实现了基于SOA技术的海量准实时数据服务平台。平台通过设计的数据接入/访问工具将不同业务系统的准实时数据统一接入,以测点形式有序集成,并统一对外提供订阅、查询和获取所需数据访问服务来支撑业务应用。同时通过平台电网模型同步与模型树建立和高级应用支撑的关键技术,建立主网模型,并借助变电站设备模型挂接完成主网与配网模型拼接,形成电网标准的模型树,实现电网准实时数据的高效集成和访问,更好的满足电力企业准实时数据纵向贯通和横向交互的需求。     

基于网格技术的分布式信息检索模型的研究

随着网上信息数量和种类的增加,传统的集中式信息检索方式已经不能满足广大用户的需求,分布式信息检索技术日益成为研究的热点。如何有效地定位、访问、浏览数据是异构广域网络中急需解决的问题,数据网格技术是解决此问题的有效手段之一。通过运用虚拟化的元数据模型与LDAP（Lightweight Directory Access Protocol）目录服务相结合,提供元数据目录服务,并在此基础上提出了单一数据访问接口,从而实现网格环境下统一的数据访问。最后基于该设计思想提出了一种分布式异构信息检索模型。     

网络入侵检测实验研究

计算机网络系统的复杂化和网络数据的海量化,给网络入侵检测带了极大的困难。在对数据挖掘技术、网格技术和入侵检测技术深入研究的基础上,采用基于数据挖掘的入侵检测系统结构模型提高入侵检测的正确率,再集成网格技术提高入侵检测的处理效率。