电网业务中的海量数据存储技术

随着电网业务中海量数据的增多,其所采用的集中式数据库或大电网统一数据库的数据存储方式已难以满足电网业务与管理的需要. 本文首先着重分析了电网业务中的数据类型与特性,然后在综合考虑国家电网当前旧设备与通信网络结构的基础上,提出了一种适用于电网业务的分布式存储方案,并对其数据访问控制进行了设计;最后,进行了初步验证与对比分析.     

网格环境下基于服务的分布式查询处理机制研究

OGSA-DQP是一种用于网格环境、基于服务的分布式查询处理系统,实现了运行在不同平台的分布式数据密集型应用的高级数据访问与集成服务方法,为用户提供一致的虚拟关系数据视图和分布式数据查询支持。文章描述了其体系结构、分析了其查询和优化机制,并在不同条件下测试了查询性能,为寻找系统查询性能瓶颈、提高系统查询响应时间提供依据。     

海量数据处理中的网格技术应用

网格是继Internet和Web之后第三次信息技术革命,最终将改变分布式资源的共享和服务方式。该文主要讨论了海量数据的产生、存储、处理,以及其对数据网格技术的需求,分析了欧洲数据网格和LHC计算网格的功能,并探讨了网格技术研究的最新情况。     

基于Web服务的网格体系结构及其支撑环境研究

网格技术是当前网络计算的前沿领域,基于Web服务技术构建网格系统有助于提高网格系统的可扩展性和互操作能力,是这一领域中的最新热点.但现有的工作尚未明确界定基于Web服务的网格的功能模型和实现机制.首先讨论了网格功能模型,基于OGSA(open grid service architecture)框架提出了基于Web服务的网格层次体系结构,并将Web服务工作流引入到网格任务描述中,给出一种Web服务与网格技术相融合的机制,介绍了基于Web服务的网格支撑环境WebSASE4G的总体结构和设计原理,为基于Web     

基于网格的分布式虚拟环境仿真海量数据管理

分析了分布式虚拟环境仿真的特点,提出了基于网格的分布式虚拟环境仿真的海量数据管理框架.该框架结构采用分层结构,自底向上依次为网格节点、高性能通信系统、数据存储与处理系统和计算系统.给出了一个基于上述体系结构的原型系统.对该原型系统的仿真结果表明,该海量数据管理体系结构设计符合虚拟环境仿真实时性、稳定性和高可靠性的要求.     

HPC海量存储系统Pass-Through访问策略研究

为了解决海量信息处理中实时访问中的“I/O墙”的问题,提高海量信息分布式存储系统的性能,提出了一种基于高性能计算(high performance computing, HPC)的存储部件新型访问策略.首先,分析传统访问模型存在的问题;其次,研究存储部件直通路模式的工作机理, 建立存储系统分解为多层次、分布式的模型,根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射;第三,分析直通路访问模式下的存储路径时间开销;第四,在模拟环境下存储部件访问的性能测试,在实际采用该策略的应用系统中进行验证.通过验证测试结果表明,该方法能有效提高存储系统的性能,能够不断满足海量信息处理实时需要.     

基于逻辑链接的网格虚拟存储子系统

虚拟存储是存储技术的发展趋势,将广域范围内异构的存储资源加以抽象通过虚拟的、统一的方式为用户提供高效,可靠的存储空间.在分析了网格环境下虚拟存储的特点后,提出了系统架构,阐述了系统结构和主要技术,并基于逻辑链接在某网格服务系统内实现了虚拟存储.最后就现有主流系统与该系统做了分析比较.     

网格监控技术的研究

为网格提供一种可扩展的机制去监控网格中的资源信息是至关重要的,文章介绍了网格的监控对象、监控事件及数据的产生,分析讨论了GMA和MDS这两种常用的网格监控体系结构,前者是一个理论上的模型,后者则是已获得广泛应用的Globus工具集中的一个重要的信息服务监控组件。     

网格监控技术的研究

为网格提供一种可扩展的机制去监控网格中的资源信息是至关重要的，文章介绍了网格的监控对象、监控事件及数据的产生，分析讨论了GMA和MDS这两种常用的网格监控体系结构，前者是一个理论上的模型，后者则是已获得广泛应用的Globus工具集中的一个重要的信息服务监控组件。     

基于Hadoop的电力运维审计系统的设计

国家电网公司信息化程度越来越高,单机运维审计系统产生的数据量日益增多,对海量数据高效率存储分析性能严重下降,系统稳定性降低。为满足国家电网当前对运维审计系统数据存储分析以及系统稳定性的需求,在Hadoop开源架构的基础上,本文提出基于Hadoop集群的海量数据分布式存储方法和基于Heartbeat的心跳检测技术,实现基于Hadoop的电力运维审计系统。〖JP2〗实验测试结果表明,基于Hadoop的电力运维审计系统相比单机系统可用性提高了8.42%,大大提升了存储分析海量数据的性能,具有系统工作稳定和服务不间断等优势。     

一种基于网格的LiDAR数据处理平台体系结构

分析LiDAR数据处理流程，结合开放网格服务体系结构(OGSA)，提出一种LiDAR数据处理平台体系，将数据处理任务合理划分并分配到各个分布的网格节点上，通过各节点并行、协同计算，达到提高运算速度的目的。最后以对激光点云重采样生成格网DEM为例，说明算法在该体系下的计算过程。     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

A stateful storage availability and entropy model to control storage distribution on grids

In spite of numerous works studying file replication strategies on distributed systems, data management policies remain mostly handled by manual operators or very basic algorithms on production grids. Among other causes, this situation is due to the lack of models taking job reliability into account. In this paper, we study file replication using new metrics to evaluate the reliability of distributed storage configurations. A stateful storage availability model is introduced to cope with the inability of the stateless model to account for the commonsense intuition that limiting the number of storage hosts involved in the execution of an application improves reliability. We describe the job success probability and the brittleness entropy, a metric describing the uncertainty of the job failure rate associated to a storage configuration. Results, obtained on synthetic data and on traces extracted from the European Grid Infrastructure, show that the stateful model is more accurate than the stateless on real data, and that it can describe the consequences of limiting the number of storage hosts on application reliability. These findings open the door to the design of new file replication strategies taking storage availability into account. Copyright © 2014 John Wiley & Sons, Ltd.     

基于Agent技术的智能体网格的研究

Agent能够感知外界环境的动态变化,而支持动态环境变化是网格的基本要求之一。把Agent技术引入到网格计算中,通过对Agent技术的特点和优点的分析,给出智能体网格的概念和体系结构,阐明Agent在智能体网格中,既充当Grid的使能器,又作为其功能享受者的特殊作用,最后,提出Agent技术在基于开放网格服务体系结构（OGSA）的网格计算中的应用模型。     

开放网格服务体系结构OGSA及其仿真应用

该文对目前网格最新的体系结构一开放网格服务体系结构OGSA进行了介绍,该体系结构基于Web Selwices框架提出了一种网格服务结构的思想。OGSA的服务功能主要包括动态服务创建、服务发现、生命周期管理、注册和通知等。分布式仿真系统与网格有许多相似之处,同时基于HLA标准建立的分布仿真系统又存在着很多有待完善之处,所以提出将网格技术结合到仿真系统的设计中,建立基于网格的分布式仿真系统。基于OGSA的结构特点,这种新的仿真系统以建立标准的仿真服务为中心,同时实现了对仿真资源的动态分配和调度,增强了系统的可重用性和灵活性。     

网格技术与信息资源存储和共享

“网格“是一个新出现的概念,代表了一种先进的技术和基础设施,是继Internet之后又一次重大的科技进步.网格旨在使互联网上所有资源(计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等)实现全面共享与协同工作,使整个因特网整合成一台巨大的超级计算机,为用户提供“即连即用“式的服务.介绍了网格的内涵、特点及两种主要的网格体系结构,对网格环境下信息资源的存储和共享进行了论述.     

通用知识网格下以用户为中心的数据挖掘本体研究

分布异构的海量数据挖掘是数据挖掘领域急待解决的课题，通用知识网格（UKB）架构模型用于在网格环境下创建大规模的分布式知识发现和知识集成系统。本体服务器是整个架构的核心模块，负责本体的管理和查询。数据挖掘本体服务是本体服务器提供的主要服务。本文主要介绍通用知识网格下以用户为中心的数据挖掘本体的设计和OWL实现。数据挖掘本体可满足各种不同领域、不同层次用户的知识发现服务，使系统具有开放性、可扩展性和高用户可用性。还介绍了一个反洗钱领域数据挖掘解决方案实例。     

Urban Traffic Information Service Application Grid

Traffic information processing is very complicated because of dynamic, cooperative and distributed features.This paper describes the prototype system version 2.0 of Urban Traffic Information Service Application Grid (UTISAG),which is based on the previous version. In this version, a new architecture and more enhanced services are introduced.The remarkable characteristic of the new system is providing dynamic information services for travelers by grid technology.Therefore, the key research includes integrating large multi-source traffic data, forecasting route status, simulating regional traffic flow parallelly, and implementing optimum dynamic travel scheme based on massive GPS data.     

数据库网格:基于网格的多数据库系统

近年来,数据网格技术的快速发展为广域分布环境下的海量数据共享提供了强有力的支持。数据库网格是指主要由各种数据库管理系统构成的数据网格环境,其技术难点是在网格环境下研究解决分布式查询、事务、多数据源视图等传统的数据库领域的问题。该文通过讨论数据网格、数据库网格和多数据库的概念和特点,并比较上述问题在多数据库和数据库网格环境下的异同,对数据库网格的特点进行了总结,对数据库网格技术的研究和发展方向进行了探讨和展望。     

Flexible Grid service management through resource partitioning

In this paper, a distributed and scalable Grid service management architecture is presented. The proposed architecture is capable of monitoring task submission behaviour and deriving Grid service class characteristics, for use in performing automated computational, storage and network resource-to-service partitioning. This partitioning of Grid resources amongst service classes (each service class is assigned exclusive usage of a distinct subset of the available Grid resources), along with the dynamic deployment of Grid management components dedicated and tuned to the requirements of a particular service class introduces the concept of Virtual Private Grids. We present two distinct algorithmic approaches for the resource partitioning problem, the first based on Divisible Load Theory (DLT) and the second built on Genetic Algorithms (GA). The advantages and drawbacks of each approach are discussed and their performance is evaluated on a sample Grid topology using NSGrid, an ns-2 based Grid simulator. Results show that the use of this Service Management Architecture in combination with the proposed algorithms improves computational and network resource efficiency, simplifies schedule making decisions, reduces the overall complexity of managing the Grid system, and at the same time improves Grid QoS support (with regard to job response times) by automatically assigning Grid resources to the different service classes prior to scheduling.