网格数据传输及相关服务研究

以当前最流行的网格环境GlobusToolkit为例,结合业界的最新进展,介绍了网格环境下的数据管理与传输,比较了与普通网络环境下数据传输的不同和突出的优势,并围绕传输机制介绍和讨论了相关的服务以及它们的关联,阐述了有网格特点的数据传输与管理方式,探讨了这方面进一步研究的发展方向。     

网格环境下基于多Replica的数据传输

数据密集型应用需要在广域、分布式计算环境中高效地传输大量的信息。提出了一种在网格环境下基于多Replica的并行传输方法来实现GridFtp中的条状传输,以提高网络传输的效率及其安全性,并实现了一个适用于网格环境的数据传输客户端工具(MFTP)。实验表明,MFTP具有较好的数据传输性能和可靠性。     

基于网格服务的GridFTP传输性能的研究

利用GT4提供的网格服务功能研究了基于网格服务的GridFTP数据传输的性能,分别在关闭网格服务环境下和开启网格服务环境下,观察利用GridFTP进行不同文件类型和大小的数据传输情况,分析了网格服务对GridFTP数据传输的影响,并针对目前GridFTP进行跨异构平台传输过程中存在的问题,提出了几种改进方法.实验结果表明,将网格服务应用于Grid-FTP数据传输,可以改善其传输性能,提高其传输质量.     

GridFTP传输性能分析

网格环境中,数据的传输是一个基本的问题,该文研究了GridFTP的特点,根据其特点,提出若干可以改进数据性能的方法。对其在不同条件下的数据传输性能分别作了测试,实验证明,该文所提出的提高数据传输性能的方法是有效的,同时,还指出了GridFTP在提高数据传输性能时要注意的问题和受到的限制。     

基于Web Services的网格数据传输子系统

数据是网格环境中一类特殊的资源,它的流动、管理以及统一视图是网格系统的重要组成部分。该文分析数据的特点并设计实现一个基于FTP协议,支持多线程、断点续传、异常识别、连接维持以及第三方传输和“中转不落地传输”两种传输模式的数据传输子系统。该子系统提供了数据的动、静态部署能力,为在超级计算机和集群上运行作业提供数据支持,形成在各个网格资源上所部署的数据的统一视图,方便对数据的进一步操作。     

GridFTP多种数据传输模式的设计

GridFTP是Globus项目组开发的一个用于支持网格远程数据传输的一种基本的数据访问和数据传输协议,它支持多种形式的数据传输.研究了并行数据传输、条状数据传输和第三方控制数据传输的传输模式、传输过程,讨论了3种传输模式的适用范围和特点,以及实现并行传输、条状传输的主要代码,最后在第三方控制模式下,结合并行传榆和条状传榆,仿真实现了第三方控制数据传输.     

气象网格环境下大数据的端到端传输机制研究

以八个区域中心建立气象网格计算环境(CMAGrid),有效整合利用各区域中心现有的高性能计算资源,以提高气象行业资源利用率和气象作业运行效率。气象作业运行过程中的输入和输出都需要在各区域中心之间进行数据传输,大量的气象数据文件较大,因此,在CAMGrid环境下实现高效的气象大数据传输是个值得研究的课题。本文重点研究CMAGrid环境中各区域中心间端到端的气象大数据的高效传输机制。在气象网格环境搭建的基础上,根据气象大数据的特点,分析影响大数据传输效率的关键问题,基于缓冲区、数据切分、多路并行传输等机制研究一种大数据的端到端高效传输机制,有效利用现有的网络带宽,以提高气象骨干网环境下的数据传输能力。     

数据网格环境中数据传输服务的研究与实现*

通过对GridFTP作部分修改,实现了独立于Globus环境的、高性能、可靠的数据网格中的数据传输服务,它具有支持基础的安全机制、并行传输、三方传输等功能。剖析了GridFTP,详细介绍了基于GridFTP数据网格环境中的数据传输服务实例。     

NGridFTP:一种基于GridFTP的网格数据传输工具

网格数据传输协议GridFTP提供了安全可靠地传输大量数据的能力.但是目前的最新网格中间件GT4中,GridFTP只提供了一些命令和API,一般用户使用GridFTP很不方便.在研究GT4 GridFTP的基础上,借助JavaCoG设计和实现了一个可视化的网格数据传输工具--NGridFTP,NGridFTP实现了网格数据的上传下载、并行传输、三方传输等主要功能.对大数据的并行传输实验表明,NGridFTP并行传输比传统传输具有优势,但在并行模型下,增加并行数并没有提高传输速度.     

网格环境中多连接传输机制研究

本文研究了在高带宽、高延迟的网络情况复杂的网格环境中,传输大量数据的多连接并行传输机制.提出采用丢包和数据包往返时间共同作为网络拥塞标志的多连接机制,避免因为网络随机原因丢包引发数据传输的退避机制,降低传输效率.仿真实验证明,该方法比仅用丢包作为拥塞标志的传统多连接机制有更高的运行效率.可充分利用带宽,加快传输速度.完全适合网格环境的特点和需求.     

通过V-GridFTP提高数据访问性能

数据网格需要文件传输服务(FTP)。但是,目前数据网格中使用的FTP服务具有存储内容独立的局限性,这一局限性造成了诸如数据定位困难、服务器之间负荷不均衡等问题。该文提出了V-GridFTP的概念,将原本内容独立的物理服务器联结起来协同工作,在信息服务的协助下,通过数据分区、复制以及GridFTP等技术,实现了资源分布动态自适应调整,为用户提供高性能、高可用性、高可靠性的FTP服务。这里开发了一个原型系统。测试显示系统运行良好。     

基于Cluster的数据网格请求代理服务器设计*

数据网格为数据密集型的应用提供了强有力的支持,数据服务是数据网格的核心,因而数据请求代理(DRB)服务器的设计是实现数据服务的关键。一个结构、性能较好的服务器能屏蔽数据的广域分布性和异构性,实现一体化数据访问、存储、传输与管理。基于Cluster实现了一种数据请求代理服务器,这种服务器实现了上述目标,并具有许多优点,特别在具有多Cluster的高性能计算中,可以同时建立多个连接进行数据分块传输,能够获得Cluster-to-Cluster 的聚集吞吐率。介绍了基于Cluster的DRB详细设计方案,描述了     

智能电网中家域网安全数据汇聚与调度方法研究

智能电网中通信网络的安全是实施智能电网的一个重要环节。用户信息的隐私保护是智能电网安全服务的一个主要任务。智能电网中用户信息隐私保护主要围绕智能电表数据的机密性和匿名性展开。本文以家域网作为智能电网通信网络的一个基本数据汇聚与调度单元,提出了一种安全的网内数据汇聚与调度方法,从而保证了智能家居设备的用电信息的机密性和匿名性。采用NS-2对本文提出的网内方法进行了仿真研究。仿真结果表明,本文提出的网内数据汇聚与调度方法与传统方法相比具有较高的实用性。     

基于网格服务的网格环境下数据传输

网格环境下的数据访问需要一种能够跨异构平台进行数据传输的机制,但是,现有的GridFTP协议存在某些情况下无法跨防火墙进行数据传输的局限。为解决这一问题,论文提出了一种基于网格服务进行数据传输的方法,使用数据压缩、并行数据传输、缓冲区调整技术改善了该传输方法的性能;基于传输日志实现了故障恢复,提高了数据传输的可靠性。最后使用Globus工具集实现了这种数据传输方法,并进行了传输性能的分析。     

基于序列化及压缩的网格数据传输性能改进

为了减少序列化产生的数据量,以基于网格的PDE.Mart为实验平台,使用APACHE AXIS,研究AXIS的不同服务类型,比较压缩前后直接SOAP序列化、Base64序列化以及字节流序列化后的网络传输数据量,提出一种二进制序列化与压缩相结合的方案,减少生成的消息数据,从而提高数据传输性能,使网格计算平台能适应较大规模数据的求解。     

高性能网格环境中的数据管理和传输

本文介绍高性能网格环境中两个基本的数据管理服务:在广域网环境中安全、有效、可靠的数据传输和注册、定位数据的多重复制的能力,描述了网格服务体系结构中数据管理服务的设计.     

基于数据网格环境的连接操作算法

数据网格是一种分布式数据管理体系结构，能够为分布在网格中的资源提供协同的管理机制．数据库管理系统在数据网格中发挥着重要作用，在各种数据库操作中，连接操作是一种最常用也是最耗时的操作，到目前为止，尚未有文献提出数据网格环境下的连接操作算法．主要对数据网格环境下海量数据的连接操作算法进行了研究，针对网格中各结点之间网络带宽异构的特点，采取关系缩减算法、行分块传输技术和流水线并行机制来减少查询的响应时间．理论分析和实验结果证明，算法在减少网络通信开销、增加I／0和CPU并行、降低响应时间方面具有较好的性能．     

基于密度网格的分布式数据流聚类算法

提出一种适用于分布式数据流环境的、基于密度网格的聚类算法。利用局部站点快速更新数据流信息,使网格空间反映当前数据流的变化。中心站点负责在接收及合并局部网格结构后,对全局网格结构进行密度网格聚类以及噪声网格优化,形成全局聚类结果。实验结果表明,该算法能减少网络通信量,提高全局聚类精度。     

基于数据网格技术的研究与分析

数据网格技术主要解决的是在广域环境下分布的、异构的、海量存储资源的统一访问与管理的问题.文章通过介绍主要的数据网格项目,分析了数据网格技术的特征及其应用场景.     

基于递归神经网络的智能电网虚假数据检测

虚假数据注入(FDI)攻击为智能电网的稳定运行带来了挑战,特别是虚假数据经过人为精心构造后,能够绕过电力系统中的常规错误数据检测技术,为电网安全运行带来了安全隐患.为此本文应用递归神经网络(RNN)来检测智能电网中的虚假数据攻击(FDI攻击).通过编写检测算法,基于IEEE-30总线系统以及从实际电网中获得的为期五年的...