迭代空间交错条块并行Gauss-Seidel算法

针对并行GS(Gauss-Seidel)迭代算法中数据局部性差、同步和通信开销大的问题,首先改进传统GS迭代,提出了多层对称GS迭代算法.然后给出了以迭代空间条块序作为执行序的串行执行模型.该模型通过对迭代空间进行"时滞"划分,对迭代空间条块内部多次迭代计算,提高算法的数据局部性.最后提出一种基于迭代空间条块的并行执行模型.该模型改进了迭代空间网格划分,并通过网格条块重排序减少了cache缺失率、通信启动和同步次数.实验结果表明,迭代空间交错条块并行算法比传统的区域分解方法和红黑排序并行算法具有更好的并行效率和可扩展性.     

一种数据流滑动窗口范围连接上基于局部特征的查询索引

在数据流上的连续查询操作中,连接操作是比较重要的一类操作.数据流上数据的变化总体上呈现一个连续性,并且在很多实际的情况下变化是逐渐发生的.数据流系统中的局部性可以表现为数据之间的局部性及连续查询之间的局部性.认为这些特性可以被用来提高数据流系统和应用当中的查询处理性能,尤其是研究相对较少的范围连接.提出的一种基于局部特征的数据流滑动窗口的范围连接索引,充分考虑了用户提交的查询所带有的局部性特征和数据流本身局部性特征,设计了LAQI结构来提高范围连接性能,然后在此基础上提出了LAAQI结构,并针对周期更新滑动窗口提出了范围连接的相应策略.实验证明,这些策略相对于传统范围的连接方法具有很好的性能.     

一类基于迭代空间条块的并行有限差分Stencil 算法

高效的并行有限差分Stencil 算法对于求解大型线性方程组是十分重要的.针对并行有限差分Stencil 算法中数据局部性差、同步和通信开销大的问题.首先改进传统有限差分Stencil 算法,提出了多层对称遍历有限差分Stencil 算法.然后给出了以迭代空间条块序作为执行序的串行算法,通过沿时间轴对迭代空间进行时滞划分,在不改变迭代算法性质的同时,对迭代空间条块内部多次迭代计算,提高算法的数据局部性.最后提出一种基于迭代空间条块的并行算法,该算法利用改进的多面体模型对迭代空间网格划分,并通过网格条块重排序减少了Cache 缺失率、通信启动和同步次数.理论分析和实验结果表明,该并行模型比传统的区域分解方法和红黑排序并行算法具有更好的数据局部性,并行效率和可扩展性.     

面向NUMA集群的代数多重网格算法优化

代数多重网格(AMG)是众多数值模拟应用的核心算法,在基于多核的NUMA架构的机群系统上,AMG的并行扩展性暴露了新的问题。通过设计感知NUMA架构的内存分配器,将划分给多个线程的数据分割并绑定到运行对应线程的CPU所属的NUMA存储节点上,从而改善了OpenMP多线程并行的数据局部性,使BoomerAMG程序在大规模多核计算平台上具有更好的并行扩展性。在单节点和小规模机群的测试中,使用NAAlloc分配器分别获得了最高16%和60%的性能提升。     

基于LATE的Hadoop数据局部性改进调度算法

调度问题是目前云计算研究中的热点问题,其目的是如何协同云计算资源,使其得到充分合理的利用。数据局部性是特定云平台Hadoop的主要特性之一。针对该特性,在Hadoop原有调度算法LATE的基础上提出了一种基于数据局部性的改进算法,以解决数据局部性带来的慢任务备份执行时读取数据要占用大部分时间而影响其处理速率的问题。最后,对该算法进行了实验及性能分析,并验证了算法在提高任务的响应时间和整个系统吞吐率方面有很大改进。     

网格资源管理中的局部性调度

考虑通信实体之间的距离、可用带宽以及通信和资源使用费用，提出了抽象距离的数学模型，并结合网格资源和网格应用模型，设计了局部性网格资源调度算法，该算法在选择资源时首先考虑在同一节点的资源，其次通过抽象距离选择邻近的节点。实验表明，局部性调度在通信开销、成本、任务完成时间以及任务执行的成功率等方面都得到了改善。     

教育资源网格模型及副本创建策略

教育资源网格是解决目前分布式教育资源共享问题的有效手段.针对中小学教育资源共享问题,提出了层次式的教育资源网格模型,定义了各层节点的功能.通过与欧洲数据网格对比,分析了教育资源网格的特点.基于层次式的教育资源网格,对影响副本创建策略性能的因素进行了分析,然后引入网络带宽和文件大小两个参数,提出了一种动态副本创建策略(dynamic replica creation strategy,简称EDRS).利用数据网格模拟工具OptorSim构建了教育资源网格虚拟环境,分析比较了EDRS策略与Caching-LRU策略、Caching-LFU策略和基于经济模型的副本创建策略的性能.最后,综合各项指标分析了不同策略对教育资源网格系统性能的影响.结果表明,EDRS策略在教育资源网格应用中有着更好的系统性能.     

一种数据块关系指导的缓存替换方法

提出了一种数据块关系指导的缓存替换方法BDP(block correlations directed replacement policy).数据块关系所表示的空间局部性可以用来指导存储系统的缓存替换策略.BDP利用历史访问信息和实时访问信息,预测数据块未来的空间局部性特征,并设计数据块驻留时间的控制策略,减少现有替换算法对空间局部性预测失败带来的失效惩罚.同时给出了BDP的有效缓存模型.模拟结果显示,对大多数实际系统工作负载,BDP的失效率相对LRU算法下降11%～38%,优于现有的考虑空间局部性的替换算法.     

基于网格的现代协同设计中的监控服务系统*

网格监控在网格和网格支持的现代协同设计(GMCD)中发挥着重要作用。该系统能针对设计单元的性能数据实施分类监控,跟踪任务的分配和执行情况,监测异常并报警。提出了GMCDMSS的组成结构,确定了其基本功能并介绍了各项功能的实现方案。GMCDMSS有效保障了设计任务的顺利实施,方便了用户对网格资源和任务的监控与管理;它还提供了对性能数据进行分析的手段,便于优化系统性能。     

基于蚂蚁算法的数据网格副本选择策略

在分布着大量数据和计算能力的数据网格环境中,采用数据副本是提高网格应用可用性的重要方法。如何对数据网格中大量的数据副本进行优化选择是影响数据网格性能的重要因素。因此提出一种基于蚂蚁算法的数据网格副本选择策略,并在网格仿真器OptorSim中对该算法进行实现及性能分析。仿真实验结果表明该算法可以减少数据访问延迟及带宽消耗,并有效做到网格中存储节点间的负载平衡。     

网格技术在金融业信息数据处理方面的应用

对于金融业来说,数据量非常大。金融业的电子信息化主要是用于数据的处理。由于数据不断更新,要求的各类软硬件资源也不断在更新换代。这就浪费了不少已经购置的资源。而网格平台是较好的整合现有的资源使其共享的平台。本文在linux系统下的网格平台上对数据处理和客户数据做了一定的研究和应用。     

云计算技术在未来智能电网信息处理平台中的应用

未来的电网将会是一个高度自动化、智能化的电网,如此一个庞大、复杂的系统从发电、输电一直到变、配、用电的过程时刻都会生成海量的电能信息及设备运行状态数据,这就需要一个强有力的信息处理平台作为支撑,且这个平台应具有对海量数据的可靠存储、准确分析、实时同步更新及共享的功能,尤其是音视频等异构数据的分析与处理.云计算技术在大数据处理中具有得天独厚的优势,本文将云计算技术引入到未来智能电网的信息处理平台的建设中,针对未来智能电网信息处理平台的各项功能需求,对比目前电网信息处理平台的诸多瓶颈进行深层次的探讨,证明了将云计算技术应用到未来智能电网信息处理平台中的可行性。     

一种网格数据挖掘应用系统的设计

数据挖掘算法广泛地应用于数据分析。工业、科学和商业领域需要分析地理上分布的大量数据集,而网格能有效地提供高性能应用和分布式的基础设施。为了利用网格实现数据挖掘和知识表示,文中根据知识网格的概念,在GlobusToolkit的基础上,分析了知识网格的体系结构和它的主要组件,根据数据挖掘的过程设计了一种网格数据挖掘系统软件模型,并指出了该模型应提供的服务,这些服务会屏蔽所有关于网格底层的所有细节,使最终用户只关心知识发现的过程。     

e-Robot网格-仿人机器人研究与应用基础设施

目前仿人机器人的研究与应用碰到了诸如:大计算量、海量存储的需求、实验设备投入大、科研人员的协作和成果融合困难等问题。而网格具有超级计算能力、海量的存储容量、能做到网格中所有软件资源、硬件资源、人力资源的协同工作和全面共享。若能基于网格技术构建一个仿人机器人研究与应用的平台,就能解决仿人机器人研究和应用中的众多障碍。这里提出的e-Robot网格就是这样一个仿人机器人研究与应用的基础设施,它采用OGSA体系结构的基础网格,并在其基础上构建庞大的仿人机器人研究与应用服务软件集合。e-Robot网格将给仿人机器人领域的研究、应用带来变革性的进步。     

面向调度主站一体化的数据网格设计与实现

高性能电力应用致力于搭建用于调度数据的统一管理、集中处理平台。数据网格易于海量数据共享的特点使其适用于实现调度主站一体化。构建了调度主站数据网格的基本架构,利用网格软件Globus Toolkit建立网格环境,在此基础上配置数据库访问中间件OGSA-DAI来建立面向调度主站一体化的数据网格实验平台。     

ERGRID中网格服务的性能分析

在基于因特网的教育资源网格体系结构和服务理论研究中,建立了教育资源网格平台ERGRID,该平台实现了基于Web的可视化网格服务.通过和Web Services以及Java Servlets进行性能对比,证明了服务大数量级的数据时,网格服务会比Web Services和Java Servlets更快一些.     

数据网格中的数据复制技术研究

数据复制技术是数据网格系统中广泛采用的改善网格系统性能的关键技术之一。与传统分布式系统应用领域中的复制相比，数据网格中的复制技术在复制目标、复制粒度、复制关键技术等方面表现出独特性质。本文将数据复制技术概括为副本创建、数据传输、副本删除、副本选择、副本一致性管理、安全管理等环节，深入分析、探讨了数据网格系统中数据复制的各项关键技术，为建立综合的数据网格复制策略和技术框架提供了全面的技术分析。最后，对数据复制技术下一步的研究方向作了分析和预测。     

一种基于数据网格技术的MODIS空间数据服务模型研究

介绍了MODIS数据共享与资源服务现状,研究了一种基于3层结构的MODIS数据服务模型,详细介绍了数据服务模型的管理和分发机制。为了确保数据服务模型的可扩展性和平台无关性,设计了基于XML的可扩展性数据访问语言和数据目录服务。最后给出了在空间信息网格试验床上的示范验证,并对实验结果进行分析。     

基于知识网格服务的分布式数据挖掘研究

广域网中存在地理上分布的海量的各种数据,分析和处理这些数据需要利用高性能的分布式并行处理系统,网格能够满足这种要求.知识网格就是使用基本的网格服务(通信服务、信息服务、授权服务和资源管理服务)去建立特定的分布式并行知识发现工具和服务.结合知识网格特点,讨论了知识网格的体系结构和支持知识挖掘应用的服务集.运用分布式数据挖掘的元学习模型,给出了利用知识网格提供的知识挖掘服务实现分布式数据挖掘的过程.     

PDDRA: A new pre-fetching based dynamic data replication algorithm in data grids

In recent years, grid technology has had such a fast growth that it has been used in many scientific experiments and research centers. A large number of storage elements and computational resources are combined to generate a grid which gives us shared access to extra computing power. In particular, data grid deals with data intensive applications and provides intensive resources across widely distributed communities. Data replication is an efficient way for distributing replicas among the data grids, making it possible to access similar data in different locations of the data grid. Replication reduces data access time and improves the performance of the system. In this paper, we propose a new dynamic data replication algorithm named PDDRA that optimizes the traditional algorithms. Our proposed algorithm is based on an assumption: members in a VO (Virtual Organization) have similar interests in files. Based on this assumption and also file access history, PDDRA predicts future needs of grid sites and pre-fetches a sequence of files to the requester grid site, so the next time that this site needs a file, it will be locally available. This will considerably reduce access latency, response time and bandwidth consumption. PDDRA consists of three phases: storing file access patterns, requesting a file and performing replication and pre-fetching and replacement. The algorithm was tested using a grid simulator, OptorSim developed by European Data Grid projects. The simulation results show that our proposed algorithm has better performance in comparison with other algorithms in terms of job execution time, effective network usage, total number of replications, hit ratio and percentage of storage filled.