面向机器学习的分布式并行计算关键技术及应用

当前机器学习等算法的计算、迭代过程日趋复杂, 充足的算力是保障人工智能应用落地效果的关键。本文首先提出一种适应倾斜数据的分布式异构环境下的任务时空调度算法,有效提升机器学习模型训练等任务的平均效率;其次,提出分布式异构环境下高效的资源管理系统与节能调度算法,实现分布式异构环境下基于动态预测的跨域计算资源迁移及电压/频率的动态调节,节省了系统的整体能耗;然后构建了适应于机器学习/深度学习算法迭代的分布式异构优化环境,提出了面向机器学习/图迭代算法的分布式并行优化基本方法。最后,本文研发了面向领域应用的智能分析系统,并在制造、交通、教育、医疗等领域推广应用,解决了在高效数据采集、存储、清洗、融合与智能分析等过程中普遍存在的性能瓶颈问题。     

云计算在智能电网调度中的应用

为解决传统电力系统中集中式计算平台海量数据流的存储和分析功能不足的问题,针对云计算在智能电网调度技术中的应用进行了研究。首先,对云计算技术在IT行业的发展进行阐述,对云计算的关键技术从虚拟化与快速部署技术、大规模分布式存储技术、资源调度技术、大规模多租户技术、海量数据处理技术以及大规模信息通信技术等方面出发进行介绍。其次,借鉴IT行业云计算技术,设计了基于云计算的智能电网计算平台以及基于云计算的智能电网互动式节能优化调度架构,以期推动云计算在电力系统中的发展,解决智能电网互动式节能优化调度算法方面的问题。     

基于PI3000平台的分布式任务调度研究与实现

在PI3000平台中任务调度是应用系统中很重要的部分,应用环境的复杂程度导致各式各样调度的框架和算法.文中提出一个新的分布式负载均衡的任务调度框架,以解决在并行任务中特定的应用环境下的任务调度问题.这个框架是动态的、可重用的,通过提供给各种不同的资源环境对应的接口,来进行跨服务的调度.整个框架关注于实际应用环境下任务、资源的动态不稳定性和任务计算的快速响应.     

分布式发电系统并网影响研究综述

针对分布式发电系统的多样性,对在实际电网中应用的分布式发电系统的特点及其发展动态进行了综述。从分布式发电系统并网运行的角度,重点分析了分布式发电系统的接入对地区电网的频率、电压、电能质量、潮流、电网损耗、电网调度、继电保护、可靠性、电力市场等方面产生的显著影响,充分说明妥善解决好并网运行影响,将是分布式发电健康快速发展的关键,对于我国能源结构调整、实现可持续发展具有重要现实意义。     

面向事件处置的信息服务集成调度模型

以电子政务、电子商务等城市应用为背景,针对这些应用中跨领域事件处置所涉及的异构、分布式资源、服务集成调度以及跨领域知识共享问题,提出了一个面向事件处置的、基于规则的信息服务集成调度模型.该集成调度模型具有4个分层结构,包括资源层(resource layer)、知识层(knowledge layer)、业务层(business layer)和表示层(representation layer).重点就知识层形式化业务规则的定义、资源和服务的引用以及规则引擎等给出了详细的设计和实现.最后,对该模型进行了验证,实现了一个城市应急联动应用中的统一接警事件处置原型系统.     

基于制造网格的虚拟企业资源调度问题研究*

为支持虚拟企业间资源的高效调度,在制造网格的基础上,提出了虚拟企业的资源调度平台。研究了基于GlobusToolkit 4和agent技术的平台实现方法和工作流程。在此基础上,提出了以T、C、Q、S为目标的多目标资源优化调度模型,结合制造网格与计算网格的差异,将网格底层的跨地域实体物流交互对资源调度的影响纳入优化调度模型,使虚拟企业资源调度方案更加合理。最后,以一个具体的实例,验证了多目标优化调度模型的有效性。     

面向电力无线业务的上行动态资源调度算法

电网作为一个典型的物联网应用,电力无线专网上行调度过程中存在业务服务质量得不到保障、系统吞吐量低和资源分配不连续等问题,因此提出了基于业务优先级的电力无线专网上行动态资源调度算法。通过研究电力无线专网承载业务的特点,对业务优先级进行评定,并结合TD-LTE资源分配的特点,针对不同业务设计不同的调度方法。仿真结果表明,所提算法能有效提高系统吞吐量,并保障业务Qo S,改善业务传输性能。     

跨云环境下任务调度综述

随着云计算技术的不断发展，越来越多的企业和组织开始采用跨云的方式进行IT交付.跨云环境可以更有效地应对传统单云环境资源利用率低、资源受限以及供应商锁定等问题，并对云资源进行统一管理.由于跨云环境中资源具有异构性，导致跨云任务调度变得更为复杂.基于此，如何合理地调度用户任务并将其分配到最佳的跨云资源上执行，成为了跨云环境中需要解决的重要问题.拟从跨云环境的角度出发，探讨该环境下任务调度算法研究的进展及挑战.首先，结合跨云环境特征将云计算分为联盟云、多云环境并进行详细介绍，同时回顾已有的任务调度类型并分析其优缺点；其次，根据研究现状选取代表性文献对跨云环境下任务调度算法进行整理、分析；最后探讨了跨云环境下任务调度算法研究中的不足和未来的研究趋势，为跨云环境下任务调度算法的进一步研究提供了参考.     

超算环境科学工作流应用平台的引擎设计和资源调度

高性能计算机体系结构的复杂性对使用者提出了更高要求;而且在工程实际和科学实验中,通常需要使用多种应用软件相互协作才能解决复杂问题。围绕超算资源的易用性和多类软件的集成以及协作需求,开发了超算环境下的科学工作流应用平台,设计了异步并发的流程执行引擎,采取调度算法和调度器、引擎相分离的设计策略,给出了资源调度方案。提出了局部资源池化技术和资源预约算法,并比较分析了五种常用调度算法的性能,给出了算法选择的建议。实际应用表明设计的引擎能够支撑复杂工作流的灵活执行方式,给出的资源调度方案能够满足超算环境下工作流应用的高效执行。     

分布式云的研究进展综述

云计算作为全新的计算模式,将数据中心的资源包括计算、存储等基础设施资源通过虚拟化技术以服务的形式交付给用户,使得用户可以通过互联网按需访问云内计算资源来运行应用.为面向用户提供更好的服务,分布式云跨区域联合多个云站点,创建巨大的资源池,同时利用地理分布优势改善服务质量.近年来分布式云的研究逐渐成为学术界和工业界的热点.文中围绕分布式云系统中研究的基本问题,介绍了国际国内的研究现状,包括分布式云系统的架构设计、资源调度与性能优化策略和云安全方案等,并展望分布式云的发展趋势.     

基于经济的网格资源调度算法研究

网格使构建虚拟组织,在全世界范围内共享资源成为现实.但是,在网格环境下的资源管理和调度是一项相当复杂的工作,这主要是由于资源分布在世界各地,隶属于不同的组织,各个资源拥有者都有不同的使用和访问策略、开销模型、不断变化的负载和可用性.为了满足网格计算环境中资源调度的复杂需要,可以将现实世界中的经济原理和模型应用到网格环境下的任务调度中,并据此提出了几种经济资源调度算法.     

非集中调度模型下的网格资源调度研究*

针对当前网格资源调度系统扩展性差的问题,提出了基于非集中调度模型的以保守Backfilling算法为核心的网格资源调度算法.探讨了网格任务在站点处理器数目异构情况下,网格作业多站点协同调度问题.实验仿真证明,在跨网格站的资源调度中,运用资源预留策略和多站点作业分块可以改善作业的平均响应时间,并起到负载平衡的效果.     

计算网格中的资源选择与调度算法

针对文中描述的计算网格资源环境模型,构造了一种分布式的层次型任务调度模型,任务调度分为计算资源站点的选择以及资源站点内部的本地调度两层进行。通过研究该调度模型,提出了一种基于双目标衡量函数的资源选择算法,该算法可以通过设置相关参数动态调节响应时间和价格在总目标中所占比重。试验结果表明能够选择综合满足响应时间和价格这两个目标的计算资源,以适应用户的不同需求。     

仿真网格中一种基于知识的动态任务调度算法

仿真网格是以通用网格技术为基础、面向仿真领域的专用网格,目前国际上对仿真网格的研究尚处于起步阶段.现有的分布式仿真HLA(high level architecture)体系结构中的仿真资源和联邦成员是静态绑定的,网格技术的引入使得仿真资源的动态分配成为可能.根据仿真网格任务调度的特点,在仿真网格中建立了一种任务调度模型,并针对该模型,提出了一种新的基于知识的动态任务调度算法KMO,该算法适用于将N个相互独立的计算需求不同的仿真任务调度到M个随时间动态变化的仿真资源上,它能对若干次调度后的结果进行统计并提炼成"知识"反馈给算法预处理部分,使得该算法在动态多变的环境中能获得比较稳定的性能.实验结果表明,在仿真网格环境中,该算法的性能优于网格中传统的任务调度算法.     

Evidence Mechanism of Power Dispatching Instruction Based on Blockchain

With the development and application of energy Internet technology, the collaborative interaction of “source network, load and storage” has become the development trend of power grid dispatching. The large-scale access of renewable energy on the load side, the unified management of adjustable loads, and the participation of multiple parties in energy operations have put forward requirements for the safety, credibility, openness, and transparency of the load dispatching environment. Under the environment of carbon emission reduction, the paper proposed an architecture of the scheduling data blockchain, based on the in-depth study of blockchain. Moreover, smart contracts are used to realize the application scenario of load dispatching instruction evidence on the blockchain. The content and storage mode of scheduling instruction evidence on blockchain are studied. And different storage modes are adopted according to the actual needs. And the smart contract system realizes the evidence generation of power dispatching instruction. This is the basis for the normal circulation of power dispatching instruction evidence. The research significance of this paper is highlighted as follows. The data and information generated in the power dispatching process are stored as evidence. On the one hand, it can provide a basis for settlement between power production and dispatching companies and power users. On the other hand, it can prepare for distributed transactions in the power grid under the environment of carbon emission reduction.     

基于Ganglia与MDS结合的网格监控体系研究

资源监控可以为使用者提供网格环境中与资源相关的性能数据,同时也可以为作业调度提供必要的资源信息支持。Ganglia可以监控基于集群的广域系统中的节点(处理器集)的状态,MDS可以用来监控和发现网格资源和服务,本文通过对Ganglia与MDS的结合进行研究,提出了一个功能强大且严密的网格资源和作业监控体系,同时将该监控体系加入到校园计算网格平台中。     

分布式系统下的DAG任务调度研究综述

近年来随着网格、云计算工作流等分布式计算技术的发展,关于DAG(有向无环图)模型任务在分布式系统环境下的调度问题逐渐成为备受关注的研究热点。根据最新研究进展,对分布式系统下的DAG任务调度问题和有关技术进行了研究与讨论,主要包括四个方面:系统地描述了分布式系统和异构分布式系统的有关概念,异构分布式系统下的DAG任务调度问题、调度模型及其典型应用;对现有分布式系统下DAG任务调度的研究按照不同的方式进行了分类;探讨了多DAG共享异构分布式资源调度的研究现状;讨论了目前多DAG共享异构分布式资源调度研究存在的问题和未来可能的研究方向。     

智能网格入侵检测系统

结合智能检测技术,并采用先进的分布式体系结构是当前入侵检测研究的一个主要方向.通过对网格与智能检测技术的深入研究,提出了一种智能网格入侵检测系统(intelligent grid intrusion detection system,简称GIDS).该系统部署于网格环境并采用基于神经网络的检测技术;为了实现各数据分析引擎的负载平衡,采用基于资源可用度的调度算法决定任务的分配;为了减少告警数量,采用基于乘性递增线性递减(multiplicative increase linear decrease,简称MILD)的动态窗口调整算法进行警报合成.该入侵检测系统不仅能够充分利用网格上的资源进行入侵行为的发现,而且实现了资源使用的负载均衡,在网络流量大的情况下能够获得较高的检测效率.最后介绍了相应的实验结果分析,表明了该系统的优越性.