大规模短时间任务的低延迟集群调度框架

大规模数据分析环境中,经常存在一些持续时间较短、并行度较大的任务。如何调度这些低延迟要求的并发作业是目前研究的一个热点。现有的一些集群资源管理框架中,集中式调度器由于主节点的瓶颈无法达到低延迟的要求,而一些分布式调度器虽然达成了低延迟的任务调度,但在最优资源分配以及资源分配冲突方面存在一定的不足。从大规模实时作业的需求出发,设计和实现了一个分布式的集群资源调度框架,以满足大规模数据处理的低延迟要求。首先提出了两阶段调度框架以及优化后的两阶段多路调度框架;然后针对两阶段多路调度过程中存在的一些资源冲突问题,提出了基于负载平衡的任务转移机制,从而解决了各个计算节点的负载不平衡问题;最后使用实际负载以及一个模拟调度器对大规模集群中的任务调度框架进行了模拟和验证。对于实际负载,所提框架的调度延迟控制在理想调度的12%以内;在模拟环境下,该框架与集中式调度器相比在短时间任务的延迟上能够减少40%以上。     

分布式计算中可靠的数据放置方法

数据放置活动在以计算为主的分布式计算中被看作是次要的任务。文章将数据放置工作与计算工作区别对待,定义分布式计算过程中的数据放置模型,给出数据放置协议和可靠的数据传输算法,使得数据放置活动在分布式计算中像计算工作一样被排列、调度、监控、管理以及检测。对数据放置方法进行了系统的评价,取得了较好的效果。     

分布式环境下网络作业管理系统构架研究设计

设计了一种网络作业管理系统,架构在P2P存储子系统上,具有P2P的特点,可跨越多平台进行互操作并具有高效的处理能力,并在分布式网络环境下进行点对点的负载平衡和资源共享.     

基于孟然论潜在语义分析的Web使用挖掘

Web使用挖掘的首要任务是发现Web用户访问行为的模式.传统聚类算法对解空间的搜索带有盲目性和缺乏语义特征.提出了一种基于盖然论潜在语义分析(PLSA)的发现和分析Web访问模式的方法,即通过定量地衡量出Web用户和Web对象与潜在因素之间的概率关系,再利用盖然论的方法来完成各种分析任务.实验结果表明该方法具有高效性.     

异构集群中基于优先级的任务容错调度算法

提出一种基于任务优先级的容错调度算法,任务的优先级并不是由用户指定,而是由任务的开始时间、执行时间和截止期限决定的。该算法能够容忍异构集群系统中一个节点故障,采用主动/被动副版本相结合的执行方式和重叠技术的备份方式,提高系统资源利用率。通过实验证明了该算法在容错调度中的可靠性和高效性。     

一个基于偏序的定时投入关联网络作业调度算法

基于偏序的定时投入关联网络作业调度算法在一个大型作业管理系统中得到了应用，它的基本思想是对定时投入的关联网络作业找到一个最佳执行序列，以便减少互相关联的网络作业在执行时的等待时间，该算法首先将同时请求投入的多个有关联关系的网络作业按照偏序关系进行排序，形成关联作业，然后推算出网络作业的阶位值，最后产生一个最优的投入序列，从而大大提高关联作业执行时间，实际系统应用表明，此算法对作业管理系统中定时投入关联网络作业的快速执行有很强的优越性。     

集群环境下一种基于交易模型的空闲资源分配方法

针对集群中地理位置分散的计算资源的使用不均衡现象，提出了一种基于交易模型的空闲资源分配方法。该算法解决了分布计算资源的自治性问题、异构支持问题、资源管理者域限制问题和动态控制问题。首先给出了交易模型的构架，其次给出了交易模型匹配算法，最后对该算法进行了系统的评价。该算法已经在一个大型网络作业管理系统中得到应用，取得良好的效果。     

分布式系统中计算作业流的均衡调度算法

分布式系统中计算作业流被映射到节点后无法进行动态调整,使关键作业无法及时执行而造成作业间等待。针对该问题,提出一种计算作业流均衡调度算法。算法对映射到分布式节点的作业根据其依赖关系得出阶位值,依据该值在分布式节点上进行动态优先值调整,使关键作业尽早完成,减少作业之间的等待,缩短计算作业流执行时间。实际系统应用表明,该算法对作业管理系统中投入的计算作业流的快速执行有较强优越性。     

高性能计算过程中基于网络带宽代价的节点决策算法研究

针对高性能计算中由于网络延迟造成的地理位置分散的节点资源使用率不均匀现象,提出了一种自适应的节点决策算法。该算法通过估计待选节点的作业执行代价,选择一个代价最小的节点作为作业的执行节点,提高了作业的响应速度,高效地利用了计算资源。文中首先给出了远程作业执行的模型,其次给出了网络通信特征以及自适应代价模型,最后提出了基于网络带宽代价的节点决策算法并对该算法进行了系统的评价,取得良好的效果。