大规模短时间任务的低延迟集群调度框架

大规模数据分析环境中,经常存在一些持续时间较短、并行度较大的任务.如何调度这些低延迟要求的并发作业是目前研究的一个热点.现有的一些集群资源管理框架中,集中式调度器由于主节点的瓶颈无法达到低延迟的要求,而一些分布式调度器虽然达成了低延迟的任务调度,但在最优资源分配以及资源分配冲突方面存在一定的不足.从大规模实时作业的需求...     

分布式计算中可靠的数据放置方法

数据放置活动在以计算为主的分布式计算中被看作是次要的任务。文章将数据放置工作与计算工作区别对待,定义分布式计算过程中的数据放置模型,给出数据放置协议和可靠的数据传输算法,使得数据放置活动在分布式计算中像计算工作一样被排列、调度、监控、管理以及检测。对数据放置方法进行了系统的评价,取得了较好的效果。     

分布式环境下网络作业管理系统构架研究设计

设计了一种网络作业管理系统,架构在P2P存储子系统上,具有P2P的特点,可跨越多平台进行互操作并具有高效的处理能力,并在分布式网络环境下进行点对点的负载平衡和资源共享.     

基于孟然论潜在语义分析的Web使用挖掘

Web使用挖掘的首要任务是发现Web用户访问行为的模式.传统聚类算法对解空间的搜索带有盲目性和缺乏语义特征.提出了一种基于盖然论潜在语义分析(PLSA)的发现和分析Web访问模式的方法,即通过定量地衡量出Web用户和Web对象与潜在因素之间的概率关系,再利用盖然论的方法来完成各种分析任务.实验结果表明该方法具有高效性.     

异构集群中基于优先级的任务容错调度算法

提出一种基于任务优先级的容错调度算法,任务的优先级并不是由用户指定,而是由任务的开始时间、执行时间和截止期限决定的。该算法能够容忍异构集群系统中一个节点故障,采用主动/被动副版本相结合的执行方式和重叠技术的备份方式,提高系统资源利用率。通过实验证明了该算法在容错调度中的可靠性和高效性。     

个性化元搜索关键技术的研究

元搜索引擎是搜索引擎之上的搜索引擎,它主要通过成员搜索引擎调度、文本选择、结果整合三个主要步骤来为用户提供更加全面的信息。本文通过对元搜索引擎关键技术的研究,在成员调度、结果整合时考虑用户兴趣,使得选择的成员搜索引擎、搜索结果更加符合用户的需求,从而实现元搜索的个性化,在一定程度上提高了元搜索引擎的查准率和效率。     

不规则任务在图形处理器集群上的调度策略

针对大量的资源需求少且并行度高的不规则任务集合,利用图形处理器（GPU）来加速处理是目前的主流。然而现有的不规则任务调度策略要么采用独占GPU的方式,要么使用传统的优化方法将任务映射到GPU设备上。前者导致GPU资源的闲置,后者不能最大限度利用GPU计算资源。在分析了现存问题的基础上,采用多背包优化思想,使更多的不规则任务以最佳的方式共享GPU设备。首先,针对GPU集群的特点,给出了由调度器、执行器组成的分布式GPU作业调度框架;然后,以GPU显存为代价,设计了一种基于GPU计算资源的扩展贪心调度（EGS）算法,该算法将尽可能多的不规则任务调度到多个可用的GPU上,以最大限度地利用GPU计算资源,并解决了GPU资源的闲置问题;最后,使用实际基准程序随机生成目标任务集来验证所提调度策略的有效性。实验结果表明,与传统的贪心算法、最早完成时间（MCT）算法和Min-min算法相比,当任务数量等于1 000时,EGS算法的执行时长分别平均降低至原来的58%、64%和80%,并且能有效提升GPU资源利用率。     

高性能计算过程中基于网络带宽代价的节点决策算法研究

针对高性能计算中由于网络延迟造成的地理位置分散的节点资源使用率不均匀现象,提出了一种自适应的节点决策算法。该算法通过估计待选节点的作业执行代价,选择一个代价最小的节点作为作业的执行节点,提高了作业的响应速度,高效地利用了计算资源。文中首先给出了远程作业执行的模型,其次给出了网络通信特征以及自适应代价模型,最后提出了基于网络带宽代价的节点决策算法并对该算法进行了系统的评价,取得良好的效果。     

一个基于偏序的定时投入关联网络作业调度算法

基于偏序的定时投入关联网络作业调度算法在一个大型作业管理系统中得到了应用，它的基本思想是对定时投入的关联网络作业找到一个最佳执行序列，以便减少互相关联的网络作业在执行时的等待时间，该算法首先将同时请求投入的多个有关联关系的网络作业按照偏序关系进行排序，形成关联作业，然后推算出网络作业的阶位值，最后产生一个最优的投入序列，从而大大提高关联作业执行时间，实际系统应用表明，此算法对作业管理系统中定时投入关联网络作业的快速执行有很强的优越性。