排序方式: 共有39条查询结果,搜索用时 15 毫秒
1.
大规模数据分析环境中,经常存在一些持续时间较短、并行度较大的任务。如何调度这些低延迟要求的并发作业是目前研究的一个热点。现有的一些集群资源管理框架中,集中式调度器由于主节点的瓶颈无法达到低延迟的要求,而一些分布式调度器虽然达成了低延迟的任务调度,但在最优资源分配以及资源分配冲突方面存在一定的不足。从大规模实时作业的需求出发,设计和实现了一个分布式的集群资源调度框架,以满足大规模数据处理的低延迟要求。首先提出了两阶段调度框架以及优化后的两阶段多路调度框架;然后针对两阶段多路调度过程中存在的一些资源冲突问题,提出了基于负载平衡的任务转移机制,从而解决了各个计算节点的负载不平衡问题;最后使用实际负载以及一个模拟调度器对大规模集群中的任务调度框架进行了模拟和验证。对于实际负载,所提框架的调度延迟控制在理想调度的12%以内;在模拟环境下,该框架与集中式调度器相比在短时间任务的延迟上能够减少40%以上。 相似文献
2.
3.
分布式环境下网络作业管理系统构架研究设计 总被引:1,自引:0,他引:1
设计了一种网络作业管理系统,架构在P2P存储子系统上,具有P2P的特点,可跨越多平台进行互操作并具有高效的处理能力,并在分布式网络环境下进行点对点的负载平衡和资源共享. 相似文献
4.
基于孟然论潜在语义分析的Web使用挖掘 总被引:2,自引:2,他引:0
Web使用挖掘的首要任务是发现Web用户访问行为的模式.传统聚类算法对解空间的搜索带有盲目性和缺乏语义特征.提出了一种基于盖然论潜在语义分析(PLSA)的发现和分析Web访问模式的方法,即通过定量地衡量出Web用户和Web对象与潜在因素之间的概率关系,再利用盖然论的方法来完成各种分析任务.实验结果表明该方法具有高效性. 相似文献
6.
提出一种基于任务优先级的容错调度算法,任务的优先级并不是由用户指定,而是由任务的开始时间、执行时间和截止期限决定的。该算法能够容忍异构集群系统中一个节点故障,采用主动/被动副版本相结合的执行方式和重叠技术的备份方式,提高系统资源利用率。通过实验证明了该算法在容错调度中的可靠性和高效性。 相似文献
7.
Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示,HRM的调度延迟只有集中式调度框架的75%左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架,CPU资源利用率提高25%以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50% 相似文献
8.
针对大量的资源需求少且并行度高的不规则任务集合,利用图形处理器(GPU)来加速处理是目前的主流。然而现有的不规则任务调度策略要么采用独占GPU的方式,要么使用传统的优化方法将任务映射到GPU设备上。前者导致GPU资源的闲置,后者不能最大限度利用GPU计算资源。在分析了现存问题的基础上,采用多背包优化思想,使更多的不规则任务以最佳的方式共享GPU设备。首先,针对GPU集群的特点,给出了由调度器、执行器组成的分布式GPU作业调度框架;然后,以GPU显存为代价,设计了一种基于GPU计算资源的扩展贪心调度(EGS)算法,该算法将尽可能多的不规则任务调度到多个可用的GPU上,以最大限度地利用GPU计算资源,并解决了GPU资源的闲置问题;最后,使用实际基准程序随机生成目标任务集来验证所提调度策略的有效性。实验结果表明,与传统的贪心算法、最早完成时间(MCT)算法和Min-min算法相比,当任务数量等于1 000时,EGS算法的执行时长分别平均降低至原来的58%、64%和80%,并且能有效提升GPU资源利用率。 相似文献
9.
一个基于偏序的定时投入关联网络作业调度算法 总被引:1,自引:0,他引:1
基于偏序的定时投入关联网络作业调度算法在一个大型作业管理系统中得到了应用,它的基本思想是对定时投入的关联网络作业找到一个最佳执行序列,以便减少互相关联的网络作业在执行时的等待时间,该算法首先将同时请求投入的多个有关联关系的网络作业按照偏序关系进行排序,形成关联作业,然后推算出网络作业的阶位值,最后产生一个最优的投入序列,从而大大提高关联作业执行时间,实际系统应用表明,此算法对作业管理系统中定时投入关联网络作业的快速执行有很强的优越性。 相似文献
10.