分布式环境下网络作业管理系统构架研究设计

设计了一种网络作业管理系统,架构在P2P存储子系统上,具有P2P的特点,可跨越多平台进行互操作并具有高效的处理能力,并在分布式网络环境下进行点对点的负载平衡和资源共享.     

大规模短时间任务的低延迟集群调度框架

大规模数据分析环境中,经常存在一些持续时间较短、并行度较大的任务。如何调度这些低延迟要求的并发作业是目前研究的一个热点。现有的一些集群资源管理框架中,集中式调度器由于主节点的瓶颈无法达到低延迟的要求,而一些分布式调度器虽然达成了低延迟的任务调度,但在最优资源分配以及资源分配冲突方面存在一定的不足。从大规模实时作业的需求出发,设计和实现了一个分布式的集群资源调度框架,以满足大规模数据处理的低延迟要求。首先提出了两阶段调度框架以及优化后的两阶段多路调度框架;然后针对两阶段多路调度过程中存在的一些资源冲突问题,提出了基于负载平衡的任务转移机制,从而解决了各个计算节点的负载不平衡问题;最后使用实际负载以及一个模拟调度器对大规模集群中的任务调度框架进行了模拟和验证。对于实际负载,所提框架的调度延迟控制在理想调度的12%以内;在模拟环境下,该框架与集中式调度器相比在短时间任务的延迟上能够减少40%以上。     

分布式计算中可靠的数据放置方法

数据放置活动在以计算为主的分布式计算中被看作是次要的任务。文章将数据放置工作与计算工作区别对待,定义分布式计算过程中的数据放置模型,给出数据放置协议和可靠的数据传输算法,使得数据放置活动在分布式计算中像计算工作一样被排列、调度、监控、管理以及检测。对数据放置方法进行了系统的评价,取得了较好的效果。     

基于孟然论潜在语义分析的Web使用挖掘

Web使用挖掘的首要任务是发现Web用户访问行为的模式.传统聚类算法对解空间的搜索带有盲目性和缺乏语义特征.提出了一种基于盖然论潜在语义分析(PLSA)的发现和分析Web访问模式的方法,即通过定量地衡量出Web用户和Web对象与潜在因素之间的概率关系,再利用盖然论的方法来完成各种分析任务.实验结果表明该方法具有高效性.     

异构集群中基于优先级的任务容错调度算法

提出一种基于任务优先级的容错调度算法,任务的优先级并不是由用户指定,而是由任务的开始时间、执行时间和截止期限决定的。该算法能够容忍异构集群系统中一个节点故障,采用主动/被动副版本相结合的执行方式和重叠技术的备份方式,提高系统资源利用率。通过实验证明了该算法在容错调度中的可靠性和高效性。     

一个基于偏序的定时投入关联网络作业调度算法

基于偏序的定时投入关联网络作业调度算法在一个大型作业管理系统中得到了应用，它的基本思想是对定时投入的关联网络作业找到一个最佳执行序列，以便减少互相关联的网络作业在执行时的等待时间，该算法首先将同时请求投入的多个有关联关系的网络作业按照偏序关系进行排序，形成关联作业，然后推算出网络作业的阶位值，最后产生一个最优的投入序列，从而大大提高关联作业执行时间，实际系统应用表明，此算法对作业管理系统中定时投入关联网络作业的快速执行有很强的优越性。     

集群环境下一种基于交易模型的空闲资源分配方法

针对集群中地理位置分散的计算资源的使用不均衡现象，提出了一种基于交易模型的空闲资源分配方法。该算法解决了分布计算资源的自治性问题、异构支持问题、资源管理者域限制问题和动态控制问题。首先给出了交易模型的构架，其次给出了交易模型匹配算法，最后对该算法进行了系统的评价。该算法已经在一个大型网络作业管理系统中得到应用，取得良好的效果。     

高性能计算过程中基于网络带宽代价的节点决策算法研究

针对高性能计算中由于网络延迟造成的地理位置分散的节点资源使用率不均匀现象,提出了一种自适应的节点决策算法。该算法通过估计待选节点的作业执行代价,选择一个代价最小的节点作为作业的执行节点,提高了作业的响应速度,高效地利用了计算资源。文中首先给出了远程作业执行的模型,其次给出了网络通信特征以及自适应代价模型,最后提出了基于网络带宽代价的节点决策算法并对该算法进行了系统的评价,取得良好的效果。     

面向Dataflow的异构集群混合式资源调度框架研究

Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示,HRM的调度延迟只有集中式调度框架的75%左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架,CPU资源利用率提高25%以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50%