基于最小费用最大流的大规模资源调度方法

并行作业是大规模资源调度的研究热点.已有研究工作通常采用队列进行资源调度建模,仅能满足局部最优解,只能适应调度目标固定不变的场景,灵活性不够.提出了一种基于最小费用最大流的大规模资源调度建模方法,将任务的资源需求和物理资源供给问题转换成最小费用最大流图的构造和求解问题.首先,选择公平性、优先级和放置约束三种典型度量作为切入点,从资源视角映射为图的构造问题,通过改变图的结构使其具备适应性调整能力.其次,针对图的求解时间复杂度高的问题,实现了一种增量式优化算法.最后,实验对比公平性、优先级和放置约束三种资源调度典型系统,验证了本方法可通过按需配置,支持多种调度目标,具备灵活性.并通过实验仿真验证了万级规模下基于图的资源调度延迟,比基于未优化图算法的资源调度延迟最多降低10倍.     

基于OpenStack的Swift负载均衡算法

为了解决由于OpenStack的负载分发不均衡而引发的存储性能下降、资源利用率降低、I/O响应时长增加等问题,提出对加权最小连接调度算法进行改进. 通过对对象存储的负载均衡调度算法研究,利用存储节点的CPU、内存、硬盘、I/O资源利用率信息,并结合节点任务请求连接数,计算存储节点负载能力、性能和权值. 负载均衡器根据每个存储节点的权值大小判断任务分发方向. 经实验证明改进的负载均衡调度算法能够解决存储读写性能下降的问题,提升数据吞吐率、存储读写性能和系统稳定性.     

基于机器学习的分布式星载RTs系统负载调度算法

分布式星载多RTs(Remote Terminal)系统的任务主要基于功能进行分配,而数据处理任务的突发性往往会使不同计算机之间负载不均衡。运用灵活的负载调度机制,可以有效调节不同计算机间的负载差异,从而在一定程度上提升计算机系统的整体性能。文中提出了一种基于机器学习的分布式星载RTs系统负载调度算法,包含样本采集、任务吞吐率预测模型构建、吞吐率预测和负载调度等4个步骤。在构建任务吞吐率预测模型环节,通过机器学习的线性回归正规方程获取模型权重,缩短了构建模型消耗的时间。在负载调度环节,若RTs的吞吐率之和大于系统总的负载数据量,则按吞吐率比例给各RTs分配数据,否则只给负载数据量小于自身吞吐率的RTs分配一定量的数据。在多台星载计算机电性能产品构建的地面模拟系统上的实验结果表明,该算法可以使系统所有节点的平均CPU利用率提高23.78%,节点间的CPU利用率方差降低至34.59%,同时目标任务的系统总吞吐量显著提升225.97%。也就是说,该方法在确保系统负载均衡性的同时,可有效提高系统的资源利用率,提升星载计算机系统的数据实时处理性能。     

容器云多维资源利用率均衡调度研究

在OpenShift容器云平台上针对其调度策略进行研究和改进,提出了基于多维资源空闲率权重的评价函数和调度方法。该方法综合考虑物理节点CPU、内存、磁盘、网络带宽空闲率和已部署的容器应用个数等因素,利用模糊层次分析法（fuzzy analytic hierarchy process,FAHP）自动建模求解容器应用多维资源权重参数。实验表明,新的调度方案能够使集群多维资源利用率更加均衡,从而提升资源的利用率和集群性能。     

Docker动态调度算法的设计与实现

Docker作为容器的实施引擎,能高效部署、执行和管理容器。然而,现有Docker容器资源管理机制基于静态配置,无法根据应用类型特征和资源需求在运行时进行高效的动态资源分配。因此,实验性地分析Docker运行不同负载时的资源使用和性能情况,设计并实现了一种基于运行时的Docker动态调度算法,优先满足实时型应用容器服务要求,同时保证批处理型应用容器的性能。另外,算法根据节点运行现状推荐创建最合适的应用容器,最大化节点的资源利用率。实验表明,动态调度机制不会引入明显的性能开销;当容器间出现资源竞争时,可以将实时型应用容器满足服务要求的时间段延长87.5%,且最多对同时运行的批处理应用容器的性能造成2.9%的开销。算法推荐机制将节点上能够运行的容器实例数增大2.3倍时,对批处理型应用容器只造成最多9.3%的性能损耗。     

基于反馈控制的开放式实时系统自适应调度算法设计与实现

对于负载不可预测且资源受限的开放式实时系统,传统"开环"调度算法不能根据系统负载情况调整调度策略,影响系统实时性能或造成资源浪费.采用双闭环反馈控制方法,改进目前开放式实时系统常用的时限驱动总带宽利用率服务器.本方法根据负载情况,动态地为不同实时性能需求的任务分配资源,保证硬实时任务满足时限要求并且提高资源利用率.实验表明,系统负载存在突发的情况下,算法既很好地控制了任务的时限错过率,又得到了较高的资源利用率.     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

HPC Cloud环境中基于网络Ⅰ/O负载的虚拟机放置算法

随着虚拟化技术和云计算技术的发展,越来越多的高性能计算应用运行在云计算资源上.在基于虚拟化技术的高性能计算云系统中,高性能计算应用运行在多个虚拟机之中,这些虚拟机可能放置在不同的物理节点上.若多个通信密集型作业的虚拟机放置在相同的物理节点上,虚拟机之间将竞争物理节点的网络Ⅰ/O资源,如果虚拟机对网络Ⅰ/O资源的需求超过物理节点的网络Ⅰ/O带宽上限,将严重影响通信密集型作业的计算性能.针对虚拟机对网络Ⅰ/O资源的竞争问题,提出一种基于网络Ⅰ/O负载均衡的虚拟机放置算法NLPA,该算法采用网络Ⅰ/O负载均衡策略来减少虚拟机对网络Ⅰ/O资源的竞争.实验表明,与贪心算法进行比较,对于同样的高性能计算作业测试集,NLPA算法在完成作业的计算时间、系统中的网络Ⅰ/O负载吞吐率、网络Ⅰ/O负载均衡3个方面均有更好的表现.     

虚拟化环境下面向多目标优化的自适应SSD缓存系统

以SSD为代表的新型存储介质在虚拟化环境下得到了广泛的应用,通常作为虚拟机读写缓存,起到优化磁盘IO性能的作用.已有研究往往关注SSD缓存的容量规划,依据缓存读写命中率评价SSD缓存分配效果,未能充分考虑SSD的服务能力上限,难以适用于典型的分布式应用场景,存在虚拟机抢占SSD缓存资源,导致虚拟机中应用性能违约的可能.本文实现了虚拟化环境下面向多目标优化的自适应SSD缓存系统,考虑了SSD的服务能力上限.基于自适应闭环实现对虚拟机和应用状态的动态感知.动态检测局部SSD缓存抢占状态,基于聚类方法生成虚拟机的优化放置方案,依据全局SSD缓存供给能力确定虚拟机迁移顺序和时机.实验结果表明该方法在应对典型分布式应用场景时可以有效缓解SSD缓存资源的争用,同时满足应用对虚拟机放置的需求,提升应用的性能并兼顾应用的可靠性.在Hadoop应用场景下,平均降低了25%的任务执行时间,对IO密集型应用平均提升39%的吞吐率.在ZooKeeper应用场景下,以不到5%的性能损失为代价应对了虚拟化主机的单点失效带来的虚拟机宕机问题.     

高吞吐率和高公平性混合传感网络

人们对传感网络吞吐率和公平性的要求越来越高,但是利用现有无线传感网络技术改善其传输性能却是非常困难的,因此基于现实工程中存在的一类特殊应用场景,设计了利用混合传感网络来改善传统无线传感网络低吞吐率以及低公平性的方法。首先针对固定传感网络论证了其最优吞吐率分配机制,其次针对网络布线问题设计了贪婪算法、K-自增聚类算法和混合算法3种启发式算法。仿真结果表明,混合算法相对于其他两种算法而言,网络最小节点吞吐率至少提高了75%,具有最优的算法性能,可以显著改善传感网络的性能。     

TinyOS中DSA调度策略的研究

针对TinyOS任务调度采用非剥夺的先来先服务调度策略,而产生的系统紧急任务不能及时得到响应及节点吞吐量下降情况,该文提出一种新的可抢占时限短作业调度策略——DSA。在绝对时限前执行硬实时任务,满足了系统对实时任务的响应要求,提高处理器的响应速度,对软实时任务实行短作业优先调度策略,提高系统的吞吐量。在TinyOS上测试表明,DSA策略在不影响TinyOS原有性能的情况下,改进了传感器网络承担实时性任务的运行效果。     

Joint scheduling and routing algorithm with load balancing in wireless mesh network

Wireless mesh network (WMN) is a promising solution for last mile broadband internet access. Mesh nodes or mesh routers are connected via wireless links to form a multi-hop backbone infrastructure and improving throughput is the primary goal. While previous works mainly focused on either link level protocol design or complex mathematical model, in this paper, we investigate the performance gains from jointly optimizing scheduling and routing in a multi-radio, multi-channel and multi-hop wireless mesh network. Then, two optimization objectives are addressed by considering wireless media contention and spatial multiplexing. The first objective is to maximize throughput by exploiting spatial reuse while the second one is to ensure fairness among different links. We design a cross-layer algorithm by considering both MAC layer and network layer. Simulation results show that our joint optimization algorithm can significantly increase throughput as well as fairness.     

Flow-optimized random access for wireless multihop networks

We study elastic traffic performance in time-slotted wireless random access networks, where the link access probabilities are adjusted at flow level each time a new flow (file transfer) arrives or a flow in progress terminates. By defining the capacity sets of such networks we carry out performance analysis in a dynamic setting, where the flows come and go and share the resources according to the balanced fairness principle. We derive flow throughput analytically for three special scenarios and devise an algorithm for general networks. At low loads, flow-optimized random access yields almost the same performance as optimal/deterministic scheduling.     

DLSOMAC:一个面向分布式无线链路调度技术的MAC协议

无线网络分布式链路调度技术通过发掘无线传输间的复用达到提高吞吐量的目的. 链路调度策略的形成需要节点间公平地交互含有如节点ID、队列长度等信息的短报文,并且这些短报文同步传输,导致信道拥挤.由于存在信道空闲侦听开销,在拥挤信道中频繁后退,以及隐藏终端和暴露终端的问题,传统的CSMA/CA (Carrier sense multiple access with collision avoidance)协议传输性能低下,难以为分布式无线链路调度技术服务. 针对链路调度策略形成期间报文短、信道拥挤以及公平性要求的挑战.提出了一个简单的随机MAC (Media access control)协议DLSOMAC (Distributed link scheduling oriented MAC). DLSOMAC协议没有信道侦听过程,以降低短报文的传输延迟开销;基于分布式息票收集算法,均匀分散传输时刻来降低冲撞概率和提高公平性,以满足分布式链路调度技术对MAC层的需求.用排队论分析了DLSOMAC的报文传输延迟性能.仿真实验表明, 在短报文情况下,无论网络负载轻重与否, DLSOMAC协议的报文传输延迟明显优于CSMA/CA,并且报文越短,性能相对越好.即使在长报文的情况下,当网络负载很重时, DLOSMAC协议也稍优于CSMA/CA协议,适合于为自组织网络的分布式链路调度技术服务.     

面向动态异构多核处理器的公平调度算法

动态异构多核处理器的处理器核可动态调整的特征给操作系统调度算法带来了新的机遇和挑战.利用处理器核动态可调整的特征能更好地适应不同任务的运行需求,带来巨大的性能优化空间.然而也带来新的代价和更复杂的公平性的计算.为了解决面向动态异构多核处理器结构上的公平性调度问题,提出了一个基于集中式运行队列的调度模型,以降低调度算法在动态处理器核变化所带来的维护开销.并重新思考在动态异构处理器结构下公平性的定义,基于原有CFS调度算法提出新的HFS调度算法.HFS调度算法不仅能简单而有效地利用动态异构多核处理器的性能优势,而且能提供在动态异构多核处理器上的公平性调度.通过模拟SCMP,ACMP,DHCMP平台,证明了提出的HFS调度算法能够很好地发挥DHCMP结构的性能特征,比运行目前主流调度算法的SCMP和ACMP结构提升10.55%的用户级性能(ANTT),14.24%的系统吞吐率(WSU).     

弹性分组数据环公平性算法性能研究

介绍了空间重用及公平性算法的基本原理，重点研究了RPR草案中采用的SRP-fa公平性算法，通过仿真分析了该算法在不同流量模型下对环路的吞吐量产生的影响。在特定模型下，SRP-fa公平算法的性能达到了最大最小公平性准则预测的标准。     

一种基于邻接节点信息的合作式Ad Hoc网络协议

在802.11协议中,DCF（Distributed Coordination Function）机制是节点共享无线信道进行数据传输的基本接入方式,为了解决无线网络中隐藏节点问题,使用RTS/CTS机制减少冲突,然而当网络节点数增加时,节点传输的冲突次数亦增加,从而使网络性能明显下降。因此,需要设计新的MAC协议,以适应当前Ad Hoc网络应用的快速发展。在IEEE 802.11的分布式协调功能访问机制（DCF）基础上,本文设计新的节点合作式的网络协议（C-MAC）。C-MAC节点通过控制帧获得本节点2跳内的邻接节点信息,并且根据邻接节点的信息设计调度算法,使节点以轮询的合作方式传输数据,有效地避免冲突。仿真实验表明,在改变节点速率、帧长度、网络节点数等参数情况下,分别以吞吐量、单帧传输时间和公平性为指标,对DCF和C MAC协议进行性能比较。在节点传输速率为11Mbps时,C MAC协议吞吐量比标准DCF最多可增加50%。     

Joint spectrum allocation and scheduling for fair spectrum sharing in cognitive radio wireless networks

Cognitive radio and Dynamic Spectrum Access (DSA) enable wireless users to share a wide range of available spectrums. In this paper, we study joint spectrum allocation and scheduling problems in cognitive radio wireless networks with the objectives of achieving fair spectrum sharing. A novel Multi-Channel Contention Graph (MCCG) is proposed to characterize the impact of interference under the protocol model in such networks. Based on the MCCG, we present an optimal algorithm to compute maximum throughput solutions. As simply maximizing throughput may result in a severe bias on resource allocation, we take fairness into consideration by presenting optimal algorithms as well as fast heuristics to compute fair solutions based on a simplified max–min fairness model and the well-known proportional fairness model. Numerical results show that the performance given by our heuristic algorithms is very close to that of the optimal solution, and our proportional fair algorithms achieve a good tradeoff between throughput and fairness. In addition, we extend our research to the physical interference model, and propose effective heuristics for solving the corresponding problems.     

The effect of contention in CSMA networks: Model and fairness protocol

Multi-hop wireless networks using Carrier Sense Multiple Access (CSMA) suffer from various forms of unfairness. A majority of the existing work focuses on fairness issues due to hidden terminals and the impact on backoff mechanisms. This paper focuses on a more fundamental form of unfairness that arises due to unequal contention opportunities at a node; some nodes rarely observe an idle channel since two or more interferers can transmit together. Contention unfairness is unrelated to hidden terminals. The paper analyzes the impact of contention and provides insight into developing solutions for contention unfairness. We first develop a model-from first principles-for contention in IEEE 802.11 networks. The accuracy of the model is validated through simulations and the results show that such unfairness is a common phenomenon. Based on the insights gained from the model, we propose and evaluate distributed schemes that reduce the effect of unfairness due to contention. We show that contention unfairness occurs frequently in general scenarios. Simulation results indicate that the proposed protocols improve the overall system performance by providing greater fairness with a small reduction in throughput.     

A proportional fairness scheduling for wireless sensor networks

This paper describes a packet scheduling algorithm for wireless sensor networks (WSNs) that meets the proportional fairness principle. Based on the weighted round-robin strategy, the proposed scheduling algorithm allocates a different service quota to different traffic according to the average packet arrival rate. This guarantees proportional fairness in terms of the average packet delivery delay and the average packet loss ratio. Since the scheduling algorithm does not perform high-load operations such as time stamping and sorting, it can be implemented easily and is suitable for resource-limited WSNs. The proposed scheduling algorithm is tested in a WSN and is found to guarantee the proportional fairness of the average packet delivery delay when this is used as the performance metric, and to realize proportional fairness in the average packet loss ratio when all the queues are overflowing and the average packet loss ratio is used as the performance metric.