基于AdaBoost.MH的Reyes渲染架构时间预估算法

在大规模真实感渲染系统中,需要对渲染任务进行分解和调度,将其优化后分配给不同的可用计算资源,实现快速集群渲染。为了实现渲染任务的有效分解和调度,提高并行效率,高精度的时间预估算法是不可欠缺的。通过深入研究使用RenderMan规范的渲染器常用的Reyes渲染架构中对渲染时间产生影响的各种因素,分析提取出影响渲染时间的7大要素特征,提出了基于AdaBoost.MH的渲染时间预估算法。通过在基于Reyes渲染架构的渲染引擎中的实验与测试表明,训练集和测试集的准确率分别达到79%和78%,为渲染任务的并行调度奠定了基础,同时也为渲染费用预估提供了依据。     

基于CoreOS面向负载整合的集群调度研究

CoreOS是基于Docker的新型容器化集群服务器操作系统,发展迅速,已经得到OpenStack、Kubernetes、Salesforce、Ebay等主流云服务商的支持,云环境中负载是动态的,相应的其资源需求是动态变化的,这给集群资源高效利用带来了挑战,静态预分配峰值资源的策略带来云端资源的巨大浪费,同时空转的计算浪费大量能耗.本文提出的面向负载整合的集群调度系统（简称LICSS）实时监控集群负载分布情况,调度时使用紧凑式调度策略分配计算节点,运行时利用任务迁移技术对负载进行动态整合,实现及时收集释放空转资源降低资源能耗浪费的目的.LICSS系统设计实现了节点负载度量、任务度量、负载整合算法,并测算出节点自适应负载阈值.实验表明,LICSS系统能够根据不同时段集群负载动态变化情况对负载进行有效整合,提高了12.2%的平均资源利用率,并且基于任务整合在低负载时段触发富余节点休眠降低集群能耗.     

异构Hadoop集群下的负载自适应反馈调度策略

随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。     

渲染农场研究进展综述

作为高性能计算领域的新兴应用,渲染有着计算密集和数据密集的应用特征,如何提高渲染农场的效率进行大规模快速渲染,近年来逐渐成为研究的热点问题.对渲染农场的国内外应用现状作了介绍,阐述了渲染农场的组织结构和工作流程.针对渲染农场在优化作业调度算法、改善负载均衡策略以及完善渲染管理平台等三个方面的研究,进行了全面的分析和比较.探讨和总结了在云计算背景下渲染农场在渲染作业调度策略、异构集群渲染任务分发算法、基于云模式的渲染农场新架构和负载均衡策略这四个方面中有待进一步研究的问题.     

一种采用消息模型的多集群作业管理方案设计

文中针对多集群环境资源异构且地域分散、网络环境不可靠以及面向用户需求的特点,提出了一种采用消息模型的多集群作业管理方案。该方案采用全局一局部的层次调度方法,基于发布一订阅的消息模型,根据当前网络环境、用户作业的资源需求、各集群自身负载情况进行综合统一调度管理。实践证明,采用该方案设计实现的多集群作业管理系统实现了多集群环境下的资源监控、资源管理、作业调度、作业控制、数据管理等功能,有效解决了在资源异构及网络环境不可靠条件下的系统稳定性问题,显著提高了多集群系统作业吞吐能力。     

分布式渲染调度策略优化研究与实现

围绕如何提高分布式渲染任务执行效率这一目标,重点研究了LSF作业管理系统工作原理以及扩展调度插件机制,设计并实现了依据服务节点负载量及处理能力选择候选主机的分布式渲染调度算法（DRS）,并利用LSF调度插件嵌入自定义调度模块,该模块能与系统内置调度模块协同工作。最后构造仿真集群执行环境,通过模型渲染验证了算法的有效性。     

分布式虚拟集群渲染系统研究

针对三维动画领域的渲染瓶颈和分布式渲染的资源搜索问题,提出了一种基于双层体系结构的分布式虚拟集群渲染系统,并详细介绍了系统的各个功能模块.通过对渲染资源的统一描述,定义了虚拟集群渲染能力的计算方法,给出了分布式渲染资源的搜索算法,并验证了算法的有效性.     

差异化作业调度在Storm上的实现

作业调度一直是大数据技术研究的热点,关于分布式集群上的调度优化的探讨一直没有停过。本文对比分析对比静态分配调度、均匀分配调度、资源感知调度和就近调度算法,提出差异化作业调度管理技术,并把它应用到分布式实时处理系统Storm当中。经过实验验证,该调度算法能对Storm集群中不同作业任务,进行差异化管理。     

遥感数据集群处理作业调度管理系统研究

高性能遥感数据集群处理技术提高了遥感数据处理的速度和精度。作业调度管理是集群处理系统的核心组成部分,有助于提高系统的吞吐率和资源使用率。常用调度管理系统通用性强,但针对性差,自动化程度低,资源使用存在盲目性。针对遥感数据集群处理,基于集群作业调度管理系统Open PBS,提出一种最优资源自动分配的"双级调度策略";应用分层架构和面向服务的软件开发思想,采用ICE中间件的网络通信技术,使用XML格式作为数据交换模式,研究并实现C/S(Client/Server)架构的灵活、友好、高效的遥感数据集群处理作业调度管理系统。     

分布式渲染资源搜索方法研究

针对三维动画领域的渲染瓶颈和分布式渲染的资源搜索问题,提出了一种基于双层体系结构的分布式虚拟集群渲染系统,采用基于减聚类的RBF神经网络算法计算分布式环境下虚拟集群的渲染能力,给出了分布式渲染资源的搜索算法,并验证了算法的有效性。     

基于概率模型检验的云渲染任务调度定量验证

云渲染技术已被广泛应用于影视和动漫等行业.与传统的渲染农场和租赁市场模式不同，云渲染系统依托云计算基础设施提供多种软件服务进行渲染作业的方式，正逐渐成为新兴的计算模式.由于任务执行和资源操作等作业调度对于用户而言是透明的，这要求云渲染系统应具备智能化以实现计算资源优化调度和多端任务管理，并对系统可靠性提出了更高要求.针对这一问题，提出了采用概率模型检验对云渲染系统任务调度进行定量评估.首先，考虑渲染服务失效等因素引发的随机系统异常和指令错误，如文件损坏和渲染任务超时等，提出了基于离散马尔可夫链（DTMC）的概率模型对云渲染系统的文件准备模块、资源请求模块、渲染任务执行模块进行形式化建模；其次，从服务质量属性角度提出了9类验证性质用于定义云渲染系统的可靠性，采用概率计算树逻辑（PCTL）描述检验性质公式并执行工具PRISM计算和验证渲染系统可靠性；最后，结合案例和实验证明了该方法的可行性和有效性，尤其是对改进前后云渲染系统进行定量检验，可用于指导如何进行失效恢复和任务切换.因此，该方法在一定程度上可提高云渲染系统的可靠性.     

基于Docker swarm集群的动态加权调度策略

针对目前的Docker swarm内置的调度策略无法很好地实现Docker集群的负载均衡并且对集群资源的使用率不高的问题,提出了一种动态加权调度算法。所提算法对资源设置权重系数,引入参数bias针对不同服务对资源权重进行动态调整,根据各个节点的实际资源利用情况,对节点资源按照权重进行加权计算,用权值反映节点负载,并将此作为调度依据。在和Docker原始调度策略以及无参数调整的加权调度策略的对比实验中,该算法使得集群中各个节点上的各项资源利用率更加均衡;同时,在集群负载比较高的情况下,该算法实现了更快的服务运行速度。     

基于YARN的分布式资源动态调度与协同分配系统

Storm on YARN是目前主流的分布式资源调度框架,但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况,在Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型,系统层通过对流数据处理负载的实时监测进行资源分配预测,任务层利用ZooKeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明,该系统可以实时调整集群资源分布,有效减小系统延迟。     

LUNF--基于节点失效特征的机群作业调度策略

良好的可扩展性使得人们可通过扩大机群系统的规模来达到所需要的计算能力,但随着机群系统节点数目的增多,节点失效对机群系统性能的影响已经成为大规模机群系统使用过程中一个不可回避的问题．机群作业调度作为机群操作系统软件的重要组成部分,完成高效资源管理与合理作业调度,机群作业调度系统功能上可分为作业选取策略和节点分配策略两部分．结合机群系统节点失效的特征,提出了正常运行时间最长节点优先(longest uptime node first,LUNF)的节点分配策略．仿真结果表明,相对于节点随机分配策略,LUNF策略的作业平均响应时间与作业平均slowdown降低10％左右．     

大规模短时间任务的低延迟集群调度框架

大规模数据分析环境中,经常存在一些持续时间较短、并行度较大的任务。如何调度这些低延迟要求的并发作业是目前研究的一个热点。现有的一些集群资源管理框架中,集中式调度器由于主节点的瓶颈无法达到低延迟的要求,而一些分布式调度器虽然达成了低延迟的任务调度,但在最优资源分配以及资源分配冲突方面存在一定的不足。从大规模实时作业的需求出发,设计和实现了一个分布式的集群资源调度框架,以满足大规模数据处理的低延迟要求。首先提出了两阶段调度框架以及优化后的两阶段多路调度框架;然后针对两阶段多路调度过程中存在的一些资源冲突问题,提出了基于负载平衡的任务转移机制,从而解决了各个计算节点的负载不平衡问题;最后使用实际负载以及一个模拟调度器对大规模集群中的任务调度框架进行了模拟和验证。对于实际负载,所提框架的调度延迟控制在理想调度的12%以内;在模拟环境下,该框架与集中式调度器相比在短时间任务的延迟上能够减少40%以上。     

异构云环境下基于分簇的云资源感知任务调度方案

针对提高异构云平台中资源调度的效率,提出了一种基于任务和资源分簇的异构云计算平台任务调度方案。利用K-means算法,根据任务的CPU和I/O处理时间对任务分簇,根据资源的计算能力对资源分簇;然后,将任务簇对应到合适的资源簇,并利用最早截止时间优先（EDF）算法对任务簇中的独立任务进行调度,利用提出的改进型最小关键路径（MCP）算法对依赖性任务进行调度。实验结果表明,在资源异构的云计算环境中,该方案执行任务时间短、能耗低。     

混合云中基于数据保护的耦合任务调度策略

经济因素是驱动混合云负载调度和资源管理的关键因素,同时数据机密和安全性、任务依赖性等问题也对调度策略提出更高的要求。针对以上问题提出综合优化成本开销的调度策略,不仅考虑数据安全迁移和外包运行的总成本,也深入分析应用程序模型中任务依赖性调度。最后通过云仿真平台的实验仿真,并与现有的资源调度算法进行对比,实验结果表明该混合云调度策略在提高吞吐能力和降低总体成本开销方面的综合改善。     

支持Shader的Direct3D9应用程序透明并行化

根据图形处理器的最新可编程单元Vertex Shader和Pixel Shader的体系结构和单机Direct3D9应用程序的执行流程,提出支持Shader的Direct3D9应用程序在图形集群的透明并行化策略.图形集群的节点划分为资源分配和资源绘制节点,资源分配节点通过截取绘制接口将应用程序实时转换为6类绘制资源,包括命令流、Vertex Shader、Pixel Shader、顶点流、索引流和纹理流.资源绘制节点根据绘制资源的描述信息和资源数据重构出Direct3D9的绘制命令.图形集群中的所有绘制节点都保留全部的绘制资源,并且通过计算基于多流模式场景数据在屏幕空间的包围盒进行绘制任务划分.实验证明,使用,这种策略完全可以实现支持Shader的Direct3D9应用程序透明并行化.相对于单机绘制,基于图形集群的并行图形绘制不仅提高绘制性能而且得到较高绘制加速比.     

曙光机群资源管理的设计与实现

机群资源管理负责机群系统内计算所需资源的管理，该文介绍机群资源管理的主要功能和重要的研究问题，着重介绍曙光3000机群系统的资源管理的设计与实现，包括分区管理，任务管理和通信管理功能及其对高可用性，可扩展性，动态特性的支持；并给出相应的性能分析结果，此外，还介绍了相关系统的资源管理和对未来该领域研究的方法。