基于Agent的网络化制造资源优化配置方法研究

针对网络化异地协同制造模式下的制造资源优化配置问题,提出了一种双层次的制造资源优化配置方法,并利用Agent技术和合同网技术建立了双层次制造资源优化配置的实现框架。提出对制造任务用两个层次即LMP(由有序的LMU组成)和LMU(由工序作业组成)来描述。在第一层次,面向LMP中的LMU利用招投标技术实现PMU配置,针对LMP产生一条EMP;在第二个层次面向LMU中的工序作业利用招投标技术实现设备资源的配置,针对LMU产生由设备序列组成的加工路线。最后给出了一个实例说明该方法和实现框架的可行性和有效性。     

面向Dataflow的异构集群混合式资源调度框架研究

Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示,HRM的调度延迟只有集中式调度框架的75%左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架,CPU资源利用率提高25%以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50%     

云制造环境下个性化产品配置研究

在分析了云制造环境下的产品配置典型过程的基础上,总结了云制造环境下参与 者及制造资源组织的特点,包括产品配置过程需要兼顾不同参与方的利益,以及在产品配置求 解过程中需要覆盖不同制造服务实例的差异化属性的基础,提出了面向云制造的个性化产品配 置技术框架,阐述了面向产品配置的云服务模型、基于关联规则挖掘的产品初步配置以及基于 蚁群算法的产品完整配置 3 个关键问题的求解方法,为云制造环境下开展个性化产品配置提供 了一种新的思路。在模型设计及方案求解过程中,以轮式装载机产品配置作为示例进行了阐述, 验证了该方法的有效性和可行性。     

一种面向应用程序的作业资源管理系统ARMS

本文在综合分析了现有作业资源管理系统的基础上，提出了一种新的面向应用程序的作业资源管理系统模型ARMS。该模型引入了资源预测分析和面向应用程序的调度，提高了系统的资源利用率。     

一种基于动态slot分配的公平调度算法

Hadoop框架中基于缺额的公平调度算法以统一的固定配置设置定时计算和更新作业信息,在一定程度上影响了其作业调度的公平性,同时也不能满足作业的资源需求。针对基于缺额的公平调度算法配置方式的不足,提出一种基于公平性的动态slot分配算法,通过实时计算更新缺额进行slot分配以确保真正的公平性。     

基于资源签名与遗传算法的Hadoop参数自动调优系统

在Hadoop集群的优化配置中,配置参数存在种类繁多,含义复杂,相互关联影响的特性,导致难以实现快速准确寻优。针对以上问题,构建了Hadoop集群自动调优系统。其中在系统中设计了资源获取器与参数配置库,分别用以获取各作业的资源消耗与存储分发配置方案。该系统首先利用MapReduce作业的小规模数据集资源签名将任务分类,之后在遗传算法框架中通过任务的测试评估对配置方案进行自动迭代优化。实验结果表明,调优后集群的任务完成时间明显缩减,集群的资源利用率有了明显提升。     

一种基于效用函数的网格资源优化策略*

基于市场机制提出了一种以资源代理为基础、面向服务的网格资源管理模型——SBAGRM,在该模型的框架下提出了一种基于效用函数的网格资源分配方法,该方法以满足用户的QoS需求为出发点,旨在追求系统资源的全局最优化。SBAGRM模型可以避免非线性优化带来过高的计算复杂度,以市场模式根据效用函数配置资源,因此计算复杂度将大大降低,模拟结果显示性能明显提高。     

智能仓库出入库系统优化研究

针对智能仓库出入库系统作业过程中出现的货物拥堵和设备利用率低等问题,对智能仓库出入库作业特点进行了研究,构建了智能仓库的出入库作业周期模型,采用面向对象赋时 Petri 网的方法建立智能仓库出入库系统的 OOTPN（object oriented timed Petri net）模型,并对模型进行了死锁分析,同时也分析了模型有效性和可靠性。运用 Flexsim 仿真软件对建立的 OOTPN 模型进行仿真优化,实验结果表明,出入库工作能力直接影响堆垛机和处理器的利用率,增加出入库工作组可以有效地提高智能仓库的工作效率。     

一种基于JMX的可动态管理的远程作业系统

传统机群批作业系统在动态管理和配置能力上存在着不足.针对这个问题,基于JMX框架提出一种可动态管理配置的远程作业系统设计方法,具有完善的动态管理配置能力、动态调度策略选择机制和动态配置的可视化管理视图.有效的改进了传统系统存在的不足,并成功应用于国家863软件重大项目“集群服务器功能软件”.     

一种面向虚拟化数字中心资源按需重配置方法

面向Web应用,提出一种动态资源按需配置方法,能够根据不断变化的资源需求以在线方式高效地重配置集群,实时地确定集群当前节点运行数量及其上部署的虚拟机类型.该方法基于布尔二次指数平滑法预测用户请求,有效避免了配置结果落后于资源请求;基于遗传算法并行化搜索配置空间,快速发现合理配置.实验结果表明,该方法能够根据需求变化高效地在线调整系统资源配置,并可有效提高集群资源利用率,显著降低了系统能耗.     

多MapReduce作业协同下的大数据挖掘类算法资源效率优化

由于任意的MapReduce作业都需要独立地进行任务调度、资源分配等一系列复杂的操作,这使得同一算法协同的多个MapReduce作业之间,存在着大量的冗余磁盘I/O及资源重复申请操作,导致计算过程中资源利用效率低下。大数据挖掘类算法通常被切分成多个MapReduce job协作完成。以ItemBased算法为例,对多MapReduce作业协同下的大数据挖掘算法存在的资源效率问题进行了分析,提出基于DistributedCache的ItemBased算法,利用DistributedCache将多个MapReduce job之间的I/O数据进行缓存处理,打破作业之间独立性的缺陷,减少map与reduce任务之间的等待时延。实验结果表明,DistributedCache能够提高MapReduce作业的数据读取速度,利用DistributedCache重构后的算法极大地减少了map与reduce任务之间的等待时延,资源效率提高3倍以上。     

MSR4SM: Using topic models to effectively mining software repositories for software maintenance tasks

ContextMining software repositories has emerged as a research direction over the past decade, achieving substantial success in both research and practice to support various software maintenance tasks. Software repositories include bug repository, communication archives, source control repository, etc. When using these repositories to support software maintenance, inclusion of irrelevant information in each repository can lead to decreased effectiveness or even wrong results.ObjectiveThis article aims at selecting the relevant information from each of the repositories to improve effectiveness of software maintenance tasks.MethodFor a maintenance task at hand, maintainers need to implement the maintenance request on the current system. In this article, we propose an approach, MSR4SM, to extract the relevant information from each software repository based on the maintenance request and the current system. That is, if the information in a software repository is relevant to either the maintenance request or the current system, this information should be included to perform the current maintenance task. MSR4SM uses the topic model to extract the topics from these software repositories. Then, relevant information in each software repository is extracted based on the topics.ResultsMSR4SM is evaluated for two software maintenance tasks, feature location and change impact analysis, which are based on four subject systems, namely jEdit, ArgoUML, Rhino and KOffice. The empirical results show that the effectiveness of traditional software repositories based maintenance tasks can be greatly improved by MSR4SM.ConclusionsThere is a lot of irrelevant information in software repositories. Before we use them to implement a maintenance task at hand, we need to preprocess them. Then, the effectiveness of the software maintenance tasks can be improved.     

Mining software repositories for model-driven development

One major reason software development projects fail is that the development process is invisible. Managers tend to rely on meetings and reports to understand project status and make decisions, leading to mismanagement due to inaccurate or incomplete information. Software projects typically collect information during development using different tools and store it in repositories. We present a statistical process control (SPC) method of defining, collecting, and analyzing software metrics from software repositories for MDD process control and improvement (PCI). This method, which we call mining software repositories (MSR), can help us change the traditional, static, record-keeping use of software data repositories to a new, active use for predicting and planning various aspects of MDD projects.     

面向大数据分析作业的启发式云资源供给方法

云计算已成为大数据分析作业的主流运行支撑环境，选择合适的云资源优化其性能面临巨大挑战.当前研究主要考虑大数据分析框架（如Hadoop，Spark等）的多样性，采用机器学习方法进行资源供给，但样本少容易陷入局部最优解.提出了大数据环境下基于负载分类的启发式云资源供给方法RP-CH，基于云资源共享特点，获取其他大数据分析作业的运行时监测和云资源配置信息，建立负载分类与优化云资源配置的启发式规则，并将该规则作用到贝叶斯优化算法的收益函数.基于HiBench，SparkBench测试基准的结果显示：RP-CH相对于已有方法CherryPick、大数据分析作业的性能平均提升了58%，成本平均减少了44%.     

基于资源域的分级调度模型

作业调度是要实现作业和资源的最佳匹配,协调对资源的征用矛盾.软件环境和硬件资源对作业运行都有影响,实验证明硬件资源对作业的影响很大,据此提出了基于资源域的分级调度模型,提供全局和局部两种调度方式.节点根据配置划分成不同的资源域,调度时根据作业类型匹配最佳的资源域,该模型有效利用了集群资源,减轻了Server的负担,并能提高系统的可扩展性.在全局调度中,还提供了预约机制调度高优先级作业.     

面向运行时间预测和容错感知的网格资源分配

提出与描述了一种面向任务运行时间预测和容错感知（Fault-Aware）的网格资源分配策略,采用主动容错的方式,在资源出错之前尽量提前避免它出错或异常的情况发生。该策略把网格中任务的运行时间（runtime）预测和资源的在线时间（uptime）预测结合起来,相对于普通的调度策略具有比较高的资源利用率。在具体的CoBRA网格中间件中实现了该容错感知调度,描述了实现该容错感知调度策略模块的功能。测试过程中选择了睡眠任务技术,划分四种不同的场景进行实验,把该容错感知资源分配与普通的FCFS调度策略进行比较,结果证明在可变化的资源可用性的情况下系统可以加快应用的整体执行时间,具有很小的偏差。     

Multi-stage resource-aware scheduling for data centers with heterogeneous servers

This paper presents a three-stage algorithm for resource-aware scheduling of computational jobs in a large-scale heterogeneous data center. The algorithm aims to allocate job classes to machine configurations to attain an efficient mapping between job resource request profiles and machine resource capacity profiles. The first stage uses a queueing model that treats the system in an aggregated manner with pooled machines and jobs represented as a fluid flow. The latter two stages use combinatorial optimization techniques to solve a shorter-term, more accurate representation of the problem using the first-stage, long-term solution for heuristic guidance. In the second stage, jobs and machines are discretized. A linear programming model is used to obtain a solution to the discrete problem that maximizes the system capacity given a restriction on the job class and machine configuration pairings based on the solution of the first stage. The final stage is a scheduling policy that uses the solution from the second stage to guide the dispatching of arriving jobs to machines. We present experimental results of our algorithm on both Google workload trace data and generated data and show that it outperforms existing schedulers. These results illustrate the importance of considering heterogeneity of both job and machine configuration profiles in making effective scheduling decisions.     

面向软件仓库挖掘的数据驱动特征提取方法

在软件仓库挖掘领域, 通常 将软件工程任务转换成数据挖掘问题进行解决。领域特征的使用严重影响了软件任务的解决效果。然而,如何根据特定任务从软件仓库数据中提取有价值的特征,在软件仓库挖掘领域尚缺乏系统的研究。数据驱动特征提取方法是一种新的特征提取方法。对于给定的软件工程任务,该方法从任务的数据集中选取部分数据(如源代码、缺陷报告等),招募若干志愿者人工完成该任务,并要求志愿者说明在人工完成特定软件工程任务时所考虑的因素。通过分析这些因素,可以提取所需的领域特征。以缺陷报告摘要任务为例进行实验,结果表明新方法能够发现高效的领域特征,并取得比现有方法更好的预测效果。     

风电场数据中心Hadoop云平台作业调度算法研究

风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有FIFO调度器不能满足实时监测系统要求,在原有FIFO调度器的基础上,设计了一种双队列的作业调度器,综合考虑作业的截止时间和优先级来进行作业调度决策,实验结果表明,与FIFO调度器相比,双队列的作业调度器在集群负载较大时能够表现出较好的性能,保证实时类作业能够优先执行,为风电机组的安全运行提供保障。     

Prediction of job characteristics for intelligent resource allocation in HPC systems: a survey and future directions

Nowadays, high-performance computing (HPC) clusters are increasingly popular. Large volumes of job logs recording many years of operation traces have been accumulated. In the same time, the HPC cloud makes it possible to access HPC services remotely. For executing applications, both HPC end-users and cloud users need to request specific resources for different workloads by themselves. As users are usually not familiar with the hardware details and software layers, as well as the performance behavior of the underlying HPC systems. It is hard for them to select optimal resource configurations in terms of performance, cost, and energy efficiency. Hence, how to provide on-demand services with intelligent resource allocation is a critical issue in the HPC community. Prediction of job characteristics plays a key role for intelligent resource allocation. This paper presents a survey of the existing work and future directions for prediction of job characteristics for intelligent resource allocation in HPC systems. We first review the existing techniques in obtaining performance and energy consumption data of jobs. Then we survey the techniques for single-objective oriented predictions on runtime, queue time, power and energy consumption, cost and optimal resource configuration for input jobs, as well as multi-objective oriented predictions. We conclude after discussing future trends, research challenges and possible solutions towards intelligent resource allocation in HPC systems.