强化学习与自适应动态规划:从基础理论到多智能体系统中的应用进展综述

近年来,强化学习与自适应动态规划算法的迅猛发展及其在一系列挑战性问题(如大规模多智能体系统优化决策和最优协调控制问题)中的成功应用,使其逐渐成为人工智能、系统与控制和应用数学等领域的研究热点.鉴于此,首先简要介绍强化学习和自适应动态规划算法的基础知识和核心思想,在此基础上综述两类密切相关的算法在不同研究领域的发展历程,着重介绍其从应用于单个智能体(控制对象)序贯决策(最优控制)问题到多智能体系统序贯决策(最优协调控制)问题的发展脉络和研究进展.进一步,在简要介绍自适应动态规划算法的结构变化历程和由基于模型的离线规划到无模型的在线学习发展演进的基础上,综述自适应动态规划算法在多智能体系统最优协调控制问题中的研究进展.最后,给出多智能体强化学习算法和利用自适应动态规划求解多智能体系统最优协调控制问题研究中值得关注的一些挑战性课题.     

改进的粒子群算法在多目标车间调度的应用

利用粒子群算法解决车间调度问题,是一种有效的策略。对粒子群算法进行分析,针对多目标的柔性车间调度问题,构建了以加工时间最小化、加工成本最小化和单机器最大负荷最小化的多目标柔性车间调度模型。提出基于交叉变异的变参粒子群算法,以提高其跳出局部最优快速达到全局最优的能力。同时,引入智能小车概念,将运输时间考虑到此调度中。并将该方法用于某离散制造业的柔性车间作业调度中,最后验证了该算法的实用性及高效性。     

不确定工时下多目标柔性作业车间调度问题的进化求解方法

在实际工业生产中,调度环境的复杂性与不确定性使得调度问题求解难度大大提高.针对加工时间不确定的柔性作业车间调度问题,采用不确定参数描述随机工时波动程度和约束条件允许违背程度,构建工时波动服从指数分布的多目标柔性车间调度模型.基于机会约束规划理论,将不确定调度问题转化为加工时间确定的柔性作业车间调度问题,求解得到一定程度上具有鲁棒性能的调度方案.在执行过程中,采用工序移动调整和重调度方法对作业排产方案进行动态调整.基于双链式编码以及贪婪插入法解码规则,提出了基于变邻域搜索的混合NSGA-Ⅱ算法.针对车间调度问题的多约束性和计算复杂度高等特点,设计了基于机器选择的复合启发式规则,包括依据概率的最小累计机器负载和最短工序加工时间规则,以获取更加接近Pareto前沿的均匀分布初始种群.采用改进工序和设备交叉策略以提高算法的全局搜索能力.此外,基于关键工序和机器选择的多种邻域结构,设计了变邻域搜索策略,以进一步提高算法的局部搜索能力.通过Kacem和Brandimarte标准算例的数值仿真以及与多种代表算法的统计比较,验证了所提算法的有效性.本文所提算法为不确定柔性作业车间调度问题提供了更优的调...     

加工时间不确定的炼钢连铸生产调度问题研究

针对炼钢连铸生产过程中存在的加工时间不确定性问题,采用三角模糊数表示不确定性加工时间信息,引入４种模糊运算,建立了问题的模糊规划调度模型．采用“中间值最大隶属度”的算法,将模糊规划调度模型转化为非线性规划模型,并在多重精炼工序、多机并行条件下,应用遗传算法求解最小完成时间．最后,利用实际生产数据的仿真实验表明了模型与算法的有效性．     

求解模糊柔性Job-shop调度问题的多智能体免疫算法

考虑实际纸盆车间调度中模具、机器、操作人员等资源约束,以及加工时间和交货日期的不确定性,建立了批量可变的模糊柔性Job-shop调度问题模型.结合多智能体系统以及免疫信息处理机制,构造了一种求解实际Job-shop调度问题的多智能体免疫算法.该方法通过竞争、自学习、自适应疫苗接种、模拟退火等操作,更新每个智能体在解空间的位置,从而能精确地收敛到全局最优解.纸盆车间调度实例的求解结果验证了该算法的有效性.     

多目标和声搜索算法求解序依赖单机调度问题

针对一种具有序依赖设置时间的单机调度问题,建立了目标为总机器设置时间最小、总交货延误时间最短和交货延误率最小的多目标优化模型,提出了一种自适应多目标和声搜索算法,算法中引入了信息熵的概念来评价种群中个体的多样性和拥挤度。实例计算结果表明该算法可行、有效。     

两台流水机器协调分解调度问题

研究钢管加工流程中一类新型两台机器流水车间调度问题,工件在第一台机器上加工后被分解成多个子工件.对于最小化最大完成时间的情况,给出一个多项式时间的最优算法;对于最小化最大完成时间与惩罚费用之和的情况,给出一个拟多项式时间的动态规划算法;对于考虑生产前运输的最小化最大完成时间的情况,分析了问题的复杂性.证明了第一种情况的最优算法可作为后两种情况的2-近似算法.数值实验表明了算法的有效性.     

基于可变约束的多目标模糊柔性车间调度

在车间实际加工中,需要考虑：工件提交时间;加工不同的工序时,使机器处于就绪状态的调整时间及所产生的静态费用;机器加工时间及所产生的动态费用;原材料成本;工件交货期服从时间窗模糊分布;工件的某道工序有多台机器可供选择。针对这类车间调度,本文提出以极大化最小客户满意度和最小化工件原材料费用、静态费用和动态费用之和的两目标可变机器约束的模糊车间调度模型,给出基于改进编码和精英保留策略的进化算法,在此基础上对改进多目标进化算法解的合理性进行了简要的分析,以一个算例验证了算法的有效性,为多约束的模糊多目标调度提供了一种实现途径。     

基于窗口的印刷车间作业动态调度研究

为了解决实际印刷车间突发设备故障和紧急插单问题,采用滚动窗口技术结合遗传算法的方法,建立适合实际印刷车间生产的动态再调度模型;设定若干印品订单、机器设备的加工工序以及各工序加工时间、工序约束条件等,以订单的最大最小加工时间和再调度的偏离度为多目标优化,采用周期与事件混合驱动策略,将滚动窗口再调度机制和遗传算法相结合进行流程设计和编码,构建印刷车间再调度模型;采用标准问题FT06和FT01验证了文章设计的模型算法的有效性和可行性;运行程序,模拟正常加工时紧急插单和机器故障突发时,系统生产新的调度计划即调度甘特图,仿真结果表明该动态调度模型可以用于印刷作业的正常排产调度,在遇突发状况时可生成稳定、符合交货日期的再调度方案。     

考虑随机故障的FMS双工序系统智能RGV动态调度策略

针对柔性加工系统(FMS)出现偶发故障后轨道式自动引导车(RGV)调度无法正常进行的问题,研究分析RGV在此类系统中的作业流程,将其分为两种情形,并据此提出循环节的概念和RGV作业路径约束。以等长时间内系统产量最大为目标,建立了柔性生产系统中的RGV调度模型。以此为基础提出了基于距离贪心的RGV目标选择策略,通过计算仿真,证明RGV能在系统出现故障时平稳调度,且系统生产效率优于时间贪心策略,证明了该文策略的有效性。     

基于改进GSO算法的柔性作业车间E/T调度问题

针对机器资源和加工路线可选择情况下的柔性车间调度,以最小最大完工时间和时间惩罚成本为目标建立柔性车间E/T调度模型.根据问题特点,提出一种改进的萤火虫算法（GSO）,算法设计了一种具有贪婪思想的编码策略,一个萤火虫个体表示工序加工顺序和工序加工位置;采用自适应选择策略,使步长自适应,提高算法精度;引入POX交叉、邻域交换和反序排序方法提高算法局部和全局寻优能力,并利用贪婪思想,提高算法的收敛速度.通过经典算例和实例验证算法性能,实验结果表明改进的萤火虫算法求解柔性车间调度问题的有效性.     

求解考虑机器调整时间的并行机分批优化调度问题

基于目前车间调度问题是以单个或整批进行生产加工的并行机调度模型已不再符合实际工况下的车间生产。提出以最小化最大完工时间为优化目标,对遗传差分进化混合算法,灰狼差分进化混合算法进行了比较。为提高加工工件进行分批及分批之后子批的分配与排序效率,该问题是对不同规模的经典并行机调度问题进行求解并展示两种算法的求解,证明了灰狼差分进化混合算法在寻优性能上优于遗传差分进化混合算法,不仅具有更好的解的稳定性,而且具有更高的寻优精度。     

A scheduling algorithm for applications in a cloud computing system with communication changes

This paper proposes a scheduling algorithm to solve the problem of task scheduling in a cloud computing system with time‐varying communication conditions. This algorithm converts the scheduling problem with communication changes into a directed acyclic graph (DAG) scheduling problem for existing fuzzy communication task nodes, that is, the scheduling problem for a communication‐change DAG (CC‐DAG). The CC‐DAG contains both computation task nodes and communication task nodes. First, this paper proposes a weighted time‐series network bandwidth model to solve the indefinite processing time (cost) problem for a fuzzy communication task node. This model can accurately predict the processing time of a fuzzy communication task node. Second, to address the scheduling order problem for the computation task nodes, a dynamic pre‐scheduling search strategy (DPSS) is proposed. This strategy computes the essential paths for the pre‐scheduling of the computation task nodes based on the actual computation costs (times) of the computation task nodes and the predicted processing costs (times) of the fuzzy communication task nodes during the scheduling process. The computation task node with the longest essential path is scheduled first because its completion time directly influences the completion time of the task graph. Finally, we demonstrate the proposed algorithm via simulation experiments. The experimental results show that the proposed DPSS produced remarkable performance improvement rate on the total execution time that ranges between 11.5% and 21.2%. In view of the experimental results, the proposed algorithm provides better quality scheduling solution that is suitable for scientific application task execution in the cloud computing environment than HEFT, PEFT, and CEFT algorithms.     

基于混合算法的环形轨道RGV系统调度优化研究

针对自动化仓库中环形轨道RGV（有轨制导车辆）调度问题,以任务最短完成时间为目标,分析其主要影响因素。在此基础上提出路径最短和堵塞次数最少两个优化目标,并建立数学模型,设计基于规则的遗传算法求解。使用自适应的交叉变异概率代替传统遗传算法中的固定参数,改善遗传算法易陷入局部最优解的现象。同时,为解决多目标优化求解问题,提出了改进的自适应权重的求解方案。通过Matlab仿真实验分析比较算法性能,验证了算法的有效性。     

浅析网格环境中的任务调度算法

网格系统由大量异构资源组成,具有复杂、动态和自治等特点。高效的调度算法可以充分利用网格系统和处理能力,从而提高应用程序的性能。本文提出Segment Qos Min-Min RR任务调度算法,平衡了负载,提高了任务的完成时间和平均等待时间。     

基于总加权完成时间的可重入混合流水车间调度问题

研究以最小化总加权完成时间为目标的可重入混合流水车间调度问题(RHFS-TWC),并构建问题的整数规划模型.根据模型的特点,设计基于二维矩阵组的调度解编码方案,结合NEH启发式算法确定工件初始加工顺序,生成高质量初始调度解群.为避免算法陷入早熟及扩大解的搜索空间,给出IGA的遗传参数自适应调整策略,最终形成NEH-IGA融合求解策略.针对不同规模问题分别用传统GA、基于遗传参数自适应调整的IGA、NEH启发式、NEH-IGA算法进行仿真测试,仿真结果表明NEH启发式和遗传参数自适应动态调整策略的引入有效改善了原有GA的求解能力,NEH-IGA算法在求解RHFS-TWC问题方面优势明显.     

Two-phase branch and bound algorithm for robotic cells rescheduling considering limited disturbance

This paper addresses a robotic cell rescheduling problem and focuses on trade-off between the total completion time of all jobs and the disturbance of a reschedule. We first define and measure the disturbance of a reschedule as the deviation of completion time of the jobs already scheduled between the reschedule and the initial schedule. To guarantee the steady performance of the system, we consider a special case that the processing sequence of the jobs already scheduled cannot be changed. The addressed rescheduling problem is transformed into a series of deterministic local scheduling problems with the objective of minimizing the total completion time of all jobs provided that the disturbance is within a given limit. A two-phase branch and bound algorithm is developed to efficiently solve the local scheduling problems. To improve the efficiency of the search procedure, a dynamic enumeration mechanism is applied to eliminate redundant constraints. Furthermore, two search strategies are proposed to direct the search procedure toward finding an optimal solution and a near-optimal solution. Finally, computational results demonstrate the efficiency of our algorithm.     

Two-machine no-wait flowshop scheduling with learning effect and convex resource-dependent processing times

Two-machine no-wait flowshop scheduling problems in which the processing time of a job is a function of its position in the sequence and its resource allocation are considered in the study. The primary objective is to find the optimal sequence of jobs and the optimal resource allocation separately. Here we propose two separate models: minimizing a cost function of makespan, total completion time, total absolute differences in completion times and total resource cost; minimizing a cost function of makespan, total waiting time, total absolute differences in waiting times and total resource cost. Since each model is strongly NP-hard, we solve both models by breaking them down to two sub-problems, the optimal resource allocation problem for any job sequence and the optimal sequence problem with its optimal resource allocation. Specially, we transform the second sub-problem into the minimum of the bipartite graph optimal matching problem (NP-hard), and solve it by using the classic KM (Kuhn–Munkres) algorithm. The solutions of the two sub-problems demonstrate that the target problems remain polynomial solvable under the proposed model.     

带有资源冲突的Seru在线并行调度算法

随着大规模定制的市场需求日趋显著,赛如生产系统(Seru production system,SPS)应运而生,逐渐成为研究和应用领域的热点.本文针对带有资源冲突的Seru在线并行调度问题进行研究,即需要在有限的空间位置上安排随动态需求而构建的若干Seru,以总加权完工时间最小为目标,决策Seru的构建顺序及时间.先基于平均延迟最短加权处理时间(Average delayed shortest weighted processing time,AD-SWPT)算法,针对其竞争比不为常数的局限性,引入调节参数,得到竞争比为常数的无资源冲突的Seru在线并行调度算法.接下来,引入冲突处理机制,得到有资源冲突的Seru在线并行调度算法,αAD-I(α-average delayed shortest weighted processing time-improved)算法,特殊实例下可通过实例归约的方法证明其竞争比与无资源冲突的情况相同.最后,通过实验,验证了在波动的市场环境下算法对于特殊实例与一般实例的优越性.