基于DQN的智能工厂作业车间调度

针对智能工厂中基于数据的作业车间调度问题,提出结合新的复合调度规则和深度强化学习的调度方法.对车间数据进行预处理并得到对应的系统状态,以连续系统状态值为深度强化学习算法的输入,设计4种新的复合调度规则以应对更为复杂和冲突的车间环境,将复合调度规则和其他8种著名调度规则作为候选调度规则,依据贪婪选择策略选择调度规则并存储和更新状态动作值,最终为每次决策选取出最优调度规则.实验验证了结合复合调度规则和深度Q学习网络(Deep Q-Network,DQN)算法,在均衡权重下相比其他著名调度规则以及标准Q学习算法更具优势.     

基于深度强化学习的作业车间调度问题优化

针对作业车间调度问题求解的复杂性,以最小化最大完工时间为目标,提出基于深度强化学习优化算法求解作业车间调度问题。首先,基于析取图模型构建深度强化学习的调度环境,并建立三通道状态特征,设计20种复合启发式调度规则作为动作空间,将奖励函数等价为机器利用率;利用深度卷积神经网络搭建动作网络和目标网络,以状态作为输入,输出每个动作的Q值,进而使用行动有效性探索和利用策略选取动作;最后,计算即时奖励和更新调度环境。使用标准案例验证了算法可以平衡求解质量和时间,训练好的智能体对非零初始状态下调度问题具有很好的泛化性。     

集成强化学习算法的柔性作业车间调度问题研究

将柔性作业车间调度问题转化为马尔可夫决策过程,提出了集成5种深度Q网络(DQN)优化的算法D5QN。构建马尔可夫过程中,提取一组特征来表述状态,通过调度规则的组合设计出三组动作,通过直接和间接两种方式共同描述奖励。与基于规则、元启发式和其他强化学习算法的比较证明,所提方法可进一步缩短求解时间,并具有可行性和有效性。     

基于深度强化学习的非置换流水车间调度问题

针对传统调度算法不能有效利用历史数据进行学习,实时性较差而难以应对复杂多变的实际生产调度环境等问题,首次提出一种基于时序差分法的深度强化学习算法.该方法综合神经网络和强化学习实时性、灵活性的优势,直接依据输入的加工状态进行行为策略选取,更贴近实际订单响应式生产制造系统的调度决策过程.通过将调度问题转化为多阶段决策问题,用深度神经网络模型拟合状态值函数,把制造系统加工状态特征数据输入模型,采用时序差分法训练模型,把启发式算法或分配规则作为调度决策候选行为,结合强化学习在线评价—执行机制,从而为每次调度决策选取最优组合行为策略.在非置换流水车间标准问题集上的测试结果表明,该算法能够取得低于实例上界的较优解.     

基于强化学习的模式驱动调度系统研究

目前,还没有一种调度规则能够根据系统环境状态的改变来进行自适应调整.对此,提出一种基于智能体的模式驱动调度系统,由智能体和仿真环境两个主要部分构成.其中,智能体将利用强化学习(Q学习算法)进行训练,以提高其动态选择合适调度规则的能力.仿真结果表明,这种模式驱动调度系统能够很好地根据系统环境状态的改变选择出对应的最优调度规则,且其调度性能优于单一调度规则,适合于系统环境不断变化的动态调度.     

面向航空发动机装配线的知识化制造自适应优化调度

为了解决不确定生产环境下的航空发动机装配调度问题,设计了一种面向航空发动机装配线的知识化制造自适应优化调度算法。算法采用强化学习和过程仿真相结合的调度策略求解方式,以最小化提前期惩罚费用和完工时间成本为调度目标,给出了航空发动机装配的Q学习自适应调度模型;针对装配调度问题定义了四个新的调度规则,定义了航空发动机装配的四个状态特征用于对系统状态进行描述,并针对调度目标设计了合理的回报函数。仿真实验结果表明,在调度过程中,采用提出的Q学习方法在多数情况下都远优于其他规则,尤其在装配任务到达频繁的情况下,总体上表现出更好的优势,显示了良好的自适应性能。     

数据驱动的智慧车间实时调度方法研究

智能制造系统采用了物联网等大量先进信息技术,使得车间积累了大量的实时生产数据。同时,复杂制造系统在运行过程中容易出现一系列干扰事件,这对车间实时响应能力提出了更高的要求。因此,在工业大数据支撑的制造环境下,针对考虑序列相关设置时间和阻塞的混合流水车间调度问题(Hybridflowshopschedulingproblemwithsequence-dependentsetup timesandblocking,HFSP-SDST-B),提出一种基于深度强化学习的实时调度方法,从而实现制造资源的合理分配和完工时间最小化。作为一个序列决策问题,HFSP-SDST-B可以被建模为一个马尔科夫决策过程。在每个调度点,智能体根据当前的生产状态选择相应的调度规则,从而进行合理的工件排序和机器分配。为了实现生产数据驱动的实时调度方法,依次设计考虑阻塞因素的调度点、通用生产状态特征、基于遗传规划的启发式规则和奖励函数。然后提出一种基于近端策略优化算法的训练方法,从而让智能体构建状态与规则之间的有效映射。最后试验结果表明,与现有的动态调度方法相比,该方法具有优越性和通用性,并且通过学习能够有效处理随机扰动...     

基于增强学习的平行机调度研究

尝试运用增强学习方法来研究平行机调度问题,通过定义系统状态、行为和报酬函数,把调度问题转化为平均报酬型半马尔可夫决策过程,并使用结合函数泛化器的R-Learning算法来解决.提出排名算法,并利用它和两种常用的调度规则(最短期望加工时间规则和先进先出规则)来定义增强学习的行为.实验结果表明,R-Learning算法通过仿真实验学习较优的调度策略,在不同的决策状态下选择最优或次优的行为,对每个测试问题的效果都优于以上任何一条调度规则.     

优化加权平均流程时间的平行机调度

平行机调度问题在工业界有着广泛应用,实际生产中瓶颈工序的调度很多属于这类问题.运用增强学习算法来研究以最小化作业的加权平均滞留时间为目标的动态平行机调度问题Qm I rj,sjk,Mj I ∑wjfj,考虑与作业顺序相关的转换时间和机器-作业资格约束.为了把调度问题转化为增强学习问题,定义了系统状态的表示方式,利用加权最短加工时间优先(WSPT)规则、Weng算法、排名(RA)算法和LFJ-RA(Least Flexible Job-Ranking Algorithm)算法构造行为,定义了与调度目标函数等价的报酬函数,并采用结合函数泛化器的Q学习算法来解决.实验表明Q学习算法对每个测试问题的调度结果都优于WSPT规则、排名算法、LFJ-RA算法和Weng算法.     

基于智能计算方法的AGV制造车间调度问题研究现状

基于智能制造车间物流系统中AGV的复杂动态调度问题,阐述了智能计算方法在复杂调度技术方面及其在智能制造车间AGV调度的研究应用.对群智能计算、遗传算法、人工神经网络等常见智能计算方法的特性及调度问题应用进行分析.针对群智能计算方法重点探究了粒子群算法、蚁群算法及人工蜂群算法在制造业AGV调度中的应用;结合遗传算法与柔性制造系统生产理念总结了AGV调度研究现状;在人工神经网络方法上,介绍了基于深度学习、强化学习有关的AGV调度问题研究及特点.基于智能计算方法各自计算特点对其在制造车间AGV调度应用进行了探讨,总结了智能计算方法在制造车间关于AGV智能调度的研究的发展趋势,方便未来AGV车间调度系统的技术研究选择合适的算法.