基于双深度Q学习网络的面向设备负荷稳定的智能车间调度方法

在车间管理中,设备负荷是一个关键性能指标,负荷稳定直接影响了生产效率与生产成本,但目前鲜有研究关注如何实现设备负荷稳定的问题。为此,提出一种面向设备负荷稳定的智能车间调度方法。该方法通过一个含有深度神经网络调度模型的调度智能体,分析车间生产状态与设备负荷间的相关性,及时输出满足期望目标的调度方案。针对深度神经网络调度模型,设计了一个基于双深度Q学习网络(DDQN)的深度神经网络调度模型训练器,其利用奖惩学习免监督地形成调度样本,借此对深度神经网络调度模型进行网络参数更新,实现模型自学习。所提方法在MiniFab半导体生产车间模型中进行了验证,证明了所提调度方法能实现对智能车间设备负荷的控制,从而保证车间整体设备负荷的稳定性。     

基于DQN的智能工厂作业车间调度

针对智能工厂中基于数据的作业车间调度问题,提出结合新的复合调度规则和深度强化学习的调度方法.对车间数据进行预处理并得到对应的系统状态,以连续系统状态值为深度强化学习算法的输入,设计4种新的复合调度规则以应对更为复杂和冲突的车间环境,将复合调度规则和其他8种著名调度规则作为候选调度规则,依据贪婪选择策略选择调度规则并存储和更新状态动作值,最终为每次决策选取出最优调度规则.实验验证了结合复合调度规则和深度Q学习网络(Deep Q-Network,DQN)算法,在均衡权重下相比其他著名调度规则以及标准Q学习算法更具优势.     

基于DQN的智能工厂作业车间调度

针对智能工厂中基于数据的作业车间调度问题,提出结合新的复合调度规则和深度强化学习的调度方法.对车间数据进行预处理并得到对应的系统状态,以连续系统状态值为深度强化学习算法的输入,设计4种新的复合调度规则以应对更为复杂和冲突的车间环境,将复合调度规则和其他8种著名调度规则作为候选调度规则,依据贪婪选择策略选择调度规则并存储和更新状态动作值,最终为每次决策选取出最优调度规则.实验验证了结合复合调度规则和深度Q学习网络(Deep Q-Network,DQN)算法,在均衡权重下相比其他著名调度规则以及标准Q学习算法更具优势.     

基于深度强化学习的作业车间调度问题优化

针对作业车间调度问题求解的复杂性,以最小化最大完工时间为目标,提出基于深度强化学习优化算法求解作业车间调度问题。首先,基于析取图模型构建深度强化学习的调度环境,并建立三通道状态特征,设计20种复合启发式调度规则作为动作空间,将奖励函数等价为机器利用率;利用深度卷积神经网络搭建动作网络和目标网络,以状态作为输入,输出每个动作的Q值,进而使用行动有效性探索和利用策略选取动作;最后,计算即时奖励和更新调度环境。使用标准案例验证了算法可以平衡求解质量和时间,训练好的智能体对非零初始状态下调度问题具有很好的泛化性。     

基于多智能体强化学习的纺织面料染色车间动态调度方法

针对任务随订单动态到达环境下的纺织面料染色车间动态调度问题,以最小化总拖期时间为优化目标,提出了基于多智能体循环近端策略优化(MA-RPPO)强化学习的完全反应式调度方法。首先,针对染色车间调度的组批和排缸两个子问题,设计了组批和排缸两个强化学习智能体;然后,针对车间任务的动态性,引入长短期记忆网络(LSTM)提取车间动态信息,提高智能体对动态环境的自适应能力;进一步提出组批智能体和排缸智能体的交互机制,实现组批与排缸全局优化;最后,抽取问题约束与优化目标的相关特征并设计奖励函数,通过动态调度机制驱动智能体的交互学习获得最优调度策略。经某印染企业的实例验证表明,所提方法对不同规模问题的求解性能均优于多种常用的高性能启发式规则,有效降低了产品的总拖期时间,提升了企业订单的准时交付能力。     

基于强化学习的柔性作业车间动态调度算法研究

随着制造模式往多品种、小批量的转变,车间生产过程变得复杂多变,传统的依赖于人工和静态式的调度方法已经无法适应实际的车间环境。为此,设计一种基于马尔可夫决策过程的柔性作业车间调度模型。以车间环境作为状态空间,以设备选择作为动作空间,以最小化完工时间作为调度目标,将柔性作业车间调度视为序列化决策问题,使用一种基于策略梯度下降的深度学习方法训练该模型,在仿真环境中对该算法进行验证。结果表明：本算法降低了总完工时间,均衡了机器负载,提高了生产效率和调度智能性。     

知识化制造环境中基于双层Q学习的航空发动机自适应装配调度

针对不确定生产环境下航空发动机装配的自适应调度问题,结合强化学习的实时性特点和知识化制造系统的自适应特征,提出用于解决航空发动机装配问题的双层Q学习方法。上层Q学习着眼于局部,学习合适的分派规则并将作业分配到并行机器,从而最小化设备空闲和平衡机器负荷;下层Q学习着眼于全局,学习最优的调度策略用来对分配到机器的工序进行调度,以最小化作业整体提前期。采用基于函数逼近的Q(λ)学习方法对值函数进行更新,通过合理地定义强化学习问题三大要素:动作、状态和回报函数,将航空发动机自适应装配调度问题转化为强化学习问题。仿真实验结果表明,通过在上下两层适时选取调度规则,采用双层Q学习方法比单层Q学习在总体上具有更好的优势,调度结果远优于单个规则,显示出了良好的自适应性能。     

改进自适应遗传算法在硫化车间调度中的应用

针对轮胎加工生产过程中的瓶颈即硫化工序的生产调度，建立了一个基于改进自适应遗传算法的调度方案。改进自适应遗传算法相对于普通遗传算法，能够更有效收敛于目标，提高运算速度，并通过实例证明了该算法的有效性和可行性。     

基于自适应蚁群算法的柔性作业车间调度问题

针对经典作业车间调度问题的局限性,结合实际生产情况,提出了具有路径柔性的作业车间调度模型,给出了求解模型的自适应蚁群算法的具体实现过程。在搜索解路径的过程中,该算法首先确定下一步可供选择加工的工件在哪台机器上加工最好;接着在选择机器后再确定该加工哪个工件;当所有蚂蚁爬行完毕后,针对算法是否陷入局部收敛,分别对各路径上的信息素进行了自适应调整,有助于快速得到全局最优解;最后,通过实例仿真验证了算法的有效性。     

多Agent动态调度方法在染色车间调度中的应用

为解决复杂、繁琐的染色车间调度问题,根据印染生产过程的工艺特点和约束条件,建立了染色车间作业调度问题模型。为了提高调度系统对生产环境经常发生变化的自适应能力和全局优化能力,提出了一种基于蚂蚁智能与强化学习相结合的协商策略的多Agent动态调度方法。在该方法中,智能Agent能根据行为的历史反馈和立即反馈来选择相应的行为,也能根据算法的历史奖励来选择相应的智能调度算法,从而把一小部分工序任务的实时局部优化和大部分工序任务的全局优化结合起来。调度实例的求解结果验证了该方法的有效性。     

基于强化学习的模式驱动调度系统研究

目前,还没有一种调度规则能够根据系统环境状态的改变来进行自适应调整.对此,提出一种基于智能体的模式驱动调度系统,由智能体和仿真环境两个主要部分构成.其中,智能体将利用强化学习(Q学习算法)进行训练,以提高其动态选择合适调度规则的能力.仿真结果表明,这种模式驱动调度系统能够很好地根据系统环境状态的改变选择出对应的最优调度规则,且其调度性能优于单一调度规则,适合于系统环境不断变化的动态调度.     

基于自适应蚁群算法的动态作业车间调度问题的求解方法

针对目前大多数作业车间调度算法都是静态调度,而实际工业生产中调度任务都是动态变化的问题,提出了一种求解动态作业车间调度问题的自适应蚁群算法.算法采用事件驱动调度策略,当调度任务发生变化时根据上次调度结果重新调度,并且对每次调度采用自适应蚁群算法优化调度方案.最后,通过实例仿真验证了算法的有效性.仿真结果表明,该算法自适应性表现在算法针对"搜索结果是否陷入局部收敛"分别对各路径上的信息素进行了自适应调整,有助于算法快速跳出局部收敛,继续向全局最优解进行搜索.     

基于遗传算法的多资源作业车间智能优化调度

提出一种基于遗传算法的调度算法，用于解决作业车间的加工受到机床、操作工人和机器人等多种生产资源制约条件下的优化调度。以生产周期为目标进行的优化调度，将遗传算法和分派规则相结合，通过交叉、交异等遗传操作，得到目标的最优或次优解。最后对算法进行了仿真研究，并给出了算法运行结果，仿真结果表明该算法是可行的。     

基于深度强化学习的非置换流水车间调度问题

针对传统调度算法不能有效利用历史数据进行学习,实时性较差而难以应对复杂多变的实际生产调度环境等问题,首次提出一种基于时序差分法的深度强化学习算法.该方法综合神经网络和强化学习实时性、灵活性的优势,直接依据输入的加工状态进行行为策略选取,更贴近实际订单响应式生产制造系统的调度决策过程.通过将调度问题转化为多阶段决策问题,...     

基于SO-GP的智能车间组合调度规则挖掘

针对智能车间复杂性程度高、动态不确定性明显、对调度的实时性要求高以及车间机理模型难以描述等特点,对智能车间实时调度问题展开研究,提出一种将仿真优化与遗传规划(SO-GP)算法相结合的调度规则挖掘方法,在优化生产性能的同时满足实时调度的需求.在SO-GP方法设计中,采用二叉树的结构编码,每个GP个体代表一个组合调度规则,...     

自适应遗传算法求解模糊作业车间调度问题

研究模糊作业车间调度问题(FJSSP),用三角模糊数表示模糊加工时间,用半梯形模糊数表示模糊交货期,以最大化最小客户满意度为调度目标,建立了模糊环境下Job-shop调度问题的模型。提出了一种自适应遗传算法,该算法采用基于优先列表的编码方式,提高了编码效率;在进化过程中对种群采用精英保留策略,确保最优个体不被破坏;并对自适应交叉变异算子进行了改进,使种群最优个体参与进化。仿真结果证明所提算法在寻优能力及收敛性能方面均有所改善。     

基于双层遗传编码的柔性作业车间自适应重调度研究

针对不确定环境下的柔性作业车间调度,设计了能适应订单异动、操作延时和机器故障等3种常见扰动类型的重调度方法。通过设置可用机器集和操作时间等基本参数,制定各扰动单独或组合发生后基本参数的更新策略,建立了面向3种不确定扰动类型的自适应重调度框架;结合工序码和机器码形成了一种双层染色体编码,该编码能有效表征上述系统参数,实现自适应重调度;利用遗传算法,通过选择算子寻优及交叉变异算子的种群拓展实现全局优化。400个具有不同规模的实例证明了该重调度方法所得方案可信,计算时间可控,能有效应用于生产实际。     

基于元胞机与强化学习的多扰动车间调度算法

针对大型装备制造企业扰动多、影响大的问题,以元胞机模型为框架构建了多扰动车间生产调度模型,设计了基于设备平均利用率与工件平均流程时间双目标最优的目标函数,并通过算例验证了模型的科学性.同时,考虑到多扰动车间调度的复杂性,为寻找全局最优解,采用强化学习算法优化了元胞机的自组织演化规则,提出了针对设备故障、紧急插单与新订单干扰三种典型扰动的调度策略,最终建立了基于元胞机与强化学习算法的多扰动车间柔性调度模型.以某大型零件制造企业为例,说明了模型的具体优化过程,并通过仿真求解验证了算法与模型的有效性与可靠性.     

求解车间调度问题的改进型自适应遗传算法

针对作业车间调度问题,以最小化完工时间为目标,借鉴内分泌激素调节机制,提出了一种新颖的改进型自适应遗传算法.通过引入自适应交叉概率和变异概率因子,克服了传统的遗传算法在解决生产调度问题时存在的搜索精度低和收敛性难以控制等问题,并在Microsoft Visual C++6.0中实现了该算法.通过一个10工件、10机器作...     

集成强化学习算法的柔性作业车间调度问题研究

将柔性作业车间调度问题转化为马尔可夫决策过程,提出了集成5种深度Q网络(DQN)优化的算法D5QN。构建马尔可夫过程中,提取一组特征来表述状态,通过调度规则的组合设计出三组动作,通过直接和间接两种方式共同描述奖励。与基于规则、元启发式和其他强化学习算法的比较证明,所提方法可进一步缩短求解时间,并具有可行性和有效性。