多智能体协作方法及其应用研究

将复杂系统分解成由多个智能体构成的合作多智能体系统，建立了多智能体系统的决策模型，能动态实时地计算每一时刻智能体的决策局势，适应环境的动态变化．采用多智能体方法对半导体生产进行调度，提高了半导体生产线设备的利用率，缩短了单位工件的加工时间．     

多AGV调度系统中的两阶段动态路径规划

为缩短AGV系统的研发周期、降低研发成本,寻求能适应不同地图的通用调度策略以及增强对实际调度任务和故障的鲁棒性,提出了一种两阶段动态路径规划策略．对多AGV调度系统应用两阶段控制策略: 采用动态路径规划进行路径生成,实时对多个AGV同时规划其路径,并通过启发式算法实现路径优化．通过系统仿真证明,该策略很好地提高了AGV调度系统的柔性,是一种能适用于不同地图的通用调度策略．     

基于DCOM的动态运输调度多智能体系统研究*

针对物流运输调度中的客户需求动态性和随机性问题的解决,设计了一种基于DCOM的动态运输调度多智能体系统。在多智能体系统中,设计了包括预规划智能体、实时监控智能体、决策智能体和车辆智能体四类智能体。智能体以DCOM式组件形式实现,智能体之间的通信和协调由决策智能体集中执行。通过一个实例验证了系统算法的有效性,同时也为动态运输调度问题的解决提供了一个可参考的思路。     

AGV实时任务监控系统设计

自动导引小车(AGV)是现代物流、仪器制造和设备组装等工业应用中常用的高效运输工具。但实际使用时,现有的AGV系统无法给予现场工作人员直观、有效的状态信息和任务信息,给运行现场的实时监控与故障维护带来诸多不便。针对该问题,设计了一种基于Qt程序的AGV智能小车实时任务监控系统。利用AGV系统现有调度网络,可实时访问并接收AGV的调度任务信息和状态信息,如调度指令、车身状态数据、实时位置、故障状态与类型等。完成数据获取和传输后,对相关数据进行数据解码和分析处理,并于终端设备实时显示小车工作状况。若发生设备故障等异常情况,系统将自动向指定接收设备发送相关故障信息,并将相关故障数据保存于本地数据库以形成历史记录,以便设备检修与维护。试验和实际使用表明,该系统能有效实现对AGV实时运行状况的监控显示,具有较高的工程应用价值。     

基于时间窗的AGV动态避碰路径规划方法

为了解决多AGV在动态不稳环境下的无碰撞路径规划和系统效率提升的问题,提出了基于时间窗的AGV无碰撞路径规划方法。首先建立了多AGV的避碰模型,并结合时间窗模型,将多AGV的无碰撞路径规划分为预先规划和实时规划两阶段,预先规划阶段进行多AGV无冲突时间窗的计算和最大化系统中AGV的流通量,实时规划阶段通过改变AGV在避碰模型上的占用优先级和局部重规划的方法进行动态避碰。最后以某智能仓储为应用案例进行仿真实验,证明了该算法能有效避免多AGV的碰撞,提高AGV的流通量,同时在动态环境下具有较好的鲁棒性和柔性。     

多智能体车间调度系统研究

现在制造业所面临的动态需求使得其必须具有更加灵活的应变机制，这使得车间调度问题变得越来越复杂。本文采取多智能体系统技术（MAS）设计了一个包含四个智能体（agent）的多智能体车间调度系统，分别为车间调度智能体、任务分配智能体、车间资源智能体以及拍卖智能体。通过这四个智能体的通信、交互和合作，系统可以给出一个满足当前制造需求的调度最优结果。     

多智能体系统一致性的递阶结构设计

针对多智能体系统的一致性协作,研究了以提高群体一致性收敛速度为目标的多层递阶拓扑结构设计问题.首先讨论了满足物理拓扑约束并具有更优性能的递阶拓扑结构存在的可能性.在此基础上,根据一致性问题的收敛时间性能指标,将递阶结构设计转化为一个与多层递阶系统中所有子图拉普拉斯矩阵特征值相关的优化问题.通过将连通图转换为若干点导出子图和它们之间的关联图,提出一个该优化问题的双层拓扑结构设计算法,并基于该算法发展了满足物理拓扑结构约束的多层递阶结构设计算法.仿真算例表明由此设计的递阶协作过程可有效加快多智能体群体一致性的收敛速度.     

基于深度强化学习求解作业车间机器与 AGV联合调度问题

针对作业车间中自动引导运输车(automated guided vehicle, AGV)与机器联合调度问题,以完工时间最小化为目标,提出一种基于卷积神经网络和深度强化学习的集成算法框架.首先,对含AGV的作业车间调度析取图进行分析,将问题转化为一个序列决策问题,并将其表述为马尔可夫决策过程.接着,针对问题的求解特点,设计一种基于析取图的空间状态与5个直接状态特征;在动作空间的设置上,设计包含工序选择和AGV指派的二维动作空间;根据作业车间中加工时间与有效运输时间为定值这一特点,构造奖励函数来引导智能体进行学习.最后,设计针对二维动作空间的2D-PPO算法进行训练和学习,以快速响应AGV与机器的联合调度决策.通过实例验证,基于2D-PPO算法的调度算法具有较好的学习性能和可扩展性效果.     

基于强化学习的多智能体动态协作规则提取

在分布式的动态环境下,多智能体系统的协作是建立在规则集合上的动态过程,因此需要建立动态的协作规则.多智能体强化学习的平稳状态本质上即是智能体之间的协作规则,据此提出一种基于强化学习的协作规则提取的方法,并由此构成智能体决策的新结构,最后用实例进行分析和证明了所提出的方法与单纯的强化学习方法相比较,具有如下优点:1)提取的规则可以加快多智能体的协作决策过程;2)规则的动态变化可以适应环境的动态变化;3)规则可以避免多次重复的学习过程.     

一种实时监测与故障诊断专家系统方案

本文提出了一种分布式实时故障检测诊断专家系统,该系统采用层次递阶结构,将基于知识诊断技术与自动检测技术有效地结合起来,并应用动态权衡评估方法实现了智能的数据管理,为航天器故障诊断技术的发展提供了一个新的思路。     

基于增强学习的网格化出租车调度方法

高度信息化的网格化城市管理可以为出租车运营优化提供新的实时动态乘客需求信息和车辆位置信息。以此为契机,针对城市出租车空驶率高和司乘匹配率低的问题,提出了一种网格化的出租车实时动态调度的增强学习控制方法。通过为出租车提供空驶巡游的动态最佳路线,新的控制方法旨在提高出租车的服务效率,并降低乘客的等待时间。首先,以城市单元网格为基础,明确出租车调度的关键问题;其次,以空驶路线的动态调整为控制手段,建立调度的增强学习模型;最后,给出求解模型的Q学习算法,并通过算例验证新调度方法的有效性。研究表明新方法可以有效提高司乘匹配率、增加总的出租车运营收入、减少乘客平均等车时间和减少总的出租车空驶时间。     

考虑能耗节约的集装箱码头双小车岸桥与AGV联合配置及调度优化

合理调度集装箱码头的装卸设备以减少生产过程中的能耗, 对实现其低碳绿色化发展具有重要意义. 针对集装箱码头向自动化发展过程中的双小车岸桥与AGV (Automated guided vehicle)联合配置及调度问题, 考虑AGV续航时间、双小车岸桥中转平台容量和堆场缓冲支架容量约束, 以岸桥的能耗最小为第一阶段模型的优化目标, 以AGV运输过程的能耗最小为第二阶段目标建立两阶段优化模型; 设计枚举法求解第一阶段模型, 改进遗传算法求解第二阶段优化模型. 以洋山四期自动化集装箱码头为例进行实验分析, 针对不同船舶在港总装卸时间和AGV配置原则进行实验, 验证了模型和算法的有效性, 结果表明以最小化能耗为目标的双小车岸桥与AGV联合调度可在岸桥主小车不延误的前提下, 显著减少AGV的配置数量.     

基于深度强化学习的AGV智能导航系统设计

针对现有的AGV在大规模未知复杂环境中进行自主导航配送的问题,基于深度强化学习完成了AGV智能导航系统设计。首先,结合传感器对周围的障碍物进行探测感知,利用DDPG（deep deterministic policy gradient）算法实现AGV小车从环境的感知输入到动作的直接输出控制,帮助AGV完成自主导航和避障任务。此外,针对训练样本易受环境干扰的问题,提出了一种新颖的DL（disturb learning）- DDPG算法,通过对学习样本中相关数据进行高斯噪声预处理,帮助智能体适应噪声状态下的训练环境,提升了AGV在真实环境中的鲁棒性。仿真实验表明,经改进后的DL-DDPG 算法能够为AGV导航系统提供更高效的在线决策能力,使AGV小车完成自主导航与智能控制。     

基于排队论的自动化立体仓库AGV调度效率分析

为了提高自动化立体仓库系统AGV的输送效率，在对整体系统进行介绍后，运用排队论理论对自动化立体仓库AGV的调度系统进行建模，得到M／G／1模型，在对该模型理论分析后，就该模型的调度效率进行了分析。     

基于深度强化学习的深圳市急救车调度算法

在院前急救领域中,急救反应时间是指患者拨打急救电话后,急救车到达现场的时间。传统急救车调度算法未全面考虑急救环境的动态性和复杂性因素,导致模型优化的急救反应时间与实际情况存在偏差。将急救车调度问题建模成马尔科夫决策过程,构建基于深度强化学习的急救车调度算法。以多层感知机作为评分网络结构,通过将急救站的动态信息映射为各个急救站的得分,确定急救车被调往各急救站的概率。同时,结合急救车调度的动态决策特点,利用强化学习中演员-评论家框架下的近端策略优化算法改进评分网络参数。在深圳市急救中心真实急救数据集上的实验结果表明,相比Fixed、DSM、MEXCLP等算法,该算法在每个急救事件中的急救反应时间平均缩短约80 s,并且在10 min内急救车的平均到达比例为36.5%,能够实时地将急救车调度到合适的急救站。     

Distributed Reinforcement Learning Control for Batch Sequencing and Sizing in Just-In-Time Manufacturing Systems

This paper presents an approach that is suitable for Just-In-Time (JIT) production for multi-objective scheduling problem in dynamically changing shop floor environment. The proposed distributed learning and control (DLC) approach integrates part-driven distributed arrival time control (DATC) and machine-driven distributed reinforcement learning based control. With DATC, part controllers adjust their associated parts' arrival time to minimize due-date deviation. Within the restricted pattern of arrivals, machine controllers are concurrently searching for optimal dispatching policies. The machine control problem is modeled as Semi Markov Decision Process (SMDP) and solved using Q-learning. The DLC algorithms are evaluated using simulation for two types of manufacturing systems: family scheduling and dynamic batch sizing. Results show that DLC algorithms achieve significant performance improvement over usual dispatching rules in complex real-time shop floor control problems for JIT production.     

融合多目标与速度控制的AGV全局路径规划

为提升AGV工作效率并改善其躲避障碍物的执行能力,提出在静态与动态环境下的全局路径规划方法——多目标与速度控制法.在静态环境下,以路径最短与平滑度最大建立路径规划的多目标数学模型,采用所提出的改进算法求解并筛选,得到AGV的行驶路径;在动态环境中,根据障碍物的运动情况,提出感应转向算法,使AGV合理躲避障碍物.结合两种环境下的转向特点,设定AGV速度控制规则,应用于静态与动态环境下的转向过程,确保AGV能够行驶得更加平稳与快速.仿真实验表明,所提出方法能够确保AGV在两种环境下自由躲避和灵活转向,提升行驶速度,提高工作效率;与常规算法对比,改进算法的求解效果在时间和精度上都显著提高.     

Network model and effective evolutionary approach for AGV dispatching in manufacturing system

Automated guided vehicles (AGVs), are the state-of-the-art, and are often used to facilitate automatic storage and retrieval systems (AS/RS). In this paper, we focus on the dispatching of AGVs in a flexible manufacturing system (FMS). A FMS environment requires a flexible and adaptable material handling system. We model an AGV system by using network structure. This network model of an AGV dispatching has simplexes decision variables with considering most AGV problem’s constraints, for example capacity of AGVs, precedence constraints among the processes, deadlock control. Furthermore, these problems can be solved by using a lot of heuristic algorithms as network optimization problems. We are also proposed an effective evolutionary approach for solving a kind of AGV’s problems in which minimizing time required to complete all jobs (i.e. makespan) and minimizing the number of AGVs, simultaneously. For applying an evolutionary approach for this multicriteria case of AGV problem, priority-based encoding method and Interactive Adaptive-weight GA (i-awGA) were proposed. Numerical analyses for case study show the effectiveness of proposed approach. Received: June 2005 / Accepted: December 2005     

A simulation study of automated guided vehicle dispatching

This paper reports a simulation study to investigate the relative performance of five automated guided vehicle (AGV) dispatching rules. The study found that distance-based rules are most effective while AGV attribute-based rules are least effective. Both AGV speed and the number of AGVs in use are factors critically affecting the performance of a flexible manufacturing system. This paper demonstrates that computer simulation is a viable tool for assisting FMS design and evaluation.