基于多智能体强化学习的多AGV路径规划方法

AGV(automated guided vehicle)路径规划问题已成为货物运输、快递分拣等领域中一项关键技术问题。由于在此类场景中需要较多的AGV合作完成,传统的规划模型难以协调多AGV之间的相互作用,采用分而治之的思想或许能获得系统的最优性能。基于此,该文提出一种最大回报频率的多智能体独立强化学习MRF(maximum reward frequency)Q-learning算法,对任务调度和路径规划同时进行优化。在学习阶段AGV不需要知道其他AGV的动作,减轻了联合动作引起的维数灾问题。采用Boltzmann与ε-greedy结合策略,避免收敛到较差路径,另外算法提出采用获得全局最大累积回报的频率作用于Q值更新公式,最大化多AGV的全局累积回报。仿真实验表明,该算法能够收敛到最优解,以最短的时间步长完成路径规划任务。     

基于时空A*算法的多AGV无冲突路径规划

物流中心作为快递转运的重要枢纽,其分拣效率在一定程度上影响着快递的配送时间.多台自动导引车(automatic guided vehicle,AGV)协同分拣能够大幅提高作业效率.本文研究了多AGV协同作业场景中的无冲突路径规划问题,在栅格地图建模环境的基础上,提出了基于冲突搜索的两层路径规划架构.冲突搜索与约束添加均...     

仓储式多AGV系统的路径规划研究及仿真

对于自动导引车（Automated Guided Vehicle,AGV）的单机路径规划问题,已存在很多静态算法可以有效求解。但由于AGV间抢占系统资源的相互影响和制约,多AGV的协同作业会出现死锁、碰撞冲突等问题,静态路径规划算法无法满足实时动态作业的系统需求。智能仓储系统中,多AGV动态路径规划的核心问题不再仅是单AGV快速求解最优路径,而在于多AGV的冲突避免或解决,达到整体协调最优。拟采用两种思路解决上诉问题：一种方案是对最有效的静态算法进行改进,并引入动态机制和冲突解决策略以满足作业需求;另一种方案提出一种具备多步前瞻性的主动避障算法,优化路径并提前避开交通拥堵路段,减少冲突可能性和重新寻路代价。实验结果表明两种算法都具有良好的鲁棒性,可有效解决冲突,且后者可持续扩展AGV数量,具有更高的系统效率。     

基于视觉引导多AGV系统的改进A*路径规划算法

研究基于视觉引导自动引导车(AGV)的改进A*路径规划算法.首先,设计一种包含导航、定位和任务信息的图形编码标志方法,AGV通过识别位于车身前方网格型路径中有序排布的编码标志进行快速定位和下一位置预判,为多AGV规划奠定基础;其次,根据网格型路径构成的动态随机网络,提出一种改进A*算法,将AGV在运动时产生的动态时间耗费作为参考指标,以实现多AGV在路径网络中的路径规划和冲突避让策略,提高固定路网资源的利用效率;最后,对多AGV在网格型路径中协同工作的场景进行仿真,实验结果表明,所提出的改进算法可以有效应用于多AGV系统,并且提升整体系统的工作效率.     

基于动态平衡策略的自动化码头多AGV路径优化算法研究

对自动化集装箱码头AGV(automatic guided vehicle)自动运输系统路径规划算法和港口布局进行深入研究之后,针对岸桥与堆场之间路径规划中可能出现的冲突以及任务分配不均等问题,提出了基于动态平衡策略的自动化码头多AGV路径优化算法。通过对Dijkstra算法进行改进,在考虑路径距离的基础上,同时引入该路径上预计通过的AGV数量,实现了路径分配的动态平衡;提出了改进速度控制策略和重新规划路径控制策略,有效减少了冲突次数,且减少了道路堵塞率。建立了基于动态平衡策略与基于MAS(multi-agent system, MAS)的控制方式对比实验,结果表明该算法能有效求解500个任务以上的大规模任务分配问题,并且显著降低平均堵塞率0.000 8～0.005 5。此算法亦可应用于其他类型的码头布局中,进一步提高了码头水平运输效率。     

Dynamic Scheduling and Path Planning of Automated Guided Vehicles in Automatic Container Terminal

The uninterrupted operation of the quay crane (QC) ensures that the large container ship can depart port within laytime, which effectively reduces the handling cost for the container terminal and ship owners. The QC waiting caused by automated guided vehicles (AGVs) delay in the uncertain environment can be alleviated by dynamic scheduling optimization. A dynamic scheduling process is introduced in this paper to solve the AGV scheduling and path planning problems, in which the scheduling scheme determines the starting and ending nodes of paths, and the choice of paths between nodes affects the scheduling of subsequent AGVs. This work proposes a two-stage mixed integer optimization model to minimize the transportation cost of AGVs under the constraint of laytime. A dynamic optimization algorithm, including the improved rule-based heuristic algorithm and the integration of the Dijkstra algorithm and the Q-Learning algorithm, is designed to solve the optimal AGV scheduling and path schemes. A new conflict avoidance strategy based on graph theory is also proposed to reduce the probability of path conflicts between AGVs. Numerical experiments are conducted to demonstrate the effectiveness of the proposed model and algorithm over existing methods.      

Optimal coordination in logistics warehousing with sensing and communication limits: A distributed differential game approach

Optimal coordination is essential for multi-automated guided vehicle (AGV) systems, particularly in logistic transportation cases, where the system task completion time needs to be minimized, with the guarantee of safe operation. This is because an optimal coordination strategy (OCS), if achieved, can significantly improve the transportation system's efficiency. In this paper, to deal with the dynamic interaction process among AGVs, and sensing and communication range limits, we formulate the optimal coordination problem into a distributed differential game (DDG) framework, where individual AGVs only use information communicated from nearby AGVs to design their optimal operation trajectories. This helps to significantly reduce the computational and communication requirements for the multi-AGV logistic transportation systems. Targeting operation safety and working efficiency requirements, we incorporate collision avoidance and trajectory optimization objectives into the proposed framework. It is shown that local OCS, obtained by solving the DDG problem for each AGV, will converge to the global Nash equilibrium, which represents the most efficient operating condition for the entire logistic transportation system. Finally, the efficacy of the proposed method is demonstrated, based on simulations and experiments, benchmarked with existing logistic warehousing planning and differential game methods. Compared with conventional methods, the proposed framework successfully helps reduce the task completion time by up to 16%.     

The capacitated multi-AGV scheduling problem with conflicting products: Model and a decentralized multi-agent approach

Automated guided vehicles (AGVs) are a key technology to facilitate flexible production systems in the context of Industry 4.0. This paper investigates an optimization model and a solution using a decentralized multi-agent approach for a new capacitated multi-AGV scheduling problem with conflicting products (CMASPCP) to take full advantage of AGVs. The novelty of the problem and our model lies in the introduction of AGV capacity constraints and constraints arising from conflicting products, i.e. products that cannot be transported together. As the new I4.0 paradigm tends towards decentralized control, we also present a decentralized multi-agent approach in which AGVs autonomously coordinate to solve the task. The performance of the proposed decentralized approach is compared to a mixed-integer linear programming model on a set of 110 problem instances with different sizes and degrees of complexity. The obtained results show that the proposed decentralized multi-agent approach is effective and competitive in terms of the solution quality and computational time.     

紧致密集Auto Store系统AGV路径规划与避碰策略

针对新兴紧致密集仓储系统Auto Store具有短途挪库作业多、顶层AGV冲突多、货架结构性角落多等特点,提出一种离线-在线两阶段AGV优化调度方法。离线路径规划阶段,给出改进双层A*算法,在拓扑图建模划分搜索区域基础上,上层通过考虑冲突的启发式函数和考虑转弯的代价函数寻求可行区域,下层在此区域基础上搜索最优路径。在线AGV运行阶段,针对两AGV冲突,扩充了回退策略和路线重规划策略;针对多AGV冲突,提出一种基于贪心算法的区域避碰决策策略,以控制问题规模。最后利用Flexsim仿真进行了验证,结果表明,较于标准A*算法,改进A*算法能在保证搜索效率的同时获得冲突较少的初始路径方案;较于优先级策略,区域避碰策略能减少AGV等待时间;将二者相结合,能缩短整体作业完成时间,且随着AGV数量和作业任务增多,优势越明显。     

基于AGVs路径规划的物流智能调度系统设计与实现

为了解决现有物流调度系统低效缓慢、容错率低的问题,设计了基于自动导引运输车(Automated Guided Vechicle, AGV)和路径规划优化算法的物流智能调度系统。系统搭配了AGV的物流调度硬件,又结合了路径规划理论,开发了基于Petri网络的智能路径规划算法。通过算法性能对比得知,路径规划算法设计了最优调度路径,确保了较高的准确率和工作效率。系统测试结果显示,基于AGVs路径规划的物流智能调度系统能够在各种物流环境或者库房基地完成调度任务,很好地解决了物流企业在忙碌期的繁杂调度问题。基于AGVs路径规划的物流智能调度系统提高了物流调度的自动化程度,保证了物流调度和道路运输的效率,有效推动了商业模式和市场规范的发展。     

自动化集装箱码头AGV配置与调度耦合问题研究

针对自动导引小车（Automated Guided Vehicle，AGV）数量偏多导致的自动化码头水平运输区域拥堵的情况，采用多学科变量耦合优化设计的方法对自动化码头AGV调度与AGV配置问题进行研究。先以最小化岸边等待时间为目标建立AGV调度模型，再以最小化AGV数量为目标建立AGV配置模型。并将完工时刻和AGV数量作为公用设计变量连接两个模型，建立了协调调度耦合模型。设计算例，利用遗传算法（Genetic Algorithm，GA）收敛速度快的特点对该耦合模型进行求解，经反复迭代计算后得出最优AGV数量与AGV调度方案。最后，扩大算例规模，设计9组实验，比较了GA、粒子群算法（Particle Swarm Optimization，PSO）和蚁群算法（Ant Colony Optimization，ACO）的求解结果，结果表明随着算例规模的增大，GA的求解能力更为突出，从而验证了设计的算法的可行性。     

干扰约束下考虑分组作业面的岸桥AGV联合调度

为解决自动化码头海侧多阶段设备作业的协调问题,加快集装箱在码头内部的周转过程。考虑干扰约束下分组作业面的的岸桥自动导引小车（AGV）联合调度问题。以岸桥、AGV完工时间和AGV等待时间加权总和最小为目标,考虑岸桥实际操作中的干扰约束与AGV堵塞等待等情况,建立岸桥与AGV联合调度优化模型。提出岸桥动态调度与AGV分组作业面调度模式,设计不同规模的算例,并采用遗传算法（GA）进行求解,将计算结果与传统调度模式进行对比。结果表明,该算法能有效提高岸桥与AGV作业效率,降低AGV的等待时间与堵塞次数,为码头实际作业提供依据。     

Network model and effective evolutionary approach for AGV dispatching in manufacturing system

Automated guided vehicles (AGVs), are the state-of-the-art, and are often used to facilitate automatic storage and retrieval systems (AS/RS). In this paper, we focus on the dispatching of AGVs in a flexible manufacturing system (FMS). A FMS environment requires a flexible and adaptable material handling system. We model an AGV system by using network structure. This network model of an AGV dispatching has simplexes decision variables with considering most AGV problem’s constraints, for example capacity of AGVs, precedence constraints among the processes, deadlock control. Furthermore, these problems can be solved by using a lot of heuristic algorithms as network optimization problems. We are also proposed an effective evolutionary approach for solving a kind of AGV’s problems in which minimizing time required to complete all jobs (i.e. makespan) and minimizing the number of AGVs, simultaneously. For applying an evolutionary approach for this multicriteria case of AGV problem, priority-based encoding method and Interactive Adaptive-weight GA (i-awGA) were proposed. Numerical analyses for case study show the effectiveness of proposed approach. Received: June 2005 / Accepted: December 2005     

多AGV和机器集成的多目标柔性作业车间调度研究

为解决智能制造环境中具有多时间和多AGV约束的柔性作业车间调度问题,构建了以最小化最大完工时间、最小化总延期、最小化设备总负荷为目标的机器/AGV双约束多目标调度模型,模型中综合考虑加工时间、工件到达时间、交货期等多时间因素,进行了多AGV和机器集成调度。为求解该模型,设计了新的AGV调度规则和改进的NSGA-算法,算法中提出了基于工序的扩展染色体编码方式和基于AGV分配的贪婪式解码策略,同时设计了不同参数控制的多种群二元锦标赛选择和分段交叉变异策略以及基于Pareto级的去重精英保留策略,以促进个体协同优化搜索。通过实例实验,分析了不同AGV数量任务分配方案下的模型有效性,对4个案例的仿真测试和同类算法比较解也验证了改进NSGA-算法求解该模型的有效性。     

改进A*算法在路径规划中的应用

针对大规模多AGV路径规划的应用场景,为解决多个AGV在路径规划时因抢占节点,导致该节点负载过高,造成局部拥塞,致使整个系统的运行效率降低的问题。提出了一种结合节点负载情况的改进A*算法。各个节点的负载从初始值开始,根据相应的动态负载计算公式,动态更新该节点的负载。在A*算法的启发函数中引入负载,使节点负载影响AGV路径选择,避开高负载节点。通过相应的仿真模拟实验,证明了该算法能够有效地均衡各节点的负载,提高系统运行效率。     

基于CSS无线定位的AGV交通管理策略

AGV（Automated Guided Vehicle,自动导引车）隶属于轮式移动机器人范畴,是一种现代化物流输送设备,随着物流行业自动化程度的提高,其应用越来越广泛.一个由多台AGV组成的系统中,不可避免的会出现多辆AGV之间的冲突,如何解决各种类型的冲突,以实现系统连续、高效的运转,具有十分重要的意义.在静态路径规划的基础上,采用一种面向AGV系统的定位技术,对系统中车辆进行实时定位,依此对AGV运行过程中产生的冲突进行及时的判断和处理,是一种可行的策略.     

多搬运任务下考虑碰撞避免的AGV路径规划

为提升自动导引小车在“货到人”仓库中的运行效率,针对AGV-托盘任务分配、单AGV路径规划及多AGV碰撞避免三个子问题的研究,以最小化AGV行驶距离为目标构建数学模型。首先,根据AGV与托盘的双边匹配问题特点设计改进的匈牙利算法求解匹配结果。其次,提出一种二维编码机制的改进遗传算法（improved genetic algorithm,IGA）,采用一种局部搜索算子代替原变异操作,在提高算法搜索性能的基础上使其成功应用于单AGV路径规划问题。然后,利用时空数据设计一种三维网格冲突检测方法,并根据商品SKU数量设定AGV的优先级以降低多AGV执行任务时的碰撞概率。最后,在32 m×22 m的仓库中针对不考虑碰撞与考虑碰撞两种情形进行AGV路径优化分析,给出合理的行驶距离和碰撞次数。IGA与标准遗传算法的对比结果显示,IGA能够在合理的时间内获得更高质量的解,行驶距离减少约1.74%,算法求解时间缩短约37.07%。此外,针对AGV数量灵敏度分析,在不同目标托盘规模下测试不同数量的AGV对行驶距离和碰撞次数的影响,发现14~16台AGV数量是最佳配置,验证了模型的可行性和算法的有效性。     

基于改进CBS算法的自动化码头多AGV无冲突路径规划

针对自动化集装箱码头上自动引导车（automated guided vehicle,AGV）数量增加导致冲突更频繁。提出一种改进的基于冲突的搜索（conflict based search,CBS）算法。底层采用基于曼哈顿距离的A*算法,上层结合二叉树原理建立冲突树对AGV之间的冲突进行规避。以最小化AGV在岸桥和堆场之间的总路径长度为目标,使用栅格法建立AGV路网模型。考虑AGV之间的点冲突与边冲突,将自动化码头多AGV无冲突路径规划问题规约为多智能体寻径问题。实验结果表明,所提出的算法在保证堵塞率为0%的前提下,缩短总路径长度并提高运算速度,验证算法的有效性。     

自动导引车与机器集成调度问题研究现状

随着自动导引车（automated guided vehicles,AGV）的广泛应用,柔性制造车间中机器设备与AGV之间的协同配合日益受到重视。AGV与机器的集成调度主要研究机器分配、工序排序、搬运任务的AGV分配以及AGV路径规划。该问题是极为复杂的组合优化问题,对其研究具有重要的学术意义和应用价值。围绕问题特征,从模型与算法两个方面,对国内外最新的研究文献进行了梳理。对现有模型中的约束条件和优化目标进行了详细分类,从遗传算法、混合优化算法、仿真优化算法等五个方面综述了现有算法研究中的代表性成果。在此基础上,指出了现有研究中的不足,提出了未来的研究内容和方向。     

多帧时间窗轮换算法规划仓储多AGV小车路径

针对在仓储环境中多AGV小车的路径规划问题,提出一种基于多帧时间窗轮换算法。所提算法运用A*寻路算法进行全局路径规划,得到多AGV小车的初始路径离散点的集合。通过在仓储环境岔路口设置多帧时间窗切换阈值,将小车的全局路径点集离散成多帧小窗体,在每个小窗体建立凸集特征最优目标障碍函数,引入小车的运动学约束和防碰撞最优超平面约束,将小车的各种约束参数化为多项式B样条曲线形式,采用牛顿迭代融合回溯直线法更新步长,解决下一帧时间窗多项式B样条曲线控制点的更新问题。最后通过实验测试表明,在满足所有约束的情况下实现多AGV小车的路径规划。