深度强化学习求解车辆路径问题的研究综述

车辆路径问题（VRP）是组合优化问题中经典的NP难问题,广泛应用于交通、物流等领域,随着问题规模和动态因素的增多,传统算法很难快速、智能地求解复杂的VRP问题。近年来随着人工智能技术的发展,尤其是深度强化学习（DRL）在AlphaGo中的成功应用,为路径问题求解提供了全新思路。鉴于此,针对近年来利用DRL求解VRP及其变体问题的模型进行文献综述。回顾了DRL求解VRP的相关思路,并梳理基于DRL求解VRP问题的关键步骤,对基于指针网络、图神经网络、Transformer和混合模型的四类求解方法分类总结,同时对目前基于DRL求解VRP及其变体问题的模型性能进行对比分析,总结了基于DRL求解VRP问题时遇到的挑战以及未来的研究方向。     

多车场满载车辆路径优化算法

针对多车场满载车辆路径问题(MDVRPFL),结合节约法提出了一种依次对车场、配送中心、用户进行循环调整直到最优的迭代算法.该算法具有使总费用随迭代次数逐渐降低的特点,其运算结果能同时得到最优车辆分配方案和车辆行驶路径.最后用该算法对不同规模的算例进行试验.试验结果表明,该算法对多车场车辆路径问题有效适用.     

多车场车辆路径问题的遗传算法

给出了多车场车辆路径问题(MDVRP)的数学模型,提出一种基于客户的编码表示方式,可以表示出各车场出动的车辆及路径,能够有效地实现MDVRP的优化,并用计算实例进行了验证。     

多车场多车型车辆路径问题的改进遗传算法

在给出有时间窗约束的多车场多车型车辆路径问题的基于直观描述的数学模型基础上,引入一种新的编码方式,并将RC交叉算子进行修正,构造出一种解决该问题的模拟退火遗传算法,实验证明能够有效地解决优化问题。     

基于深度强化学习的电力物资配送多目标路径优化

针对现有电力物资车辆路径问题（EVRP）优化时考虑目标函数较为单一、约束不够全面,并且传统求解算法效率不高的问题,提出一种基于深度强化学习（DRL）的电力物资配送多目标路径优化模型和求解算法。首先,充分考虑了电力物资配送区域的加油站分布情况、物资运输车辆的油耗等约束,建立了以电力物资配送路径总长度最短、成本最低、物资需求点满意度最高为目标的多目标电力物资配送模型;其次,设计了一种基于DRL的电力物资配送路径优化算法DRL-EVRP求解所提模型。DRL-EVRP使用改进的指针网络（Ptr-Net）和Q-学习（Q-learning）算法结合的深度Q-网络（DQN）来将累积增量路径长度的负值与满意度之和作为奖励函数。所提算法在进行训练学习后,可直接用于电力物资配送路径规划。仿真实验结果表明,DRL-EVRP求解得到的电力物资配送路径总长度相较于扩展C-W(ECW)节约算法、模拟退火（SA）算法更短,且运算时间在可接受范围内,因此所提算法能更加高效、快速地进行电力物资配送路径优化。     

泰森多边形的离散蝙蝠算法求解多车场车辆路径问题

本文提出一种泰森多边形的离散蝙蝠算法求解多车场车辆路径问题(multi-depot vehicle routing problem,MDVRP).所提出算法以离散蝙蝠算法为核心,融入了一种基于多车场多车辆问题的编解码策略.所提出算法还使用基于泰森多边形的初始化策略加快算法的前期收敛速度,采用基于向量比较机制的适应度函数来控制算法收敛的方向,引入基于近邻策略和优先配送策略的局部搜索算法来提高算法的寻优能力.实验结果表明:在合理的时间耗费内,所提出的算法能有效地求解MDVRP,尤其是带配送距离约束的MDVRP;相对于对比算法,所提出的算法表现出较强的寻优能力和稳定性.     

考虑时变速度的多车场绿色车辆路径模型及优化算法

针对多车场绿色车辆路径问题,根据顾客的坐标位置,采用K-means聚类方法将顾客分配给不同的车场;考虑时变速度和实时载重对车辆油耗和碳排放的影响,确定车辆油耗和碳排放的度量函数;在此基础上,以车辆油耗成本、碳排放成本、车辆使用成本、驾驶员工资以及时间窗惩罚成本之和最小化作为优化目标,构建多车场绿色车辆路径模型,并根据模...     

多车场多车型装卸混合车辆路径问题研究

为满足电子商务客户多样化和个性化的需求,建立了多车场、多车型的装卸混合车辆调度模型,并使用混合遗传启发式算法求解．首先采用混合编码,使问题变得更简洁;利用个体数量控制选择策略,以保证群体的多样性;引入２-交换变异策略,并结合爬山算法,加强染色体的局部搜索能力．然后,对混合遗传算法求得的精英种群进行禁忌搜索,提高了搜索效率．最后,通过实例计算表明了上述模型和算法的有效性．     

基于深度强化学习的组合优化研究进展

组合优化问题广泛存在于国防、交通、工业、生活等各个领域, 几十年来, 传统运筹优化方法是解决组合优化问题的主要手段, 但随着实际应用中问题规模的不断扩大、求解实时性的要求越来越高, 传统运筹优化算法面临着很大的计算压力, 很难实现组合优化问题的在线求解. 近年来随着深度学习技术的迅猛发展, 深度强化学习在围棋、机器人等领域的瞩目成果显示了其强大的学习能力与序贯决策能力. 鉴于此, 近年来涌现出了多个利用深度强化学习方法解决组合优化问题的新方法, 具有求解速度快、模型泛化能力强的优势, 为组合优化问题的求解提供了一种全新的思路. 因此本文总结回顾近些年利用深度强化学习方法解决组合优化问题的相关理论方法与应用研究, 对其基本原理、相关方法、应用研究进行总结和综述, 并指出未来该方向亟待解决的若干问题.     

基于残差图卷积网络与深度强化学习的 需求可拆分车辆路径优化算法

需求可拆分车辆路径问题(SDVRP)出现在广泛的物流配送场景中, 具有重要的研究价值. 高效的SDVRP优化算法能够提高车辆装载率, 降低物流配送成本. 为提高SDVRP的求解效率, 本文提出基于残差图卷积神经网络(RGCN)和多头注意力的深度强化学习算法(REINFORCE), 逐步构建可行解序列. 首先, 从强化学习的角度出发, 文章对SDVRP建立马尔科夫决策模型, 定义序列预测过程的环境状态、智能体动作空间、状态转移函数等. 其次, 建立编–解码模型求解节点选择策略, 其中使用残差图卷积神经网络的编码器重构配送中心和客户节点的特征, 将配送网络中节点间的连接关系与节点特征相互关联, 获得差异性显著的特征嵌入向量; 利用注意力网络解码器在重构后的嵌入向量基础上融合动态变化的车辆剩余装载量和客户需求等信息执行解码任务, 实现每次迭代为单个案例提供多个可行解. 最后, 提出基于平均基准值的REINFORCE算法更新模型参数, 通过求解不同问题规模测试集、标准SDVRP数据集, 以及京东物流实际配送任务, 验证了所提算法的有效性.     

应急物流中的累计时间式多车场车辆路径问题

为提升应急救援的快速性和公平性,以最小化所有受灾点的累计等待时间为目标建立累计时间式多车场车辆路径问题(Cum-MDVRP)的模型。由于该问题具有NP-hard性质,设计了一种多起始点变邻域下降法对其进行快速求解。每次迭代中,多起始点方法通过改进的Split算法结合可行性修复程序生成随机的初始可行解,然后由变邻域下降法对其进一步改进。扩展的标准算例的测试结果验证了所提出模型和求解算法的有效性。     

深度强化学习解决动态旅行商问题

针对未设计启发式算法的组合优化问题设计统一的解决方案已成为机器学习领域的一个研究热点,目前成熟的技术主要针对静态的组合优化问题,但是对于加入动态变化的组合优化问题还没有得到充分的解决。为了解决以上问题,提出一个将多头注意力机制与分层强化学习结合来求解动态图上的旅行商问题的轻量级模型Dy4TSP。首先,用以多头注意力机制为基础的预测网络处理来自图卷积神经网络的节点表征向量输入;然后,借助分布式强化学习算法训练来快速地预估图中每个节点被输出作为最优解的可能性,使得模型在不同的可能性中全面探索问题的最优解决方案空间;最后,训练后的模型将实时地生成满足具体目标奖励函数的动作决策序列。该模型在3个组合优问题上进行了评估,实验结果表明,该模型在经典旅行商系列问题中解的质量比开源求解器LKH3高0.15~0.37个单位,明显优于带有边嵌入的图注意网络（EGATE）等最新的算法;并且在其他的动态旅行商问题中可以达到0.1~1.05的最优路径差距,结果也略胜一筹。     

带时间窗的多车场车辆路径优化的粒子群算法

带时间窗的多车场车辆路径问题在基本车辆路径问题的基础上增加了“多车场”与“时间窗”两个约束条件,是一个典型的NP难解问题。将粒子群算法应用于带时间窗的多车场车辆路径优化问题,构造了一种适用于求解车辆路径问题的粒子编码方法,建立了相应的数学模型,在此基础上设计了相应的算法。算例通过和遗传算法、蚁群算法进行比较,证明了其搜索速度和寻优能力的优越性。     

策略梯度的超启发算法求解带容量约束车辆路径问题

有容量车辆路径问题是组合优化问题中比较热门的问题, 它属于经典的NP-hard问题并且时间复杂度高.本文提出了一种基于策略梯度的超启发算法, 将强化学习中的确定性策略梯度算法引入到超启发算法的高层策略中的底层算法选择策略, 确定性策略梯度算法采用Actor-Critic框架, 另外为了能够在后续计算和神经网络参数更新中引用历史经验数据, 在确定性策略梯度算法中设计了经验池用于存储状态转移数据. 在超启发算法解的接受准则方面, 文中通过实验对比了3种接受准则的效果, 最终选择了自适应接受准则作为高层策略中解的接受准则. 通过对有容量车辆路径问题标准算例的计算, 并将求解结果与其他算法对比, 验证了所提算法在该问题求解上的有效性和稳定性.     

Efficient stochastic hybrid heuristics for the multi-depot vehicle routing problem

The paper addresses the problem of multi-depot vehicle routing in order to minimize the delivery time of vehicle objective. Three hybrid heuristics are presented to solve the multi-depot vehicle routing problem. Each hybrid heuristic combines elements from both constructive heuristic search and improvement techniques. The improvement techniques are deterministic, stochastic and simulated annealing (SA) methods. Experiments are run on a number of randomly generated test problems of varying depots and customer sizes. Our heuristics are shown to outperform one of the best-known existing heuristic. Statistical tests of significance are performed to substantiate the claims of improvement.     

基于深度强化学习的多配送中心车辆路径规划

多配送中心车辆路径规划(multi-depot vehicle routing problem, MDVRP)是现阶段供应链应用较为广泛的问题模型,现有算法多采用启发式方法,其求解速度慢且无法保证解的质量,因此研究快速且有效的求解算法具有重要的学术意义和应用价值.以最小化总车辆路径距离为目标,提出一种基于多智能体深度强化学习的求解模型.首先,定义多配送中心车辆路径问题的多智能体强化学习形式,包括状态、动作、回报以及状态转移函数,使模型能够利用多智能体强化学习训练;然后通过对MDVRP的节点邻居及遮掩机制的定义,基于注意力机制设计由多个智能体网络构成的策略网络模型,并利用策略梯度算法进行训练以获得能够快速求解的模型;接着,利用2-opt局部搜索策略和采样搜索策略改进解的质量;最后,通过对不同规模问题仿真实验以及与其他算法进行对比,验证所提出的多智能体深度强化学习模型及其与搜索策略的结合能够快速获得高质量的解.     

带软时间窗的多车场开放式车辆调度

带软时间窗的多车场开放式车辆调度问题是在开放式车辆路径问题的基础上,考虑了多车场和客户服务时间的约束,是一类典型的NP难解问题。针对该问题,提出了一种改进的蚁群算法求解方案,并建立了相应的数学模型。首先通过设置一个虚拟车场将多车场VRP转化为单车场VRP,然后利用参数控制的改进蚁群算法与2-opt算法结合来对模型求解。算法先利用K-means与细菌觅食算法相结合的聚类技术判断蚁群状态,进而动态调整算法参数,使其快速收敛到全局最优解附近,再依据混沌理论的特点来调整参数,使其跳出局部最优。最后,再利用2-opt算法对最优解进行优化。实验结果验证了该算法求解MDOVRPSTW问题的有效性。     

Fleet-sizing for multi-depot and periodic vehicle routing problems using a modular heuristic algorithm

In this paper, we address the problem of determining the optimal fleet size for three vehicle routing problems, i.e., multi-depot VRP, periodic VRP and multi-depot periodic VRP. In each of these problems, we consider three kinds of constraints that are often found in reality, i.e., vehicle capacity, route duration and budget constraints. To tackle the problems, we propose a new Modular Heuristic Algorithm (MHA) whose exploration and exploitation strategies enable the algorithm to produce promising results. Extensive computational experiments show that MHA performs impressively well, in terms of solution quality and computational time, for the three problem classes.