基于end-to-end深度强化学习的多车场车辆路径优化

为提高多车场车辆路径问题(multi-depot vehicle routing problem, MDVRP)的求解效率,提出了端到端的深度强化学习框架。首先,将MDVRP建模为马尔可夫决策过程(Markov decision process, MDP),包括对其状态、动作、收益的定义;同时,提出了改进图注意力网络(graph attention network, GAT)作为编码器对MDVRP的图表示进行特征嵌入编码,设计了基于Transformer的解码器;采用改进REINFORCE算法来训练该模型,该模型不受图的大小约束,即其一旦完成训练,就可用于求解任意车场和客户数量的算例问题。最后,通过随机生成的算例和公开的标准算例验证了所提出框架的可行性和有效性,即使在求解客户节点数为100的MDVRP上,经训练的模型平均仅需2 ms即可得到与现有方法相比更具优势的解。     

基于多智能体强化学习的乳腺癌致病基因预测

通过分析基因突变过程, 提出利用强化学习对癌症患者由正常状态至患病状态的过程进行推断, 发现导致患者死亡的关键基因突变. 首先, 将基因视为智能体, 基于乳腺癌突变数据设计多智能体强化学习环境; 其次, 为保证智能体探索到与专家策略相同的策略和满足更多智能体快速学习, 根据演示学习理论, 分别提出两种多智能体深度Q网络: 基于行为克隆的多智能体深度Q网络和基于预训练记忆的多智能体深度Q网络; 最后, 根据训练得到的多智能体深度Q网络进行基因排序, 实现致病基因预测. 实验结果表明, 提出的多智能体强化学习方法能够挖掘出与乳腺癌发生、发展过程密切相关的致病基因.     

基于残差图卷积网络与深度强化学习的 需求可拆分车辆路径优化算法

需求可拆分车辆路径问题(SDVRP)出现在广泛的物流配送场景中, 具有重要的研究价值. 高效的SDVRP优化算法能够提高车辆装载率, 降低物流配送成本. 为提高SDVRP的求解效率, 本文提出基于残差图卷积神经网络(RGCN)和多头注意力的深度强化学习算法(REINFORCE), 逐步构建可行解序列. 首先, 从强化学习的角度出发, 文章对SDVRP建立马尔科夫决策模型, 定义序列预测过程的环境状态、智能体动作空间、状态转移函数等. 其次, 建立编–解码模型求解节点选择策略, 其中使用残差图卷积神经网络的编码器重构配送中心和客户节点的特征, 将配送网络中节点间的连接关系与节点特征相互关联, 获得差异性显著的特征嵌入向量; 利用注意力网络解码器在重构后的嵌入向量基础上融合动态变化的车辆剩余装载量和客户需求等信息执行解码任务, 实现每次迭代为单个案例提供多个可行解. 最后, 提出基于平均基准值的REINFORCE算法更新模型参数, 通过求解不同问题规模测试集、标准SDVRP数据集, 以及京东物流实际配送任务, 验证了所提算法的有效性.     

基于SAC强化学习的车联网频谱资源动态分配

针对车联网频谱资源稀缺问题,提出一种基于柔性致动-评价（SAC）强化学习算法的多智能体频谱资源动态分配方案。以最大化信道总容量与载荷成功交付率为目标,建立车辆-车辆（V2V）链路频谱资源分配模型。将每条V2V链路作为单个智能体,构建多智能体马尔科夫决策过程模型。利用SAC强化学习算法设计神经网络,通过最大化熵与累计奖励和以训练智能体,使得V2V链路经过不断学习优化频谱资源分配。仿真结果表明,与基于深度Q网络和深度确定性策略梯度的频谱资源分配方案相比,该方案可以更高效地完成车联网链路之间的频谱共享任务,且信道传输速率和载荷成功交付率更高。     

智能车辆深度强化学习的模型迁移轨迹规划方法

针对智能驾驶车辆传统路径规划中出现车辆模型跟踪误差和过度依赖问题,提出一种基于深度强化学习的模型迁移的智能驾驶车辆轨迹规划方法.首先,提取真实环境的抽象模型,该模型利用深度确定性策略梯度(DDPG)和车辆动力学模型,共同训练逼近最优智能驾驶的强化学习模型;其次,通过模型迁移策略将实际场景问题迁移至虚拟抽象模型中,根据该环境中训练好的深度强化学习模型计算控制与轨迹序列;而后,根据真实环境中评价函数选择最优轨迹序列.实验结果表明,所提方法能够处理连续输入状态,并生成连续控制的转角控制序列,减少横向跟踪误差;同时通过模型迁移能够提高模型的泛化性能,减小过度依赖问题.     

基于多阶段强化学习的多智能体协作决策

为了解决多智能体协同训练过程中的团队奖励稀疏导致样本效率低下、无法进行有效探索以及对参数敏感的问题,本研究在MAPPO算法的基础上引入了分阶段的思想,提出了基于多阶段强化学习的多智能体协同算法MSMAC。该算法将训练划分为2个阶段：一是构建基于进化策略优化的单智能体策略网络,二是对多智能体策略网络进行协同训练。在多智能体粒子环境下的实验结果表明,基于多阶段的强化学习算法不仅提升了协作性能,而且提高了样本的训练效率和模型的收敛速度。     

多配送中心车辆路径问题的狼群算法

针对多配送中心动态启用和车辆的合理分配,文章首先建立了以总路径长度最小为目标函数的多配送中心车辆路径问题的数学模型;其次,根据多配送中心车辆路径问题的具体特征,模拟狼群捕食行为设计了求解该问题的狼群算法;最后,应用狼群算法求解测试算例,并将其计算结果与几种常见智能优化算法的计算结果进行比较,验证了狼群算法求解多配送中心车辆路径问题的可行性与有效性。     

泰森多边形的离散蝙蝠算法求解多车场车辆路径问题

本文提出一种泰森多边形的离散蝙蝠算法求解多车场车辆路径问题(multi-depot vehicle routing problem,MDVRP).所提出算法以离散蝙蝠算法为核心,融入了一种基于多车场多车辆问题的编解码策略.所提出算法还使用基于泰森多边形的初始化策略加快算法的前期收敛速度,采用基于向量比较机制的适应度函数来控制算法收敛的方向,引入基于近邻策略和优先配送策略的局部搜索算法来提高算法的寻优能力.实验结果表明:在合理的时间耗费内,所提出的算法能有效地求解MDVRP,尤其是带配送距离约束的MDVRP;相对于对比算法,所提出的算法表现出较强的寻优能力和稳定性.     

粒子群算法的MDVRP仿真研究

物流配送车辆路径优化问题是近年来物流领域中的研究热点,路径优化属于NP 难题,问题规模较大,很难得到最优解和满意解.应用粒子群算法是被认为求解NP 难题的有效手段之一,为解决MDVRP(多车场车辆路径)的优化问题,在求解物流配送车辆路径优化问题时提出将粒子群算法与变异操作相结合的求解方式:通过设计一个随群体适应度方差的变化而变化的变异算子,将聚集在局部收敛点附近的粒子打散,进而增强算法跳出局部最优的能力和全局寻优的几率.针对多车场车辆路径问题构造了一种新的编码方式以减少算法的无效迭代.仿真结果表明,采用全局搜索能力有显著提高,并能有效避免早熟收敛问题.     

基于深度强化学习的电力物资配送多目标路径优化

针对现有电力物资车辆路径问题（EVRP）优化时考虑目标函数较为单一、约束不够全面,并且传统求解算法效率不高的问题,提出一种基于深度强化学习（DRL）的电力物资配送多目标路径优化模型和求解算法。首先,充分考虑了电力物资配送区域的加油站分布情况、物资运输车辆的油耗等约束,建立了以电力物资配送路径总长度最短、成本最低、物资需求点满意度最高为目标的多目标电力物资配送模型;其次,设计了一种基于DRL的电力物资配送路径优化算法DRL-EVRP求解所提模型。DRL-EVRP使用改进的指针网络（Ptr-Net）和Q-学习（Q-learning）算法结合的深度Q-网络（DQN）来将累积增量路径长度的负值与满意度之和作为奖励函数。所提算法在进行训练学习后,可直接用于电力物资配送路径规划。仿真实验结果表明,DRL-EVRP求解得到的电力物资配送路径总长度相较于扩展C-W(ECW)节约算法、模拟退火（SA）算法更短,且运算时间在可接受范围内,因此所提算法能更加高效、快速地进行电力物资配送路径优化。     

Multi-depot vehicle routing problem: a one-stage approach

This paper introduces multi-depot vehicle routing problem with fixed distribution of vehicles (MDVRPFD) which is one important and useful variant of the traditional multi-depot vehicle routing problem (MDVRP) in the supply chain management and transportation studies. After modeling the MDVRPFD as a binary programming problem, we propose two solution methodologies: two-stage and one-stage approaches. The two-stage approach decomposes the MDVRPFD into two independent subproblems, assignment and routing, and solves them separately. In contrast, the one-stage approach integrates the assignment with the routing where there are two kinds of routing methods-draft routing and detail routing. Experimental results show that our new one-stage algorithm outperforms the published methods. Note to Practitioners-This work is based on several consultancy work that we have done for transportation companies in Hong Kong. The multi-depot vehicle routing problem (MDVRP) is one of the core optimization problems in transportation, logistics, and supply chain management, which minimizes the total travel distance (the major factor of total transportation cost) among a number of given depots. However, in real practice, the MDVRP is not reliable because of the assumption that there have unlimited number of vehicles available in each depot. In this paper, we propose a new useful variant of the MDVRP, namely multi-depot vehicle routing problem with fixed distribution of vehicles (MDVRPFD), to model the practicable cases in applications. Two-stage and one-stage solution algorithms are also proposed. The industry participators can apply our new one-stage algorithm to solve the MDVRPFD directly and efficiently. Moreover, our one-stage solution framework allows users to smoothly add new specified constraints or variants.     

多中心半开放式送取需求可拆分的车辆路径优化

针对多中心半开放式送取需求可拆分的车辆路径问题,构建了以车辆配送距离最短为目标的多中心半开放式送取需求可拆分的数学模型。设计大变异邻域遗传算法进行求解,采用二维染色体编码及顺序交叉策略,同时运用大变异策略和邻域搜索策略提高算法全局和局部的寻优能力,通过算例对比验证了所提模型与算法的有效性。算例实验表明,大变异邻域遗传算法在求解多中心物流配送车辆路径问题上求解质量较优、求解效率较高、求解结果较为稳定,同时验证了联合配送下多中心半开放式送取需求可拆分的配送模式优于独立配送下单中心送取需求可拆分的配送模式。研究成果不仅拓展了车辆路径问题,还可为相关快递物流企业配送优化提供决策参考。     

多车场车辆路径问题的遗传算法

给出了多车场车辆路径问题(MDVRP)的数学模型,提出一种基于客户的编码表示方式,可以表示出各车场出动的车辆及路径,能够有效地实现MDVRP的优化,并用计算实例进行了验证。     

A general heuristic for vehicle routing problems

We present a unified heuristic which is able to solve five different variants of the vehicle routing problem: the vehicle routing problem with time windows (VRPTW), the capacitated vehicle routing problem (CVRP), the multi-depot vehicle routing problem (MDVRP), the site-dependent vehicle routing problem (SDVRP) and the open vehicle routing problem (OVRP).     

A variable neighborhood search for the multi-depot vehicle routing problem with loading cost

The purpose of this paper is to propose a variable neighbourhood search (VNS) for solving the multi-depot vehicle routing problem with loading cost (MDVRPLC). The MDVRPLC is the combination of multi-depot vehicle routing problem (MDVRP) and vehicle routing problem with loading cost (VRPLC) which are both variations of the vehicle routing problem (VRP) and occur only rarely in the literature. In fact, an extensive literature search failed to find any literature related specifically to the MDVRPLC. The proposed VNS comprises three phases. First, a stochastic method is used for initial solution generation. Second, four operators are randomly selected to search neighbourhood solutions. Third, a criterion similar to simulated annealing (SA) is used for neighbourhood solution acceptance. The proposed VNS has been test on 23 MDVRP benchmark problems. The experimental results show that the proposed method provides an average 23.77% improvement in total transportation cost over the best known results based on minimizing transportation distance. The results show that the proposed method is efficient and effective in solving problems.     

战时备件配送的MDVRP问题及其遗传算法求解

战时备件配送的车辆调度是提高装备保障效率的关键因素。以装备战斗效能损失最小化为车辆调度的目标,建立了多仓库车辆路径问题MDVRP（Multi—Depot Vehicle Routing Problem）模型,并应用混合遗传算法对问题进行了求解。算法中,设计了串行、并行及半并行三种交叉算子,并应用局部搜索模块对子个体进行改进。对算例的计算实验表明,半并行交叉算子在精度方面优于另外两种交叉算子。     

Multi-phase modified shuffled frog leaping algorithm with extremal optimization for the MDVRP and the MDVRPTW

In this work, a novel multi-phase modified shuffled frog leaping algorithm (MPMSFLA) framework is presented to solve the multi-depot vehicle routing problem (MDVRP) more quickly. The presented algorithm adopts the K-means algorithm to execute the clustering analyses for all customers, generates a frog population according to the result of the clustering analyses, and then proceeds to the three-phase process. In the first phase, a cluster MSFLA local search is carried out for each cluster. In the second phase, the algorithm selects good individuals through a binary tournament to construct a new population and then performs a global optimization for all customers and depots using the global MSFLA. In the third phase, a cluster adjustment is implemented for the population to generate new clusters. These procedures continue until the convergence criterion is satisfied. The experimental results show that our algorithm can achieve a high quality solution within a short runtime for the MDVRP, the MDVRP with time windows (MDVRPTW) and the capacitated vehicle routing problem (CVRP). The proposed algorithm is suitable for solving large-scale problems.     

强化学习在车辆路径问题中的研究综述

车辆路径问题是物流运输优化中的核心问题,目的是在满足顾客需求下得到一条最低成本的车辆路径规划。但随着物流运输规模的不断增大,车辆路径问题求解难度增加,并且对实时性要求也不断提高,已有的常规算法不再适应实际要求。近年来,基于强化学习算法开始成为求解车辆路径问题的重要方法,在简要回顾常规方法求解车辆路径问题的基础上,重点总结基于强化学习求解车辆路径问题的算法,并将算法按照基于动态规划、基于价值、基于策略的方式进行了分类;最后对该问题未来的研究进行了展望。