基于强化学习的电动车路径优化研究

针对有路径总时长约束、载重量约束和电池容量约束的电动车路径优化问题（EVRP）,考虑其途中可前往充电站充电的情境,构建以最小化路径总长度为目标的数学模型,提出一种基于强化学习的求解算法RL-EVRP。该算法用给定的分布生成训练数据,再通过策略梯度法训练模型,并保证在训练过程中路径合法即可。训练得到的模型可用于解决其他数据同分布的问题,无须重新训练。通过仿真实验及与其他算法的对比,表明RL-EVRP算法求解的路径总长度更短、车辆数更少,也表明强化学习可成功运用于较复杂的组合优化问题中。     

时间窗约束下农产品物流配送路径优化研究

农产品需求量增加对物流配送提出较高挑战,基于此提出时间窗约束下农产品物流配送路径优化方法研究。依客户预期服务时间需求,取混合时间窗约束函数确定时间窗、物流配送车辆最大载重、配送路径长度与物流配送车辆约束条件,构建农产品物流配送路径优化模型;基于农产品物流配送需求改进传统遗传算法,求解构建模型,即获农产品物流配送路径优化结果。实验结果显示：相较生鲜农产品多车型冷链物流车辆路径优化,所提方法最优农产品物流配送路径获取迭代次数更少、配送路径长度更短、总成本更低,应用性能更佳。     

多目标应急物资路径优化及其改进智能水滴算法*

针对多目标应急物资配送中车辆路径优化问题,提出了基于改进智能水滴算法的多目标应急物资路径优化方案。主要包括以下四个阶段：(1) 构建基于Holling-II函数的疾病扩散模型;(2) 各疫区对药品的需求预测;(3) 构建多目标应急物流配送模型;(4) 改进的智能水滴算法求解多目标应急物资优化问题。研究结果表明：所建立的模型与算法有效可行,可为应急管理相关问题提供决策参考。     

考虑拥堵区域的多车型绿色车辆路径问题优化

针对降低物流配送过程中产生的碳排放问题,从绿色环保角度出发,提出一种考虑交通拥堵区域的多车型物流配送车辆的绿色车辆路径问题（GVRP）。首先分析不同类型车辆、不同拥堵状况对车辆行驶路线规划的影响,然后引入基于车辆行驶速度和载重的碳排放速率度量函数;其次以车辆管理使用费用和油耗碳排放成本最小作为优化目标,构建双目标绿色车辆路径模型;最后根据模型的特点设计一种融合模拟退火算法的混合差分进化算法对问题进行求解。通过实验仿真验证模型和算法可以有效规避拥堵区域,与只使用单一4 t车型配送相比,所提模型总成本降低了1.5%,油耗碳排放成本降低了4.3%;和以行驶距离最短为目标的模型相比,所提模型的总配送成本降低了8.1%。说明该模型提高物流企业的经济效益也促进了节能减排。同时所提算法与基本差分算法相比,总配送成本可以降低3%~6%;与遗传算法相比,优化效果更明显,总配送成本可以降低4%~11%,证明该算法更具有优越性。综上所提模型和算法可以为物流企业城市配送路径决策提供良好的参考依据。     

战时物流配送车辆路径优化问题

采用一种新的信息素更新方式对传统蚁群算法进行改进,有效解决了带硬时间窗的车辆路径优化问题;建立考虑战场环境中敌方火力打击影响的物流配送车辆路径优化模型,采用所提算法得出优化路线;进一步考虑不同作战单元对物资需求的可能变化,将排队策略用于算法求解过程,得出适应需求变化的后续配送路线,并通过仿真实验结果验证了相应配送路线的合理性.     

易腐生鲜货品车辆路径问题的改进混合蝙蝠算法

针对配送易腐生鲜货品的车辆其配送路径的选择不仅受货品类型、制冷环境变化、车辆容量限制、交货时间等多种因素的影响,而且需要达到一定的目标（如：费用最少、客户满意度最高）,构建了易腐生鲜货品车辆路径问题（VRP）的多目标模型,并提出了求解该模型的改进混合蝙蝠算法。首先,采用时间窗模糊化处理方法定义客户满意度函数,细分易腐生鲜货品类型并定义制冷成本,建立了最优路径选择的多目标模型;然后,在分析蝙蝠算法求解离散问题易陷入局部最优、过早收敛等问题的基础上,精简经典蝙蝠算法的速度更新公式,并对混合蝙蝠算法的单多点变异设定选择机制,提高算法性能;最后,对改进混合蝙蝠算法进行性能测试。实验结果表明,与基本蝙蝠算法和已有混合蝙蝠算法相比,所提算法在求解VRP时能够提高客户满意度1.6%~4.2%,且减小平均总成本0.68%~2.91%。该算法具有计算效率高、计算性能好和较高的稳定性等优势。     

考虑时效性和品质性满意度约束的易腐品冷链物流配送

针对易腐品冷链配送环节存在的成本高、碳排放量大、客户满意度低等问题,从易腐品配送的时效性和品质性两方面度量客户满意度,并以此为约束考虑配送过程中的固定成本、运输成本、货损成本、制冷成本、惩罚成本以及碳排放成本,构建以总成本最小为目标的易腐品冷链配送车辆路径优化模型,设计改进遗传算法求解优化模型,分析求解算法的复杂度.数值实验结果表明,所设计的求解算法总能获得总成本更低、产品新鲜度更高以及碳排放量更少的配送方案,同时表明改进的遗传算法相比于传统遗传算法在成本节约以及客户满意度提高方面具有一定优势,在一定程度上验证了所建模型的合理性及求解算法的有效性.     

深度强化学习求解车辆路径问题的研究综述

车辆路径问题（VRP）是组合优化问题中经典的NP难问题,广泛应用于交通、物流等领域,随着问题规模和动态因素的增多,传统算法很难快速、智能地求解复杂的VRP问题。近年来随着人工智能技术的发展,尤其是深度强化学习（DRL）在AlphaGo中的成功应用,为路径问题求解提供了全新思路。鉴于此,针对近年来利用DRL求解VRP及其变体问题的模型进行文献综述。回顾了DRL求解VRP的相关思路,并梳理基于DRL求解VRP问题的关键步骤,对基于指针网络、图神经网络、Transformer和混合模型的四类求解方法分类总结,同时对目前基于DRL求解VRP及其变体问题的模型性能进行对比分析,总结了基于DRL求解VRP问题时遇到的挑战以及未来的研究方向。     

多禁止时间窗约束的路径恢复问题研究

突发灾难的应急物资的配送有时受多禁止时间约束，为此，针对多禁止时间窗约束的应急物资运输路径优化问题，考虑多禁止时间窗的约束，建立了以总配送时间最小为目标、多禁止时间窗约束的应急物资运输路径优化模型。鉴于该模型为混合整数规划模型，采用GUROBI求解，并与建立的对应的多时间窗约束的路径优化模型对比。最后通过算例分析验证了该模型的高效性和算法的有效性。结果表明，多禁止时间窗约束的应急物资运输路径优化模型求解效率更高；此外评估救灾点对配送时间的影响以及分析多禁止时间窗对应急物资配送规划的影响，结果表明部分救灾点显著影响总配送时间，禁止时间窗的开始时间以及宽度影响总配送路线、时间以及到达各救灾点的时间，因此考虑时间约束特点可为应急物资运输决策提供实用价值。     

基于模糊时间窗的多目标冷链配送优化

随着生鲜冷链行业竞争逐渐白热化,成本高、时效性强、新鲜度难以保持等问题已成为制约冷链物流配送的瓶颈。为提高生鲜配送效率,考虑客户满意度,以货损成本、惩罚成本等综合配送成本最低为目标函数,构建了一个多目标配送路径优化模型。设计带精英策略的非支配排序遗传算法（Elitist Non-dominated Sorting Genetic Algorithm,NSGA-II）求解该问题,利用Solomon标准数据集进行仿真模拟实验。实验结果对比分析表明,考虑满意度时冷链物流配送所需车辆更少,总路径长度更短,设计的算法可以在较短的时间内获取到帕累托最优解集,能够有效地解决模糊时间窗下的配送路径优化问题。     

基于DQN的超密集网络能效资源管理

小基站的密集随机部署会产生严重干扰和较高能耗问题,为降低网络干扰、保证用户网络服务质量（QoS）并提高网络能效,构建一种基于深度强化学习（DRL）的资源分配和功率控制联合优化框架。综合考虑超密集异构网络中的同层干扰和跨层干扰,提出对频谱与功率资源联合控制能效以及用户QoS的联合优化问题。针对该联合优化问题的NP-Hard特性,提出基于DRL框架的资源分配和功率控制联合优化算法,并定义联合频谱和功率分配的状态、动作以及回报函数。利用强化学习、在线学习和深度神经网络线下训练对网络资源进行控制,从而找到最佳资源和功率控制策略。仿真结果表明,与枚举算法、Q-学习算法和两阶段算法相比,该算法可在保证用户QoS的同时有效提升网络能效。     

深度强化学习研究综述

深度强化学习是指利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合,以提升强化学习模型性能,广泛应用于电子游戏、机械控制、推荐系统、金融投资等领域。回顾深度强化学习方法的主要发展历程,根据当前研究目标对深度强化学习方法进行分类,分析与讨论高维状态动作空间任务上的算法收敛、复杂应用场景下的算法样本效率提高、奖励函数稀疏或无明确定义情况下的算法探索以及多任务场景下的算法泛化性能增强问题,总结与归纳4类深度强化学习方法的研究现状,同时针对深度强化学习技术的未来发展方向进行展望。     

C-V2X通信中资源分配与功率控制联合优化

在C-V2X通信中,Mode 4资源分配方式使用基于感知的半持续调度（SB-SPS）算法进行资源分配,但该算法以最大功率传输安全消息,在高密度交通流状态下会导致系统的可靠性下降。为对SB-SPS算法进行优化,提出一种基于深度强化学习的联合资源分配与功率控制算法。车辆在感知到信道后,为安全消息选择干扰最小的子信道,并根据信道状态自适应调整传输功率,通过与环境交互学习的方式求解最优的子信道选择方案和功率控制方案。仿真结果表明,与SB-SPS优化算法相比,该算法在高密度公路场景下分组接收率提高5%,有效提升了车间通信的可靠性。     

拟双曲动量梯度的对抗深度强化学习研究

在深度强化学习（Deep Reinforcement Learning,DRL）中,智能体（agent）通过观察通道来观察环境状态。该观察可能包含对抗性攻击的干扰,也即对抗样本,使智能体选择了错误动作。生成对抗样本常用方法是采用随机梯度下降方法。提出使用拟双曲动量梯度算法（QHM）来生成对抗干扰,该方法能够充分利用以前的梯度动量来修正梯度下降方向,因而比采用随机梯度下降方法（SGD）在生成对抗样本上具有更高效率。同时借助这种攻击方法在鲁棒控制框架内训练了DRL鲁棒性。实验效果表明基于QHM训练方法的DRL在进行对抗性训练后,面对攻击和环境参数变化时的鲁棒性显著提高。     

基于深度强化学习DDPG算法的投资组合管理

将深度强化学习技术应用于投资组合管理，采用深度强化学习中的深度确定性策略梯度DDPG（Deep Deterministic Policy Gradient）算法，通过限制单只股票的投资权重，分散风险，并采用丢弃算法（Dropout），即在训练模型时随机丢弃节点，解决过拟合问题。以中国股市为例，选取16只中证100指数成分股作为风险资产进行实验。结果表明，本文基于深度强化学习方法构建的投资组合，在实验期间的价值增幅显著高于对照组（等权重组合），2年达到65%，约为对照组的2.5倍，表明了本文方法的有效性。而且通过进一步实验，表明了当用于训练的数据离测试数据时间越近，则本文构建的投资组合表现越好。     

基于时空聚类求解带容积约束的选址-路径问题

选址-路径问题是供应链管理和物流系统规划中的一个重要问题,对总成本具有十分重要的影响.对考虑配送中心容积约束的带时间窗的选址-路径问题进行研究,建立以总成本最小和客户满意度最大为目标的多目标规划模型,提出两阶段算法对其进行求解.首先,利用k-means聚类算法确定配送中心选址;然后,提出一种基于时间-空间双因素的客户划分方法以确定配送中心所服务客户;最后,利用粒子群算法对各配送中心的配送路径进行规划.数值算例表明,所提出的算法较其他已有算法,均能有效地降低物流运作总成本及总配送路径长度,为解决带容积约束及时间窗的选址-路径问题提供了一种新的解决思路.     

基于深度强化学习的智能电网RAN切片策略

随着智能电网的不断发展,电力服务种类的多样化引出了不同的服务需求.5G中的网络切片技术,可以为智能电网提供虚拟化无线专用网络,以应对智能电网安全性、可靠性、时延性等方面的诸多挑战.考虑到智能电网的差异化服务特性,本文旨在使用深度强化学习(DRL)来解决智能电网的无线接入网(RAN)切片的资源分配问题.文章首先回顾了智能电网的背景以及网络切片技术的相关研究,随后分析了智能电网的RAN切片模型,并且提出了一种基于DRL的切片分配策略.仿真表明,本文所提出的算法能够在降低成本的同时,最大限度地满足智能电网在RAN侧的资源分配需求.     

基于深度强化学习的城市交通信号控制算法

针对城市交通信号控制中如何有效利用相关信息优化交通控制并保证控制算法的适应性和鲁棒性的问题，提出一种基于深度强化学习的交通信号控制算法，利用深度学习网络构造一个智能体来控制整个区域交通。首先通过连续感知交通环境的状态来选择当前状态下可能的最优控制策略，环境的状态由位置矩阵和速度矩阵抽象表示，矩阵表示法有效地抽象出环境中的主要信息并减少了冗余信息；然后智能体以在有限时间内最大化车辆通行全局速度为目标，根据所选策略对交通环境的影响，利用强化学习算法不断修正其内部参数；最后，通过多次迭代，智能体学会如何有效地控制交通。在微观交通仿真软件Vissim中进行的实验表明，对比其他基于深度强化学习的算法，所提算法在全局平均速度、平均等待队长以及算法稳定性方面展现出更好的结果。其中，与基线相比，平均速度提高9%，平均等待队长降低约13.4%。实验结果证明该方法能够适应动态变化的复杂的交通环境。     

Content-centric data and computation offloading in AI-supported fog networks for next generation IoT

Fog Computing (FC) based IoT applications are encountering a bottleneck in the data management and resource optimization due to the dynamic IoT topologies, resource-limited devices, resource diversity, mismatching service quality, and complicated service offering environments. Existing problems and emerging demands of FC based IoT applications are hard to be met by traditional IP-based Internet model. Therefore, in this paper, we focus on the Content-Centric Network (CCN) model to provide more efficient, flexible, and reliable data and resource management for fog-based IoT systems. We first propose a Deep Reinforcement Learning (DRL) algorithm that jointly considers the content type and status of fog servers for content-centric data and computation offloading. Then, we introduce a novel virtual layer called FogOrch that orchestrates the management and performance requirements of fog layer resources in an efficient manner via the proposed DRL agent. To show the feasibility of FogOrch, we develop a content-centric data offloading scheme (DRLOS) based on the DRL algorithm running on FogOrch. Through extensive simulations, we evaluate the performance of DRLOS in terms of total reward, computational workload, computation cost, and delay. The results show that the proposed DRLOS is superior to existing benchmark offloading schemes.     

基于改进蚁群算法的铁路乘务交路计划的编制

针对提高铁路乘务交路计划编制质量和效率的问题,将乘务交路计划编制问题抽象为单基地、均衡行驶路程的多旅行商问题（MTSP）,引入均衡因子,建立了以乘务交路用时少和子乘务交路间任务均衡为目标的数学模型。针对该模型提出了一种双重策略蚁群优化算法,该算法首先构建满足时空约束的解空间,分别对乘务区段节点和接续路径设置信息素浓度,然后采用双重策略状态的转移概率,使蚂蚁遍历所有乘务区段,最终找到符合乘务约束规则的子乘务交路。最后运用广深线城际铁路数据对设计的模型及算法进行检验,经与遗传算法的实验结果对比分析表明：在相同的模型条件下,运用双重策略蚁群优化算法编制的乘务交路计划乘务交路个数减少了约21.74%、乘务交路总时长降低了约5.76%、交路超劳率为0。运用所设计的模型和算法编制乘务交路计划能够减少乘务计划交路时长,均衡工作量,避免产生超劳交路。