基于联合Q值分解的强化学习网约车订单派送

因网约车订单派送不合理,导致资源利用率和出行效率降低。基于联合Q值函数分解的框架,提出两种订单派送方法ODDRL和LF-ODDRL,高效地将用户订单请求派送给合适的网约车司机,尽可能缩短乘客等待时间。为捕获网约车订单派送场景中随机需求与供应动态变化关系,把城市定义为一张四边形网格的地图,将每辆车视为一个独立的智能体,构建多智能体马尔可夫决策过程模型,通过最大化熵与累计奖励训练智能体。将多智能体的联合Q值函数转化为易分解函数,使联合Q值函数与单个智能体值函数中的动作具有一致性,同时设计动作搜索函数,结合集中训练、分散执行策略的优点,让每辆车以分布式的方式解决订单匹配问题,而不需要与其他车辆进行协调,从而降低复杂性。实验结果表明,相比Random、Greedy、QMIX等方法,所提ODDRL和LF-ODDRL具有较优的扩展性,其中,在500×500网格上,当乘客数为10、车辆数为2时,相对于QMIX方法接送乘客所产生的总时间分别缩短5%和12%。     

基于深度强化学习的网约车动态路径规划

随着移动互联网的快速发展,许多利用手机App打车的网约车平台也应运而生.这些网约车平台大大减少了网约车的空驶时间和乘客等待时间,从而提高了交通效率.作为平台核心模块,网约车路径规划问题致力于调度空闲的网约车以服务潜在的乘客,从而提升平台的运营效率,近年来受到广泛关注.现有研究主要采用基于值函数的深度强化学习算法(如deep Q-network,DQN)来解决这一问题.然而,由于基于值函数的方法存在局限,无法应用到高维和连续的动作空间.提出了一种具有动作采样策略的执行者-评论者(actor-critic with action sampling policy,AS-AC)算法来学习最优的空驶网约车调度策略,该方法能够感知路网中的供需分布,并根据供需不匹配度来确定最终的调度位置.在纽约市和海口市的网约车订单数据集上的实验表明,该算法取得了比对比算法更低的请求拒绝率.     

关于网约车订单分配策略的综述

网约车在人们的日常出行生活中扮演着非常重要的角色,随着时代的发展,越来越多的人习惯于利用手机通过出行平台打车,但有时存在乘客的请求长时间得不到满足、司机长距离空载等现象,这不仅严重地影响了乘客和司机的体验感,还降低了人们的出行效率。如何更好地匹配乘客请求和空载司机需求,一直是出行平台关注和研究的重点问题。对网约车订单分配策略的研究,有助于减少乘客等待时间,提高司机收益,减少司机空载距离,提高资源利用率。首先简述了从乘客发起打车请求到请求订单被响应的完整流程;其次,详细地介绍了在不同派单模式下的订单分配策略;最后,全面地列举了衡量订单分配策略的评估指标。     

一种全局供需感知的均值场多智能体强化学习订单分配算法

提出一种具备全局供需动态感知能力、基于均值场多智能体强化学习的网约车平台订单分配算法。该算法通过将多智能体强化学习与均值场理论相结合,提升了智能体在局部空间上相互之间的协作性;通过注入全局空间上供需的动态分布信息,提升了智能体对全局供需分布的感知和优化能力。本文构建了真实历史数据驱动的模拟器,用于算法的训练和评估。实验表明,在全天时段和高峰期时段两个不同场景下,本文提出的算法在网约车司机累计收益及订单应答率两个重要指标上均显著优于现有的订单分配算法。实验结果充分验证了本文提出算法的有效性。     

URBAN-TAXI绿色自助呼叫系统

以GPRS／3G通信技术、嵌入式地图技术、GPS／基站组合定位技术、数据库技术、出租车匹配算法为核心,通过智能手机,将出租车、控制中心服务器和叫车乘客联系为一体。叫车乘客可通过系统实现一键叫车：出租车司机可在地图上查看叫车请求位置并应答叫车请求;同时控制中心提供管理查看界面,可对整个区域内车辆情况和叫车请求进行查看。使用本系统,可减少乘客叫车等待时间,降低出租车空驶率。     

基于高频车站及时间窗的立体轨道交通系统智能调度算法

立体轨道交通系统的车辆调度方法还未见报道,已有车辆调度算法的实时性较差。针对立体轨道交通车辆的调度问题,研究了一种结合高、低频车站判定的订单分配算法和一种结合时间窗的Dijkstra路径规划算法,即智能调度算法,以提高车辆的运行效率。首先,使用订单分配算法为订单选择合适的执行车辆,减少乘客的等待时间。其次,在订单分配算法的基础上增加了高、低频车站的判定,提前给高频车站调度车辆,以保证供需平衡。然后,将普通Dijkstra算法和时间窗判断相结合,以实现多车辆的无冲突路径规划。最后,对OpenTCS软件进行二次开发,并进行了调度算法的仿真。结果表明,当有乘客叫车时,若只有订单分配算法,乘客平均等待时间为8.043 s;结合高、低频车站进行车辆提前调度后,平均等待时间降到了5.724 s,每位乘客减少了2.319 s的等待时间。路径规划时,无论是普通的Dijkstra算法还是结合时间窗的Dijkstra算法,规划耗时都在1 ms以内,而结合时间窗的Dijkstra算法在只增加约0.1 ms耗时的情况下,解决了车辆的路径冲突问题。研究的智能调度算法减少了乘客的等待时间,提高了车辆的运行效率,实时性好,能满足立体轨道交通车辆的调度要求。     

基于优化遗传算法的网约车合乘模型

随着城市居民绿色低碳出行思想的提高,网约车合乘出行方式应运而生.但由于合乘模式涉及到的行驶路线问题,乘客与乘客、乘客与驾驶员之间容易产生分歧,并且网约车合乘出行模式的相关成本不明确等诸多问题,网约车合乘模式没有被大范围推广和应用.针对网约车合乘出行模式存在的问题,研究并构建了网约车合乘路径优化模型,模型中考虑了车辆等待时间成本、行驶距离成本、收益、容量约束以及时间窗约束等.针对网约车合乘模型的特点,并基于遗传算法思想,研究设计了满足合乘模型约束条件的求解遗传算法.并使用Matlab软件运行算法程序对算例进行求解,运行44.08 s得到最大利润6 906.297 1元及车辆详细行驶路线,实验表明,通过构建的网约车合乘模型和设计的遗传算法,可以得到合乘路径近似最优解,证明了模型和算法的可行性和有效性.     

运力紧张情形下的网约车跨区域订单分配机制

在网约车平台中,匹配是一个核心功能,平台需要尽可能增加匹配订单的数量;但网约车的需求分布通常极度不均匀,订单的起点或终点在某些时间段会呈现出高度集中的特征。因此,提出一种带预警的激励机制鼓励司机跨区域接单,以达到平台跨区域运力再平衡的目的。该机制通过对订单信息进行分析,建立邻近区域运力预警机制,并在区域运力紧张时,激励邻近区域的司机接受跨区域订单,以减少运力紧张时期区域内的未匹配订单数量,提高平台效用和乘客满意度。通过算例将跨区域运力再平衡机制与Greedy（贪心机制）、Surge（暴涨定价）机制进行对比,结果表明,再平衡机制较Greedy和Surge机制在平均效用上分别提高了15%和38%,说明跨区域运力再平衡机制可以提高平台收益和司机效用,在一定程度上重新平衡了区域间供需关系,能为网约车平台在宏观上的供需关系平衡提供参考。     

基于强化学习的公交站场服务中断防治策略

为缓解公交站场的服务中断问题,提出一种基于强化学习的动态发车控制策略。策略利用长短期记忆(LSTM)模型对公交行程时间进行预测,使智能体感知站场车辆与运行车辆的车头时距状态,以更好地评估决策的长期影响。针对站场无车可发的场景,在计算动作概率分布时应用状态相关可微函数将无效动作遮蔽,避免智能体下发无效指令。通过奖励函数对大发车间隔进行惩罚,并使用近端策略优化(PPO)对模型进行训练。仿真结果表明,与传统方法相比,所提方法不仅能有效避免公交站场服务中断,而且使车辆载客率更均衡,乘客等待时间更少,车辆利用效率更高。     

面向优先车辆感知的交通灯优化控制方法

智慧交通灯控制能够有效地改善道路交通的秩序和效率.在城市交通网络中,具有紧急任务的特殊车辆对于通行效率的要求更高.目前已有的智慧交通灯控制算法通常对路网中的所有车辆一视同仁,没有考虑到特殊车辆的优先性,而传统的控制特殊车辆优先通行的方法基本上都是采用信号抢占的方式,对普通车辆的通行干扰过大.为此,本文提出了一种面向优先车辆感知的交通灯优化控制方法,通过与道路环境的不断交互来学习交通灯控制策略,在设置状态和奖励函数时增加特殊车辆的权重,并利用Double DQN和Dueling DQN来提升模型表现,最终在城市交通模拟器SUMO中进行仿真实验.在训练趋于稳定之后,与固定时长控制方法的对比实验结果显示,本文方法能够将特殊车辆与普通车辆的平均等待时间分别缩短68%与22%左右,与不考虑优先级的方法相比,特殊车辆的平均等待时间也有35%左右的优化,验证了本文方法能够在提高车辆的通行效率的同时体现出对特殊车辆的优先处理.同时实验也表明本文方法能够扩展应用于多路口场景中.     

隐私保护的网约出行的研究综述

为高效利用交通资源,在线网约出行(ORH)服务整合车辆供给和乘客请求信息,派遣符合条件的车辆提供非巡游的出行服务。人们在享受ORH服务带来的便利时,也面临着严重的隐私泄露风险。为此,许多研究利用密码学技术设计隐私保护的ORH服务。首先,本文介绍了隐私保护的ORH服务主要面临的城市动态场景下高效计算密态行程开销、实时动态规划密态行程、安全共享不同ORH服务的运力资源等挑战。然后,回顾了欧式距离、路网距离和行驶时间三类行程开销的安全计算方法,其中,欧式距离计算效率高,但误差大,现有路网距离和行驶时长的安全计算方法多数面向静态路网场景,针对城市动态路网场景的安全计算方法有待进一步研究。分析了面向司机、乘客、ORH平台的行程规划问题的求解方法,现有研究往往仅针对司机、乘客或ORH平台的单一目标进行行程规划,事实上行程规划不但要考虑ORH平台自身收益,更要同时兼顾乘客和司机的用户体验。综述了隐私感知的行程预处理方法,单车单客模式、单车多客模式的行程安全共享方法,并总结了其不足与启示。多车单客、多车多客动态模式的行程安全共享有待进一步研究。最后,从城市动态路网下高效的密态行程开销的安全计算与比较、...     

考虑实时订单更新的拼车调度双层规划模型

针对订单实时更新的实际情况,为仍有待完成订单的司机持续分配任务,在保证司机收益增加的同时,提升拼车平台的派单效率。在考虑拼车系统服务质量与运行成本的基础上,基于平台角度构建了以司机总收益最大化为目标的双层规划模型,给出求解该模型的双层算法：底层模型对拼车路径进行规划,设计改进的遗传算法求解;上层模型订单分配的顺序,通过贪心算法调用底层模型,比较收益变化后得到最终的调度结果。通过具体算例对模型进行验证,结果表明模型能够较快求解出订单匹配结果及行驶路线,说明了模型的可行性及算法的有效性,且计算结果能够反映实际场景。对比实验结果表明,模型在满足提升司机收益的基础上,能有效减少延误时间及降低行驶距离,对于实时订单更新场景下拼车调度问题的相关研究具有积极的参考意义。     

基于增强学习的网格化出租车调度方法

高度信息化的网格化城市管理可以为出租车运营优化提供新的实时动态乘客需求信息和车辆位置信息。以此为契机,针对城市出租车空驶率高和司乘匹配率低的问题,提出了一种网格化的出租车实时动态调度的增强学习控制方法。通过为出租车提供空驶巡游的动态最佳路线,新的控制方法旨在提高出租车的服务效率,并降低乘客的等待时间。首先,以城市单元网格为基础,明确出租车调度的关键问题;其次,以空驶路线的动态调整为控制手段,建立调度的增强学习模型;最后,给出求解模型的Q学习算法,并通过算例验证新调度方法的有效性。研究表明新方法可以有效提高司乘匹配率、增加总的出租车运营收入、减少乘客平均等车时间和减少总的出租车空驶时间。     

基于深度聚合神经网络的网约车需求时空热度预测

为解决服务车辆与乘客间的供需不平衡问题,提升服务车辆的运营效率和利润,同时降低乘客等待时间并改善其对服务平台的满意度,针对差异化结构的多维时空数据,提出一种深度聚合神经网络（DANN）模型用于对网约车需求进行预测。首先,通过综合考虑时间、空间和外部环境等多维影响因素,提出了基于周期的时空变量和基于图像点值的空间变量划分方法;其次,依据数据特点构建了不同的子神经网络结构来分别拟合时间变量、空间变量和环境变量与需求间的非线性关系;然后,提出了多种异类子神经网络的聚合方法以同时捕捉不同结构时空数据的隐含特征;最后,分析了聚合权重的设置方法以获得网络模型的最优性能。实验结果表明,在三个真实数据集上所提模型的R2平均误差仅为9.36%,与卷积长短时记忆网络（FCL-Net）和混合深度学习神经网络（HDLN-Net）模型相比,所提模型的R2分别平均提升了4.6%和5.22%,均方误差（MSE）分别平均降低了27.01%和26.6%。因此,DANN在实际应用中能较大幅度地提升需求预测的准确性,可以作为网约车需求预测的有效手段。     

一种结合神经网络和敏感位置语义的轨迹隐私保护方法

目前,现有的轨迹隐私保护工作大多数考虑的是敏感位置或敏感区域,未能考虑到敏感位置语义且未能精准的描述出位置语义的敏感程度.针对此问题,本文提出了一个TP-SLS(A trajectory privacy protection method combining neural networks and sensitive location semantics)方法.首先,提出了敏感度感知算法,用于量化位置语义敏感度,实现“原子化”保护.其次,为了构建用户的敏感移动场景,建立了一个包含时空信息和位置语义敏感度的四元组并使用差分隐私进行干扰.同时,使用深度神经网络预测轨迹.最后,由于预测的轨迹存在废数据,提出了基于强化学习的优化轨迹算法,用于提高数据质量,完成轨迹数据发布.实验结果表明,TP-SLS方法在隐私保护强度和数据可用性两个方面优于现有的方案.     

基于移动群智感知的极端驾驶行为感知方法

为提高驾驶安全性，减少交通事故的发生，本文提出一种基于移动群智感知的极端驾驶行为识别方法。对收集到的用户智能手机相关传感器的数据进行预处理，进而利用动态步数检测和随机森林等方法来识别乘客的用户情境信息。针对不同的极端驾驶行为，选取不同位置乘客的智能手机来进行数据的收集，综合考虑乘客的手机放置位置因素所造成的相关影响，实现多特征融合的极端驾驶行为感知。针对不同位置的乘客所感知的结果不一致问题，提出采用贝叶斯投票模型来解决。通过真实数据实验，结果表明本文方法能够有效地识别出司机的极端驾驶行为。     

基于样本优化的PPO算法在单路口信号控制的应用

优化交通信号的控制策略可以提高道路车辆通行效率, 缓解交通拥堵. 针对基于值函数的深度强化学习算法难以高效优化单路口信号控制策略的问题, 构建了一种基于样本优化的近端策略优化(MPPO)算法的单路口信号控制方法, 通过对传统PPO算法中代理目标函数进行最大化提取, 有效提高了模型选择样本的质量, 采用多维交通状态向量作为模型观测值的输入方法, 以及时跟踪并利用道路交通状态的动态变化过程. 为了验证MPPO算法模型的准确性和有效性, 在城市交通微观模拟软件(SUMO)上与值函数强化学习控制方法进行对比. 仿真实验表明, 相比于值函数强化学习控制方法, 该方法更贴近真实的交通场景, 显著加快了车辆累计等待时间的收敛速度, 车辆的平均队列长度和平均等待时间明显缩短, 有效提高了单路口车辆的通行效率.     

行驶时间随机的分批配送车辆路径问题模型与算法

为研究分批配送和等待时间对行驶时间随机的车辆路径问题（VRP）的影响,针对行驶时间随机的分批配送车辆路径问题,在软时间窗下考虑等待时间,建立带修正的随机规划模型;同时设计改进的粒子群优化（PSO）算法进行求解：使用需求点可多次出现的整数编码,设计改进的相对位置索引算法进行解码以解决粒子中出现分批需求点问题;将自适应选择用于速度更新以解决各向量长度不同的问题;将路径重连算法用于位置更新过程以解决粒子在离散空间和连续空间转换时信息丢失的问题,适应允许分批配送的特点。通过对调整的Solomon算例测试,考虑等待时间将造成总费用平均增加约3%,且更倾向于分批配送。分批配送能有效降低总费用（2%）和减少使用的车辆数（0.6）;在部分算例,特别是R2类算例中,分批配送能有效降低等待时间,平均降低0.78%。     

基于代价敏感的粗糙集近似集与粒度寻优算法

粗糙集的近似集用已有知识粒对不确定性目标概念进行近似描述,但在构建近似集时并没有考虑数据的代价信息这一实际因素.对此,首先分析在构建粗糙集的近似集时考虑代价信息的必要性;然后,从代价敏感角度构建误分类代价的粗糙集近似集模型,并分析该模型下求得的近似集的相关性质.为了在多粒度空间中寻找一个合适的粒度空间来对不确定性目标概念进行近似描述,使误分类代价与测试代价之和尽可能小,给出属性代价贡献率的定义,并提出一种代价敏感的粒度寻优算法.实验结果表明,所提出算法能适用于现有代价认知场景,并在给定代价场景下求出合理的层次粒度空间结构以及不确定性目标概念的近似集.     

网约车任务分配系统优化

网约车是一种广泛应用的共享移动应用, 其核心问题是将出租车请求分配给具有不同目标的司机, 尽管对网约车的任务分配进行了广泛的研究, 但在很大程度上忽视了司机之间收入的公平性, 由于优化视角的短视和分配技术的耗时, 先行者对网约车公平任务分配的研究在公平性、效用性方面还存在不足. 在本文中, 提出了公平分配学习(LAF)方法, 它既优化了效用又优化了公平性的高效任务分配方案, 采用强化学习以整体的方式进行分配, 并提出一套加速技术, 以实现大规模数据的快速公平分配. 实验结果表明, 公平分配学习方法在公平性、效用性和效率方面分别比现有水平高出86.7%、29.1%和797%.