基于深度强化学习的智能网联车匝道合并策略

针对高速公路智能网联汽车（CAV）匝道合并时的协同决策问题,提出了一种基于近端策略优化（PPO）改进的协作深度强化学习算法（C-PPO）。首先,基于强化学习构建CAV匝道合并场景下的马尔科夫决策过程（MDP）模型,接着设计了一个新颖的协作机制,即在策略更新过程中的多个时期动态考虑匝道附近CAV的策略更新信息,这一过程可以协调地调整优势值以实现匝道合并车辆之间的协作。实验结果表明,与传统的PPO算法相比,C-PPO算法在匝道合并问题中的效果显著优于基于PPO和ACKTR等主流算法。