移动机器人优先采样D3QN路径规划方法研究

近年来，以DQN(Deep Q-Network)为代表的人工智能技术在路径规划领域中广泛应用.为了解决传统DQN方法存在收敛速度较慢的问题，本文提出一种端到端的D3QN-PER(Dueling Deep Double Q-Network Prioritized Experience Replay)路径规划方法.首先，在感知端引入长短时记忆网络(Long Short-Term Memory),障碍物状态信息作为输入，进行取舍后储存在隐藏层，再转换成固定长度的向量和机器人自身状态向量输入至D3QN网络，提高记忆和认知障碍物的能力.然后，采用优先经验回放机制(Prioritized Experience Replay, PER)对经验池抽取小批量样本，保证样本多样性的同时提高重要样本的利用率，获取更加精确的Q值.最后，通过3个不同仿真场景进行验证，分别对DQN、DDQN、D3QN、D3QN-PER展开训练，实验结果表明，与其他方法相比，D3QN-PER的收敛速度比DQN算法提高56%,而且到达目标点的次数更多，可证明该方法在未知环境中可以更好地获取最优路径.