基于DQN的自动驾驶机器人速度跟踪控制

由 于 汽 车 传 动 模 型 的 复 杂 性 、延 迟 性 和 踏 板 的 死 区 特 性 ，现 有 的 基 于 传 统 控 制 理 论 和 车 辆 模 型的 方 法 很 难 达 到 理 想 的 控 制 效 果 。 为 解 决 这 个 问 题 ，构 建 了 一 种 基 于Ｄ Ｑ Ｎ的 速 度 跟 踪 算 法 ，基 于 马 尔 可 夫性 设 计 了 状 态 空 间 、动 作 空 间 ，并 根 据 超 差 规 则 设 计 奖 赏 函 数 。 通 过 批 量 真 车 转 鼓 试 验 对 所 建 立 的 速 度 跟踪 算 法 进 行 了 验 证 ，结 果 表 明 :算 法 模 型 可 有 效 控 制 踏 板 进 行 速 度 跟 踪 ；从 零 开 始 ，只 需 ４ ～ ５ 轮 训 练 即 可 满足 超 差 数 要 求 ；与 基 于 传 统 控 制 理 论 的 方 案 相 比 ，具 有 超 差 数 更 少 、速 度 更 平 稳 、无 需 专 业 人 员 调 试 等 优 势 。

Vehicle Speed Tracking Control with a Robotic Driver Based on Deep Q-Network

With the complexity and delay of the vehicle transmission model and the dead zone of the pedal, The existing control methods based on traditional control theory and vehicle model are difficult to achieve the ideal control effect. To solve this problem, a vehicle speed tracking algorithm based on Deep Q-Network (DQN) is constructed, state space and action space are designed based on Markov property, and reward function is designed according to out-of-tolerance rules. Experiments are conducted on dozens of cars, and results show that established algorithm can effectively control the robotic driver for speed tracking. From scratch, it only needs 4～5 episodes of training to meet the requirements. Compared with classic control methods, the proposed method has a smoother speed and fewer speed errors, and does not require experts’ tuning.