车联网中深度强化学习辅助的RAN切片和任务卸载联合优化

车联网特点包括多种业务并存、车辆高速移动、车流在时域和空域分布不匀等，使得任务卸载和资源分配面临许多挑战性问题.本文提出一种深度强化学习辅助的无线接入网(Radio Access Network, RAN)切片和任务卸载联合优化方法，目的是最大化车联网任务完成数量.设计一种多时间尺度、多维资源切片框架，为不同类型任务的卸载提供差异化服务质量(Quality-of-Service, QoS)保障.在该框架下，任务完成数量最大化问题被建模为一个带约束的长时累积优化问题.该问题被解耦为大时间尺度上的RAN切片子问题与小时间尺度上的任务调度子问题.每当一个新切片窗口到来，控制器通过一种最优化方法为切片分配频谱和计算资源.切片窗口内各个时隙的工作流调度由一种基于深度强化学习的任务调度算法决定.该算法综合考虑车速、行驶方向、基站资源等因素，可以根据网络态势变化动态地在不同基站之间分配任务，实现全网资源的高效利用.仿真结果表明，所提方案在任务完成率、环境适应性等方面优于现有典型的基准方法.