首页 | 本学科首页   官方微博 | 高级检索  
     

基于多模态大语言模型的低延迟端到端自动驾驶模型
作者姓名:金彦亮  顾晨杰  高塬
作者单位:1.上海大学通信与信息工程学院;2.上海大学上海先进通信与数据科学研究院
基金项目:上海大学协同创新项目基金 XTCX-KJ-2022-68
摘    要:自动驾驶技术当前是科技领域的研究热点之一。针对当前自动驾驶领域中,端到端模型在可解释性和实时性之间无法权衡的问题,提出了一种基于多模态语言模型的低延迟端到端自动驾驶模型,利用多模态大语言模型对自动驾驶数据集进行决策原因和关键物体的标注,并通过多任务学习来预测决策原因和关键目标,为决策过程提供直观解释的同时,避免了实时推理阶段直接使用大模型推理带来的推理延迟,从而在保证实时性的情况下增加了可解释性。通过仿真实验证明了该模型在提高驾驶完成率、减少模型违规行为与增强可解释性方面的有效性,为端到端自动驾驶领域的决策算法提供了新的思路。

关 键 词:自动驾驶  多模态大语言模型  模仿学习  多任务学习  
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号