视觉感知的端到端自动驾驶运动规划综述

视觉感知模块能够利用摄像机等视觉传感器获取丰富的图像和视频信息,进而检测自动驾驶汽车视野中的车辆、行人与交通标识等信息,是自动驾驶最有效、成本最低的感知方式之一。运动规划为自主车辆提供从车辆初始状态到目标状态的一系列运动参数和驾驶动作,而端到端的模型能够直接从感知的数据获取车辆的运动参数,因而受到广泛的关注。为了全面反映视觉感知的端到端自动驾驶运动规划方法的研究进展,本文对国内外公开发表的具有代表性和前沿的论文进行了概述。首先分析端到端方法的应用,以及视觉感知和运动规划在端到端自动驾驶中的作用,然后以自主车辆的学习方式作为分类依据,将视觉感知的端到端自动驾驶运动规划的实现方法分为模仿学习和强化学习两大类,并对各类方法的不同算法进行了归纳和分析;考虑到现阶段端到端模型的研究面临着虚拟到现实的任务,故对基于迁移学习的方法进行了梳理。最后列举与自动驾驶相关的数据集和仿真平台,总结存在的问题和挑战,对未来的发展趋势进行思考和展望。视觉感知的端到端自动驾驶运动规划模型的普适性强且结构简单,这类方法具有广阔的应用前景和研究价值,但是存在不可解释和难以保证绝对安全的问题,未来需要更多的研究改善端到端模型存在的局限性。     

自动驾驶安全关键场景生成技术综述

安全关键场景生成是自动驾驶的重要方向,在自动驾驶测试、汽车安全性评估和汽车安全标准构建等领域都有着很高的应用价值,是关系自动驾驶应用落地的关键。现有研究缺乏重点围绕安全关键场景生成技术的综述,因此本文对安全关键场景生成技术进行了系统性综述。首先,分析了安全关键场景生成技术的综述相关研究;其次,对安全关键场景生成模型进行了对比分析;再次,分类总结了基于聚类、贝叶斯网络和对抗网络的安全关键场景生成方法的进展;最后,对安全关键场景生成方法研究趋势进行了展望。     

智能汽车操作系统的标准化及产业落地进程

从PC时代的Windows+Intel联盟,到智能数码时代的Android+Arm联盟,在汽车智能时代,也将有智能汽车操作系统+智能汽车硬件的平台.软件定义、数据驱动已成为当下智能网联汽车行业的共识.2019年,中国软件测评中心发布了《车载智能计算基础平台架构1.0(2019年)》,架构图中,自动驾驶操作系统是车载智能计算基础平台的核心部分,自动驾驶操作系统使用并包含了车控操作系统,其基于异构分布硬件/芯片组合是车控操作系统的异构分布拓展.这张架构图实现了支撑硬件、操作系统和应用开发的解耦,是真正能够实现跨平台、跨车型、统一的自动驾驶操作系统和应用定制化的架构,实现了真正的软件定义模式,符合E/E架构和行业的发展趋势.     

基于深度学习的三维目标检测算法综述

随着自动驾驶行业的快速发展,基于深度学习的三维目标检测技术也得到了快速发展,目前自动驾驶汽车主要依赖图像与激光雷达点云进行环境感知。基于这两种数据的三维目标检测技术可提取出物体的空间结构信息,包括物体的姿态、尺寸、运动方向、形状等,因此该技术不仅可用于自动驾驶的感知,还可用于工业机器人对物体的识别与抓取,以及仓储机器人的视觉导航等。近年来,计算能力的提升、数据集的公开、深度学习的发展,为三维目标检测算法带来了巨大的变革。     

基于Android的移动学习资源开发设计

随着手机等移动终端的普及,移动学习的需求也与日俱增。本文对学生在移动端学习的特点进行了深入分析, 结合汽车学科相关课程,基于Android平台开发了适用于移动端学习的软件,分析了移动学习资源平台的总体设计、功能结构设 计,以及各个功能模块的设计开发思路,并且对相关软件进行了测试。测试表明该软件运行正常,基本满足所需功能要求。     

自动驾驶交叉路口测试场景建模及验证方法

自动驾驶汽车在缓解交通拥堵和消除交通事故方面发挥着重要作用.为了保证自动驾驶系统的安全性和可靠性,在自动驾驶汽车部署到公共道路之前,必须进行全面的测试.现有的测试场景数据大多来源于交通事故和交通违法场景,而且自动驾驶系统最基本的安全需求就是遵守交通法规,这充分体现了自动驾驶汽车遵守交通规则的重要性.然而,目前严重缺少针对交通法规构建的自动驾驶测试场景.因此,本文从交通法规出发,根据自动驾驶系统安全需求,提出交叉路口测试场景的Petri网建模及形式化验证方法.首先,依据自动驾驶测试场景对交规进行分类,提取适合自动驾驶汽车的文本交规,并进行半形式化表征.其次,以覆盖道路交通安全法规以及测试场景功能测试规程为目标,融合交叉路口场景要素的交互行为,合理选择并组合测试场景要素,布设交叉路口测试场景.然后,基于交规的测试场景被建模为一个Petri网,其中,库所描述自动驾驶汽车的状态,变迁表示状态的触发条件,并选择时钟约束规范语言（CCSL）作为中间语义语言,将Petri网转换为一个可进行形式化验证的中间语义模型,提出具体的转换方法.最后,通过Tina软件分析验证交规场景模型的活性、有界性和可达性,结果表明所建模型的正确性,并基于SMT的分析工具MyCCSL来分析CCSL约束,采用LTL公式以形式化方法验证交规场景模型的一致性.     

汽车自动驾驶及其发展

自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作,让电脑可以在没有任何人类主动的操作下,自动安全地操作机动车辆。自动驾驶技术是汽车产业与人工智能产业、物联网技术、高度智能化计算机等新一代信息技术紧密结合而形成的产物,是当前全球汽车与交通出行产业智能化与物联网系统的重点方向。笔者主要针对汽车自动驾驶及其发展进行研究。     

未来的汽车需要什么样的GPU?

无论是新动力系统,车载信息娱乐系统,还是自动驾驶汽车,汽车技术都在以前所未有的速度迅猛发展.新的颠覆性技术和行业参与者正在向传统的汽车概念发起挑战.明天的驾驶体验将与今天大不相同. 目前在某些地区已经出现了自动驾驶汽车,预计到2030年,路面上四分之一的汽车将在一定程度上实现自动驾驶.未来的驾驶舱会有什么样的变化?汽车和驾驶员是怎么沟通的?驾驶员从驾驶责任中解脱出来,会给驾驶舱和信息娱乐系统的设计带来怎样的影响?     

基于贝叶斯网络构建RoboSim模型的自动驾驶行为决策

为汽车自动驾驶提供安全高效的自动驾驶行为决策,是汽车自动驾驶领域面临的挑战性问题之一.目前,随着自动驾驶行业的蓬勃发展,工业界与学术界提出了诸多自动驾驶行为决策方法,但由于汽车自动驾驶行为决策受环境不确定因素的影响,决策本身也要求实效性及高安全性,现有的行为决策方法难以完全支撑这些要素.针对以上问题,提出了一种基于贝叶斯网络构建RoboSim模型的自动驾驶行为决策方法.首先,基于领域本体分析自动驾驶场景元素之间的语义关系,并结合LSTM模型预测场景中动态实体的意图,进而为构建贝叶斯网络提供驾驶场景理解信息;然后,通过贝叶斯网络推理特定场景的自动驾驶行为决策,并使用RoboSim模型的状态迁移承载行为决策的动态执行过程,以减少贝叶斯网络推理的冗余操作,提高了决策生成的效率. RoboSim模型具有平台无关、能模拟仿真执行周期的特点,并支持多种形式化的验证技术.为确保行为决策的安全性,使用模型检测工具UPPAAL对RoboSim模型进行验证分析.最后,结合变道超车场景案例,进一步证实所提方法的可行性,为设计安全、高效的自动驾驶行为决策提供了一种可行的途径.     

卡尔曼滤波在自动驾驶的应用

卡尔曼滤波是一种估值算法,用估计与测量对模型的状态进行较为准确的监控和预判,同样可以用于汽车自动驾驶的领域,来进行对动态模型的计算。自动驾驶是当前正在被突破的一个创新领域,以我国目前迅猛发展的科技实力,在这个新兴领域也能冲在前面。这个过程的研究中运用了数学、物理学、统计学等多方面的知识,包括动态模型的建立和监测,速度控制以及运动路线的规划等等。运用卡尔曼滤波可以帮助自动驾驶的研究和发展,更好地进行车辆间距离的监测和控制。     

A survey of deep learning techniques for autonomous driving

The last decade witnessed increasingly rapid progress in self‐driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence (AI). The objective of this paper is to survey the current state‐of‐the‐art on deep learning technologies used in autonomous driving. We start by presenting AI‐based self‐driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration, and motion control algorithms. We investigate both the modular perception‐planning‐action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources, and computational hardware. The comparison presented in this survey helps gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices.     

面向车规级芯片的对象检测模型优化方法

卷积神经网络复杂的网络结构使得模型计算复杂度高,限制了其在自动驾驶等实际终端场景中的应用。针对终端场景下的计算资源受限的问题,本文从轻量化深度模型设计和车规级芯片模型部署验证两方面进行研究。针对深度模型计算效率和检测精度的矛盾,本文设计了基于中心卷积的轻量化对象检测模型,实现功耗低且精度高的模型性能。进一步,本文基于量化感知训练的模型加速部署方法在车规级芯片上开展了系统级部署验证,在车规级芯片tda4上成功实现了高效的对象检测模型,在自动驾驶场景中取得了良好的性能。     

面向智慧交通的图像处理与边缘计算

随着全球人口的持续增长和城市化进程的加速,道路拥挤、交通事故和污染排放增加等问题日益严重。智慧交通系统旨在借助先进的信息与通信技术建成高效安全、环保舒适的交通与运输体系,提供全方位的交通信息服务和安全高效、经济快捷的交通运输与出行服务。经过各国多年来的竭力推进与发展,智慧交通系统在交通管理、自动驾驶与车路协同等方向均得到广泛的应用。智慧交通的发展离不开通信、计算机与控制等研究方向的突破与创新。其中,图像处理作为智慧交通系统的核心技术之一,它的研究进展直接影响着智慧交通系统的部署。图像处理技术是指计算机对图像进行增强、复原、提取特征、分类和分割等技术处理,通过对交通视觉图像的处理,为智慧交通系统的感知、识别、检测、跟踪和路径规划等功能提供了最直接与重要的信息。此外,面对智慧交通系统所产生的大量数据计算任务,边缘计算技术则将中心云服务下沉至各边缘节点附近,不但能够优化算力负载分配,还能够满足智慧交通应用与服务对低时延、高响应速度的需求。本文从智慧交通系统的发展现状入手,分别围绕面向智慧交通的图像处理与边缘计算技术,阐述其研究热点与前沿进展,汇总与比较国内外的相关学术和产业成果,并对智慧交通系统中的图像处理及边缘计算技术未来的发展进行总结分析与趋势展望。     

自动驾驶地图的数据标准比较研究

作为实现汽车自动驾驶的关键基础设施,自动驾驶地图能够提供大量准确且语义丰富的数据来帮助用户以更精细的尺度了解周边环境状况,辅助感知、定位、驾驶规划与决策控制,满足智能时代多种高层次的应用需求,进而切实推动我国自动驾驶相关领域的发展与商业化应用。自动驾驶地图的数据标准作为自动驾驶地图生产应用的指导性规范之一,是自动驾驶地图数据标准化的基准。当前我国自动驾驶相关领域对自动驾驶地图标准化的需求迫切,地图数据标准化已成为业界共同关注的热点问题。为解决自动驾驶地图数据标准化问题,切实推动自动驾驶地图的高效发展,本文对自动驾驶地图的数据标准进行比较研究。首先介绍国内外主流的自动驾驶地图数据标准,然后针对其中4种：导航数据标准（navigation data standard,NDS）、OpenDrive、智能运输系统智能驾驶电子地图数据模型与交换格式和道路高精度电子导航地图数据规范进行分析比较研究,主要从数据结构、数据模型、地图渲染和协同应用4个维度展开,并在各个维度上给出数据标准编制时建议遵循的原则。基于分析比较研究的结果,总结出自动驾驶地图数据标准编制时建议遵循的原则。通过对自动驾驶地图的数据标准进行分析比较研究,归纳总结出数据标准编制时建议遵循的原则,这些建议遵循的编制原则对我国相应规格标准的制定具有借鉴意义。     

A vision-centered multi-sensor fusing approach to self-localization and obstacle perception for robotic cars

Most state-of-the-art robotic cars’ perception systems are quite different from the way a human driver understands traffic environments. First, humans assimilate information from the traffic scene mainly through visual perception, while the machine perception of traffic environments needs to fuse information from several different kinds of sensors to meet safety-critical requirements. Second, a robotic car requires nearly 100% correct perception results for its autonomous driving, while an experienced human driver works well with dynamic traffic environments, in which machine perception could easily produce noisy perception results. In this paper, we propose a vision-centered multi-sensor fusing framework for a traffic environment perception approach to autonomous driving, which fuses camera, LIDAR, and GIS information consistently via both geometrical and semantic constraints for efficient self-localization and obstacle perception. We also discuss robust machine vision algorithms that have been successfully integrated with the framework and address multiple levels of machine vision techniques, from collecting training data, efficiently processing sensor data, and extracting low-level features, to higher-level object and environment mapping. The proposed framework has been tested extensively in actual urban scenes with our self-developed robotic cars for eight years. The empirical results validate its robustness and efficiency.     

Advanced mobile and wearable systems

The recent spectacular progress in the microelectronic, information, communication, material and sensor technologies created a big stimulus towards development of smart communicating cyber-physical systems (CPS) and Internet of Things (IoT). CPS and IoT are undergoing an explosive growth to a large degree related to advanced mobile systems like smart automotive and avionic systems, mobile robots and wearable devices. The huge and rapidly developing markets of sophisticated mobile cyber-physical systems represent great opportunities, but these opportunities come with a price of unusual system complexity, as well as, stringent and difficult to satisfy requirements of many modern applications. Specifically, smart cars and various wearable systems to a growing degree involve big instant data from multiple complex sensors or other systems, and are required to provide continuous autonomous service in a long time. In consequence, they demand a guaranteed (ultra-)high performance and/or (ultra-)low energy consumption, while requiring a high reliability, safety and security. To adequately address these demands, sophisticated embedded computing and embedded design technologies are needed. After an introduction to modern mobile systems, this paper discusses the huge heterogeneous area of these systems, and considers serious issues and challenges in their design. Subsequently, it discusses the embedded computing and design technologies needed to adequately address the issues and overcome the challenges in order to satisfy the stringent requirements of the modern mobile systems.     

基于多目标协同演化算法的大规模自动驾驶策略

目前无人驾驶技术领域的研究重点主要集中在单车层面的感知、决策与控制,而缺少对多车 之间交互及博弈的研究,因此无法有效降低交通系统整体事故率并提升通行效率。该文提出一种基于 合作博弈理论的大规模自动驾驶策略涌现方法。通过建立面向网联汽车、多目标优化决策的合作博弈 演化平台,并构造了一种网格道路模型和车辆运动学模型,使得系统中各车辆之间以近邻博弈的方式 进行交互;同时系统采用分布式算法并具有间接交互的特点,最终模型计算复杂度与模拟车辆规模呈 线性关系。实验结果表明,最佳策略涌现后,事故率和平均速度均取得明显改善,其中事故率降低了 90%,模型计算速度提升了 30%。该方法可应用于包含数百万辆自动驾驶汽车的城市级智能交通规划 系统中。     

结合状态机和动态目标路径的无人驾驶决策仿真

目的 决策系统是无人驾驶技术的核心研究之一。已有决策系统存在逻辑不合理、计算效率低、应用场景局限等问题,因此提出一种动态环境下无人驾驶路径决策仿真。方法 首先,基于规则模型构建适于无人驾驶决策系统的交通有限状态机;其次,针对交通动态特征,提出基于统计模型的动态目标路径算法计算状态迁移风险;最后,将交通状态机和动态目标路径算法有机结合,设计出一种基于有限状态机的无人驾驶动态目标路径模型,适用于交叉口冲突避免和三车道换道行为。将全速度差连续跟驰模型运用到换道规则中,并基于冲突时间提出动态临界跟车距离。结果 为验证模型的有效性和高效性,对交通环境进行虚拟现实建模,模拟交叉口通行和三车道换道行为,分析文中模型对车流量和换道率的影响。实验结果显示,在交叉口通行时,自主车辆不仅可以检测冲突还可以根据风险评估结果执行安全合理的决策。三车道换道时,自主车辆既可以实现紧急让道,也可以通过执行换道达成自身驾驶期望。通过将实测数据和其他两种方法对比,当车流密度在0.20.5时,本文模型的平均速度最高分别提高32 km/h和22 km/h。当车流密度不超过0.65时,本文模型的换道成功率最高分别提升37%和25%。结论 实验结果说明本文方法不仅可以在动态城区环境下提高决策安全性和正确性,还可以提高车流量饱和度,缓解交通堵塞。     

时空轨迹数据驱动的自动驾驶场景元建模方法

时空轨迹数据驱动的汽车自动驾驶场景建模,是当前汽车自动驾驶领域中驾驶场景建模、仿真所面临的关键问题,对于提高系统的安全性具有重要研究意义.近年来,随着时空轨迹数据建模及应用研究的快速发展,时空轨迹数据应用于特定领域建模的研究引起人们的广泛关注.但由于时空轨迹数据所反映现实世界的多元性和复杂性以及时空轨迹数据的海量、异构、动态等特点,基于时空轨迹数据驱动的安全攸关场景建模的研究仍面临着挑战,包括：统一的时空轨迹数据元模型、基于时空轨迹数据的元建模方法、基于数据分析技术的时空轨迹数据处理、数据质量评价等.针对汽车自动驾驶领域的场景建模需求,我们提出一种基于MOF元建模体系构建时空轨迹数据的元建模方法,根据时空轨迹数据的特征及自动驾驶的领域知识,构建了面向汽车自动驾驶的时空轨迹数据元模型;并基于此,提出基于时空轨迹数据元建模技术体系的自动驾驶安全场景建模方法,并使用场景建模语言ADSML实例化安全场景,构建安全场景库,旨在为此类系统的安全关键场景建模提供一种可行的方案.结合变道超车场景的案例,展示了时空轨迹数据驱动的自动驾驶安全场景元建模方法的可用性,为场景模型的构建、仿真、分析奠定了基础.