时空图注意力网络在交叉口车辆轨迹预测的应用

随着人工智能和大数据技术的快速发展,以深度学习为代表的自动驾驶轨迹预测是未来的热点研究方向.在混合交通场景下,如何准确地预测机动车与非机动车的轨迹,是实现自动驾驶技术中安全行驶和高效轨迹规划等问题的前提.针对交叉路口中不同运动对象之间发生交互时的轨迹预测问题,提出了基于图注意力网络的建模方案.所采用的模型结合了时间与空间上研究对象之间的相互作用,对机动车与非机动车的未来轨迹做出了更准确的预测,可应用于自动驾驶的轨迹规划方案,确保在复杂交通场景下,机动车与非机动车能够安全且高效地通过交叉路口.该模型在简单交互情况下,可取得较小的轨迹平均位移误差和最终位移误差,而在复杂交互情况下,可提供更为合理的规划路径.     

时空轨迹数据驱动的自动驾驶场景元建模方法

时空轨迹数据驱动的汽车自动驾驶场景建模,是当前汽车自动驾驶领域中驾驶场景建模、仿真所面临的关键问题,对于提高系统的安全性具有重要研究意义.近年来,随着时空轨迹数据建模及应用研究的快速发展,时空轨迹数据应用于特定领域建模的研究引起人们的广泛关注.但由于时空轨迹数据所反映现实世界的多元性和复杂性以及时空轨迹数据的海量、异构、动态等特点,基于时空轨迹数据驱动的安全攸关场景建模的研究仍面临着挑战,包括：统一的时空轨迹数据元模型、基于时空轨迹数据的元建模方法、基于数据分析技术的时空轨迹数据处理、数据质量评价等.针对汽车自动驾驶领域的场景建模需求,我们提出一种基于MOF元建模体系构建时空轨迹数据的元建模方法,根据时空轨迹数据的特征及自动驾驶的领域知识,构建了面向汽车自动驾驶的时空轨迹数据元模型;并基于此,提出基于时空轨迹数据元建模技术体系的自动驾驶安全场景建模方法,并使用场景建模语言ADSML实例化安全场景,构建安全场景库,旨在为此类系统的安全关键场景建模提供一种可行的方案.结合变道超车场景的案例,展示了时空轨迹数据驱动的自动驾驶安全场景元建模方法的可用性,为场景模型的构建、仿真、分析奠定了基础.     

联合注意力机制与目标点信息的车辆轨迹预测

对周围环境中运动物体未来状态的准确预测是影响自动驾驶车辆做出准确决策的重要影响因素,车辆是最常见也是最需要关注的运动物体之一。针对结构化道路下周围车辆轨迹预测的多模态输入问题,提出了基于注意力机制的深度预测网络。提出交互模块以提取目标车辆与周围车辆及车道线信息存在的交互特征;结合车道线信息对车辆运动的指引作用,加入目标点预测模块以预测目标车辆可能到达的目标点,增加预测准确性。在Argoverse公开数据集上进行实验,所提轨迹预测网络在3秒预测时长实现了1.45m最小平均距离误差及3.21m最小最终距离误差的预测精度,优于当前主流的预测算法。     

驾驶模拟器中车辆智能体的动力学仿真研究

在驾驶模拟器的虚拟仿真系统中,通过车辆智能体的动力学分析及运动方程计算,从而获得车辆智能体的加速度、速度、位置、发动机转速等的变化,实现车辆智能体的实时运动模拟,驱动视景系统的实时变化,并运用OpenGVS实现驾驶虚拟场景的实时生成和交互显示,由此实现驾驶仿真。     

基于时空图的行人轨迹预测

在蓬勃发展的自动驾驶技术中, 行人轨迹预测的结果往往会影响到自动驾驶的安全性. 行人轨迹预测技术目前面临着在实际场景中应用时与他人的交互问题, 需要在预测轨迹的同时考虑社会交互性与逻辑自洽. 因此, 提出了一种基于时空图的行人轨迹预测方法, 该方法采用图注意力网络对场景中的行人交互进行建模, 并使用一种自动生成正负样本的方法来通过对比学习降低输出轨迹的碰撞率, 达到了提高输出轨迹的安全性以及逻辑自洽的效果. 在ETH和UCY数据集上进行模型训练与测试, 结果分析表明, 本文提出的方法有效降低了碰撞率, 且预测准确度优于主流算法.     

基于博弈论的多车智能驾驶交互决策综述

智能驾驶是交通和汽车领域未来发展的重要方向,决策规划作为智能驾驶系统中的关键模块,一直是其重点研究领域之一.当前的研究热点正在从单车智能驾驶决策向混行交通场景下的多车智能驾驶决策进行拓展,因此,需要在复杂动态场景和多并行任务下生成符合车辆动力学且不与道路边界和其他交通参与者发生碰撞的高质量轨迹.多车混行驾驶是对道路时空资源的竞争性使用,博弈论可为多车交互决策提供重要的理论与技术手段.对此,应用博弈论方法进行智能驾驶决策研究的综述,基于滚动时域、微分博弈和马尔科夫博弈这3类常用的博弈模型,对现有相关研究进行归类总结和分析.首先简要介绍博弈论基础知识;其次,总结常见的智能驾驶场景并分析各场景下交互决策的核心问题;然后,通过3种不同的博弈模型对多车交互决策进行建模,分别介绍它们的求解算法和思路及相关的研究工作;最后,介绍相关的仿真实验和测试方法,同时也对未来的技术发展和挑战给出见解.     

面向智能驾驶测试的仿真场景构建技术综述

随着汽车智能化程度的不断提高,智能汽车通过环境传感器与周边行驶环境的信息交互与互联更为密切,需应对的行驶环境状况也越来越复杂,包括行驶道路、周边交通和气象条件等诸多因素,具有较强的不确定性、难以重复、不可预测和不可穷尽。限于研发周期和成本、工况复杂多样性,特别是安全因素的考虑,传统的开放道路测试试验或基于封闭试验场的测试难以满足智能驾驶系统可靠性与鲁棒性的测试要求。因此,借助数字虚拟技术的仿真测试成为智能驾驶测试验证一种新的手段,仿真场景的构建作为模拟仿真的重要组成部分,是实现智能驾驶测试中大样本、极限边界小概率样本测试验证的关键技术,这对提升智能驾驶系统的压力和加速测评水平显得尤为重要。面向智能驾驶测试的仿真场景构建技术已成为当前汽车智能化新的研究课题和世界性的研究热点,作为一种新兴技术仍面临许多挑战。本文提出了面向智能驾驶测试的仿真场景构建方法,系统阐述了国内外研究工作的进展与现状,包括场景自动构建方法和交通仿真建模方法,重点分析一些值得深入研究的问题并围绕场景构建技术的发展趋势进行了讨论分析,最后介绍了团队相关研究在2020中国智能驾驶挑战赛仿真赛和世界智能驾驶挑战赛的仿真场景应用情况。     

不确定环境下hCPS系统的形式化建模与动态验证

随着科技的进步,新型复杂系统例如人机物融合系统（Human Cyber-Physical Systems,HCPS）已经与人类社会生活越来越密不可分.软件系统所处的信息空间与人们日常生活所处的物理空间日渐融合.物理空间内环境的复杂多变、时空数据的爆发增长以及难以预料的人类行为等不确定因素威胁着系统安全.由于系统安全需求的增长,系统的规模和复杂度随之增加所带来的一系列问题亟待解决.因此,在不确定性环境下,构造智能、安全的人机物融合系统已经成为软件行业不可回避的挑战.环境不确定性使得人机物融合系统软件无法准确感知其所处的运行环境.感知的不确定性将导致系统的误判,从而影响系统的安全性.环境不确定性使得系统设计人员无法为人机物融合系统软件的运行环境提供准确的形式化规约.而对于安全要求较高的系统,准确的形式化规约是保证系统安全的首要条件.为了应对规约的不确定性,本文提出时空数据驱动与模型驱动相结合的建模方式,即通过使用机器学习算法,基于环境中时空数据对环境进行建模.根据安全软件的典型特征,采用动态验证的方式保证系统的安全,从而构建统一安全的理论框架.为了展示方案的可行性,本文以自动驾驶车辆与人驾驶的摩托车的交互场景为例说明了在不确定性环境下的人机物融合系统的建模与验证的具体应用.     

自动泊车运动规划方法综述

自动泊车是自动驾驶车辆在低速行驶场景中的核心技术之一,已被广泛应用于各类车型中。运动规划确保所规划出的轨迹能指引车辆从起始位姿无碰撞、符合运动学规律地行驶至目标位姿,是体现自动泊车智能水准的关键技术模块。随着当前自动驾驶技术从初步的技术原型研究逐渐向产业化应用转型,低速自动驾驶领域中的自动泊车技术成为了这一转型过程中的关键突破点。文章回顾了现有的应用于自动泊车领域的运动规划方法,将其归纳为几何方法、采样方法、搜索方法、数值优化方法以及机器学习方法等类别,并对各类方法的发展历程与技术特点进行了回顾;探讨了自动泊车运动规划方法的未来研究方向,具体包括构建泛化性更强的模型、提升规划方法的稳定性、关注在线实时高质量重规划的能力与防御性驾驶的能力,以及考虑与其他交通参与者的交互等。     

复杂场景下行人轨迹预测方法

为了预测行人在复杂场景中的行走轨迹,提出了一种基于生成对抗网络的可解释模型。该模型以场景中行人的历史轨迹信息和场景环境信息作为模型的输入,并在生成对抗网络中引入了物理注意力机制和社会注意力机制对行人轨迹进行预测。其中,物理注意力机制有助于建模复杂场景的整体布局并提取图像中与路径相关的显著特征,社会注意力机制能够建模不同行人之间的交互对未来轨迹的影响。在生成对抗网络的整体框架下,物理和社会注意力机制的结合使得该模型能够预测出符合物理限制和社会行为规范的多条可接受的未来路径。通过在仿真数据和真实的标准数据集上的实验,可以证明该模型能够实现对行人未来轨迹的有效预测。     

自动驾驶软件测试技术研究综述

自动驾驶系统（autonomous driving system,ADS）是一种集成高精度传感器、人工智能和地图导航系统等模块的信息—物理融合系统。该类系统中的自动驾驶软件完成了从高级辅助驾驶到无人驾驶任务中关键的感知、定位、预测、规划和控制任务。随着深度学习和强化学习等人工智能技术的发展和车载硬件设备的不断升级,高级别的自动驾驶软件已经逐渐应用于多种安全攸关的场景中,保障其运行稳定性与可靠性的测试技术逐渐成为学术界和产业界的研究重点。本文在广泛调研国内外文献基础上,对自动驾驶软件测试技术进行了深入分析与梳理。结合自动驾驶软件的架构特点及系统特征,讨论了面向自动驾驶系统的仿真测试和实景测试,以及面向组件的测试技术。其中,在仿真方法方面,分析了软件仿真、半实体仿真和在环仿真等技术;在仿真对象方面,讨论了静态环境仿真、动态场景仿真、传感器仿真和车辆动力学仿真等。同时,本文介绍了当前实景测试的进展与情况,重点分析了实景测试案例中的得失优劣。在面向自动驾驶软件组件的测试技术方面,重点讨论了当前数据驱动技术在感知组件、决策规划组件,以及控制组件测试方面的进展。最后,本文总结分析了自动驾驶软件测试当前面临的挑战,并对未来自动驾驶软件测试技术的研究方向和研究重点进行了展望。     

基于视野域机制的行人轨迹预测

为提高行人在复杂交通场景中交互的安全性,提出一种基于social-GAN（social-generative adversarial network）的行人轨迹预测算法SAN-GAN（social angle norm-GAN）。该算法首先以行人历史位置信息与头部信息为输入,通过轨迹生成器LSTM网络（long short term memory networks）获取行人隐藏特征信息,并基于行人视野域模块捕捉行人视野域动态变化,对所有行人建立扇形视野域并筛选有效信息,从而驱动神经网络模型预测行人未来轨迹变化。将SAN-GAN与LSTM、social-LSTM（social-long short term memory networks）、social-GAN等轨迹预测算法进行对比实验,结果表明SAN-GAN算法相较于其他算法,在预测3.2 s的行人轨迹时,ADE分别平均降低65.8%、51.2%、10.7%,FDE分别平均降低73.6%、60.9%、10.4%。SAN-GAN能够有效地预测行人在复杂交通环境中进行交互的未来轨迹。     

基于区块链的智能网联车队协同轨迹预测系统

自动驾驶汽车技术近年来得到了广泛研究与快速发展,但在复杂的交通场景下,自动驾驶汽车面对突然出现的行驶车辆并不能及时避让。针对此问题,基于区块链技术提出智能网联车队的协同轨迹预测系统,智能网联车队中的各个节点与路边基础设施通过长短时记忆网络(LSTM)模型对周边车辆的运动轨迹进行预判,并将得到的结果进行分享,利用区块链技术,智能网联车队与路边基础设施可以对其接收到的信息进行评分,并将汇总后的评分以区块的形式加入存储信誉评分的区块链中。通过该评分,智能网联车队中的车辆可以根据车队中其他节点的信誉值来判断其是否可信,低信誉值节点传来的信息将不予理睬,从而实现了协同驾驶。实验分析表明,所提LSTM模型能够较为准确地预测周边车辆5 s内的行驶轨迹,而所提的系统在提升智能网联车队的行驶安全上起到了明显的效果。     

数字孪生驱动掘进机远程自动截割控制技术

目前掘进机远程截割控制方法大多基于视频监控与平面信息,巷道断面成形质量取决于人工操作经验,可靠性较低。针对该问题,研究了数字孪生驱动掘进机远程自动截割控制技术,从数据感知、数据驱动、数据传输、远程自动截割控制等方面介绍了数字孪生驱动掘进机自动截割的实现过程。采用视觉测量技术获取掘进机位姿数据、气体传感器等获取掘进环境数据,构成数字孪生驱动的数据来源;建立掘进机虚拟模型和虚拟场景并完成虚拟模型动作编程及虚拟模型与虚拟场景的耦合,通过求解掘进机运动学正逆解,实现掘进机与虚拟模型交互;基于三次多项式方法进行巷道断面"S"形截割轨迹规划,设计反馈线性积分滑模控制器实现截割轨迹跟踪控制;采用MySQL数据库作为数据交互媒介,通过井下工业以太环网及矿用5G技术实现数据远程传输。实验结果表明,掘进机截割头能稳定跟随规划轨迹,且同一时刻虚拟界面显示的掘进机截割头位姿与实际位姿一致。     

基于深度视觉注意神经网络的端到端自动驾驶模型

针对现有端到端自动驾驶方法中存在的驾驶指令预测不准确、模型结构体量大和信息冗余多等问题,提出一种新的基于深度视觉注意神经网络的端到端自动驾驶模型。为了更有效地提取自动驾驶场景的特征,在端到端自动驾驶模型中引入视觉注意力机制,将卷积神经网络、视觉注意层和长短期记忆网络进行融合,提出一种深度视觉注意神经网络。该网络模型能够有效提取驾驶场景图像的空间特征和时间特征,并关注重要信息且减少信息冗余,实现用前向摄像机输入的序列图像来预测驾驶指令的端到端自动驾驶。利用模拟驾驶环境的数据进行训练和测试,该模型在乡村路、高速路、隧道和山路四个场景中对方向盘转向角预测的均方根误差分别为0.009 14、0.009 48、0.002 89和0.010 78,均低于对比用的英伟达公司提出的方法和基于深度级联神经网络的方法;并且与未使用视觉注意力机制的网络相比,该模型具有更少的网络层数。     

虚拟驾驶环境中车辆智能体的驾驶行为模型

建立虚拟交通环境的多智能体结构,分析车辆智能体的驾驶行为分层模型以及感知、决策和操作等过程。采用模糊专家系统建立车辆智能体的驾驶行为模型。为模拟现实中的驾驶员行为特性,加入驾驶员因子,使驾驶模拟器的虚拟交通环境更符合现实。运用OpenGVS产生和显示实时交互的虚拟驾驶场景。结果表明该模型能体现实际驾驶行为的多样性、随机性和模糊性。该模型通用有效,它使驾驶模拟器的虚拟交通场景更真实满意。     

智能体对手建模研究进展

智能体是人工智能领域的一个核心术语。近年来,智能体技术在自动无人驾驶、机器人系统、 电子商务、传感网络、智能游戏等方面得到了广泛研究与应用。随着系统复杂性的增加,关于智能体的研究重 心由对单个智能体的研究转变为智能体间交互的研究。多个智能体交互场景中,智能体对其他智能体决策行为 的推理能力是非常重要的一个方面,通常可以通过构建参与交互的其他智能体的模型,即对手建模来实现。对 手建模有助于对其他智能体的动作、目标、信念等进行推理、分析和预测,进而实现决策优化。为此,重点关 注智能体对手建模研究,展开介绍关于智能体动作预测、偏好预测、信念预测、类型预测等方面的对手建模 技术,对其中的优缺点进行讨论和分析,并对手建模技术当前面临的一些开放问题进行总结,探讨未来可能 的研究和发展方向。     

强化学习的自动驾驶控制技术研究进展

自动驾驶车辆的本质是轮式移动机器人,是一个集模式识别、环境感知、规划决策和智能控制等功能于一体的综合系统。人工智能和机器学习领域的进步极大推动了自动驾驶技术的发展。当前主流的机器学习方法分为：监督学习、非监督学习和强化学习3种。强化学习方法更适用于复杂交通场景下自动驾驶系统决策和控制的智能处理,有利于提高自动驾驶的舒适性和安全性。深度学习和强化学习相结合产生的深度强化学习方法成为机器学习领域中的热门研究方向。首先对自动驾驶技术、强化学习方法以及自动驾驶控制架构进行简要介绍,并阐述了强化学习方法的基本原理和研究现状。随后重点阐述了强化学习方法在自动驾驶控制领域的研究历史和现状,并结合北京联合大学智能车研究团队的研究和测试工作介绍了典型的基于强化学习的自动驾驶控制技术应用,讨论了深度强化学习的潜力。最后提出了强化学习方法在自动驾驶控制领域研究和应用时遇到的困难和挑战,包括真实环境下自动驾驶安全性、多智能体强化学习和符合人类驾驶特性的奖励函数设计等。研究有助于深入了解强化学习方法在自动驾驶控制方面的优势和局限性,在应用中也可作为自动驾驶控制系统的设计参考。     

自动驾驶汽车视野遮挡场景潜在风险评估

视野遮挡区域的潜在风险对自动驾驶汽车的行驶安全提出了极大挑战.面对难以准确有效地预测、评估潜在风险这一困难,本文提出了一种基于“知识图谱+逻辑推理+贝叶斯推理”的潜在风险评估方法,建立了潜在风险预判模型和潜在风险概率评估模型.潜在风险预判模型通过构建“城市道路驾驶场景知识图谱”描述了场景中实体与实体间的交互关系,并对场景描述信息进行语义转换,采用SWI-Prolog推理机推断当前场景是否存在潜在风险;潜在风险概率评估模型基于贝叶斯网络实现对潜在风险的概率评估.通过现场实验验证,所提方法对潜在风险的推理效果与人类驾驶员推理效果相似,甚至可弥补人类未及时推理出潜在风险的过失.方法适用于城市复杂道路交通,风险评估结果能为自动驾驶或辅助驾驶的行为决策提供有效依据,具有潜在应用价值.     

混行交叉口下智能车辆驾驶轨迹控制方法

考虑车辆之间的相互影响和交通环境的不确定性，且混行交叉口的路况较为复杂，导致驾驶轨迹跟踪控制误差较大。为此提出混行交叉口下智能车辆驾驶轨迹跟踪控制方法。构建智能车辆驾驶模型，在IDM场景计算车辆加速度，确定车速和安全距离。利用线性时变模型将智能车辆驾驶轨迹线性时变表达，并建立轨迹预测方程，求出预测时域状态量和输出量；构建驾驶轨迹限制条件，引入前轮转角的控制量、控制增量与重心偏移角度，通过构建目标函数，计算实际控制量，通过设定理想时间，获取时域内外纵速度，结合欧拉积分完成驾驶轨迹跟踪控制。仿真结果表明，所提方法驾驶轨迹跟踪控制误差小，保证智能车辆安全稳定运行。