基于深度级联神经网络的自动驾驶运动规划模型

针对基于规则的运动规划算法需要预先定义规则和基于深度学习的方法没有利用时间特征的问题，提出一种基于深度级联神经网络的运动规划模型。该模型将卷积神经网络（CNN）和长短期记忆网络（LSTM）这两种经典的深度学习模型进行融合并构成一种新的级联神经网络，分别提取输入图像的空间和时间特征，并用以拟合输入序列图像与输出运动参数之间的非线性关系，从而完成从输入序列图像到运动参数的端到端的规划。实验利用模拟驾驶环境的数据进行训练和测试，结果显示所提模型在乡村路、高速路、隧道和山路四种道路中均方根误差（RMSE）不超过0.017，且预测结果的稳定度优于未使用级联网络的算法一个数量级。结果表明，所提模型能有效地学习人类的驾驶行为，并且能够克服累积误差的影响，适应多种不同场景下的路况，具有较好的鲁棒性。     

基于深度视觉注意神经网络的端到端自动驾驶模型

针对现有端到端自动驾驶方法中存在的驾驶指令预测不准确、模型结构体量大和信息冗余多等问题,提出一种新的基于深度视觉注意神经网络的端到端自动驾驶模型。为了更有效地提取自动驾驶场景的特征,在端到端自动驾驶模型中引入视觉注意力机制,将卷积神经网络、视觉注意层和长短期记忆网络进行融合,提出一种深度视觉注意神经网络。该网络模型能够有效提取驾驶场景图像的空间特征和时间特征,并关注重要信息且减少信息冗余,实现用前向摄像机输入的序列图像来预测驾驶指令的端到端自动驾驶。利用模拟驾驶环境的数据进行训练和测试,该模型在乡村路、高速路、隧道和山路四个场景中对方向盘转向角预测的均方根误差分别为0.009 14、0.009 48、0.002 89和0.010 78,均低于对比用的英伟达公司提出的方法和基于深度级联神经网络的方法;并且与未使用视觉注意力机制的网络相比,该模型具有更少的网络层数。     

基于DQN算法的无人机校园安全监控路径自动规划模型

在校园安全管理中,传统的定期定点巡逻和摄像头监控难以覆盖整个校园,而无人机监控则可以弥补上述缺点。由于当前的无人机路径规划算法难以保证信息的时效性,因此,研究提出了基于深度Q网络的路径规划算法。实验结果显示,深度Q网络的成功率随着测试次数的增加而升高,最终稳定在0.79左右,高于基于信息年龄的轨迹规划算法和Q学习算法。同时深度Q网络规划的路径拐点数量仅为16个,覆盖率趋近于1,均优于其余算法。在自由空间和建筑密集空间中,深度Q网络的成功率最终分别稳定在0.99和0.86左右,平均步数均未超过100步。上述结果表明,基于深度Q网络的无人机路径规划算法能高效稳定地实现最优路径规划,实现对校园安全的无死角实时监控。     

基于深度学习的三维目标检测算法综述

随着自动驾驶行业的快速发展,基于深度学习的三维目标检测技术也得到了快速发展,目前自动驾驶汽车主要依赖图像与激光雷达点云进行环境感知。基于这两种数据的三维目标检测技术可提取出物体的空间结构信息,包括物体的姿态、尺寸、运动方向、形状等,因此该技术不仅可用于自动驾驶的感知,还可用于工业机器人对物体的识别与抓取,以及仓储机器人的视觉导航等。近年来,计算能力的提升、数据集的公开、深度学习的发展,为三维目标检测算法带来了巨大的变革。     

基于多摄像头的AGV全局导航地图创建

为了创建AGV大范围全局导航地图,论文提出一种基于多摄像头的全局导航地图创建方法.首先,在AGV活动区域上方垂直安装多个摄像头采集大范围区域的局部图像;其次,通过相位相关法和改进的SURF特征匹配相结合的算法对四幅局部图像进行拼接;最后,采用基于粒子群的模糊C均值聚类算法对全局图像进行分割提取障碍物信息,并建立室内环境全局导航地图.实验表明该方法与现有算法相比具有更好的实时性,能够快速建立全局导航地图.     

基于时空感知增强的深度Q网络无人水面艇局部路径规划

无人水面艇局部路径规划在海事救援、海洋运输等领域中发挥着重要的作用。现有局部路径规划算法在简单场景中取得了不错的效果,但面对环境中存在的复杂障碍物和海流干扰时,性能表现较差。为此,提出了一种基于时空感知增强的深度Q网络强化学习算法,首先,引入多尺度空间注意力模块捕捉距离传感器的多尺度空间信息,提升了复杂障碍物环境的感知能力;其次,利用基于长短时记忆网络的海流感知模块提取海流干扰环境的时间序列特征,增强了对海流干扰的感知能力;此外,对无人水面艇传感器和运动模型进行了模拟,并设计了强化学习状态空间、动作空间和基于方向导引的奖励函数,提升了算法的导航性能和收敛速度。在复杂仿真场景中进行了实验,结果表明,所提算法相比于原始算法在导航成功率和平均到达时间两个指标上均得到了提升,算法表现出较强的复杂环境适应性。     

基于光照不均的场景文本提取算法

场景文本检测与识别对于自然场景的理解、图像中物体信息的获取以及自动驾驶与导航等研究有非常重要的作用.其中文本字符提取属于场景文本检测与识别的一个分支.在自然场景中,针对当前场景文本图像的不均匀照明等问题,提出一种基于边缘检测和改进的全局自适应文本提取模型结合的文本检测提取方法.首先,对输入的图像先做灰度处理和边缘检测,...     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

一种多特征融合的高分辨率遥感图像道路提取算法

利用高分辨率遥感图像提取道路网络对于规划导航等方面具有重要的意义。针对现有道路提取算法的深层次特征挖掘和特征间信息融合存在的不足,提出了一种多特征融合的高分辨率遥感图像道路提取算法。首先,通过图像分割的方式完成对象表达,并提取一种新的空间特征———二阶矩特征对复杂道路形状进行描述;然后利用一种多特征融合方式将光谱特征与空间特征融合,并通过基于机器学习的方法提取初始道路网络;最后利用二阶矩特征实现道路网络的精化。实验结果表明,该算法相比现有算法实验效果更优、鲁棒性更强。     

一种多特征融合的高分辨率遥感图像道路提取算法

利用高分辨率遥感图像提取道路网络对于规划导航等方面具有重要的意义。针对现有道路提取算法的深层次特征挖掘和特征间信息融合存在的不足,提出了一种多特征融合的高分辨率遥感图像道路提取算法。首先,通过图像分割的方式完成对象表达,并提取一种新的空间特征——二阶矩特征对复杂道路形状进行描述;然后利用一种多特征融合方式将光谱特征与空间特征融合,并通过基于机器学习的方法提取初始道路网络;最后利用二阶矩特征实现道路网络的精化。实验结果表明,该算法相比现有算法实验效果更优、鲁棒性更强。     

视觉感知的端到端自动驾驶运动规划综述

视觉感知模块能够利用摄像机等视觉传感器获取丰富的图像和视频信息,进而检测自动驾驶汽车视野中的车辆、行人与交通标识等信息,是自动驾驶最有效、成本最低的感知方式之一。运动规划为自主车辆提供从车辆初始状态到目标状态的一系列运动参数和驾驶动作,而端到端的模型能够直接从感知的数据获取车辆的运动参数,因而受到广泛的关注。为了全面反映视觉感知的端到端自动驾驶运动规划方法的研究进展,本文对国内外公开发表的具有代表性和前沿的论文进行了概述。首先分析端到端方法的应用,以及视觉感知和运动规划在端到端自动驾驶中的作用,然后以自主车辆的学习方式作为分类依据,将视觉感知的端到端自动驾驶运动规划的实现方法分为模仿学习和强化学习两大类,并对各类方法的不同算法进行了归纳和分析;考虑到现阶段端到端模型的研究面临着虚拟到现实的任务,故对基于迁移学习的方法进行了梳理。最后列举与自动驾驶相关的数据集和仿真平台,总结存在的问题和挑战,对未来的发展趋势进行思考和展望。视觉感知的端到端自动驾驶运动规划模型的普适性强且结构简单,这类方法具有广阔的应用前景和研究价值,但是存在不可解释和难以保证绝对安全的问题,未来需要更多的研究改善端到端模型存在的局限性。     

基于运动微分约束的无人车辆纵横向协同规划算法的研究

为了满足在动态环境中快速行驶的要求,现有无人车辆普遍采用在传统规划系统的两层结构（路径规划-路径跟踪）之间增加局部规划的方法,通过在路径跟踪的同时进行避障来减少耗时的全局路径重规划. 本文针对这种三层结构规划系统存在的问题,提出基于运动微分约束的纵横向协同规划算法,在真实环境中实现速度不超过40km/h的无人驾驶. 根据车辆的实时运动状态,用高阶多项式模型在预瞄距离内对可行驶曲线进行建模,不仅使行驶过程中的转向平稳,而且在较高速时仍具有良好的路径跟踪能力. 由横向规划提供横向安全性的同时,在动力学约束的速度容许空间中进行纵向规划,实现平顺的加速与制动,并保证了纵向安全性和侧向稳定性. 该算法根据实时的局部环境自动决定纵横向期望运动参数,不需要人为设定行驶模式或调整参数. 采用该算法的无人驾驶平台在2011年和2012年智能车未来挑战赛的真实交通环境中,用统一的程序框架顺利完成全程的无人驾驶.     

深度强化学习及在路径规划中的研究进展

路径规划的目的是让机器人在移动过程中既能避开障碍物,又能快速规划出最短路径。在分析基于强化学习的路径规划算法优缺点的基础上,引出能够在复杂动态环境下进行良好路径规划的典型深度强化学习DQN（Deep Q-learning Network）算法。深入分析了DQN算法的基本原理和局限性,对比了各种DQN变种算法的优势和不足,进而从训练算法、神经网络结构、学习机制、AC（Actor-Critic）框架的多种变形四方面进行了分类归纳。提出了目前基于深度强化学习的路径规划方法所面临的挑战和亟待解决的问题,并展望了未来的发展方向,可为机器人智能路径规划及自动驾驶等方向的发展提供参考。     

A survey of deep learning techniques for autonomous driving

The last decade witnessed increasingly rapid progress in self‐driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence (AI). The objective of this paper is to survey the current state‐of‐the‐art on deep learning technologies used in autonomous driving. We start by presenting AI‐based self‐driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration, and motion control algorithms. We investigate both the modular perception‐planning‐action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources, and computational hardware. The comparison presented in this survey helps gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices.     

协同运动状态估计的多目标跟踪算法

多目标跟踪在视频分析场景中有着广泛的应用,如人机交互、虚拟现实、自动驾驶、视频监控和机器人导航等。多目标跟踪问题可以表示为在已有的检测数据上进行目标轨迹关联,检测算法的准确性对跟踪性能起着关键性的作用。在基于检测的目标跟踪框架中,提出了一种协同运动状态估计的跟踪算法,该算法主要关注相邻帧之间的数据关联,从目标检测、目标运动状态估计和数据关联这3个方面来直接解决多目标跟踪面临的挑战。首先,对于目标检测,采用Multi Scale Convolutional Neural Network(MS-CNN)算法作为检测器,这是因为深度学习在检测的效益上优于传统的机器学习方法;其次,为了更好地预测目标的运动状态和处理目标间的遮挡,针对不同状态的目标采取不同的运动估计方法: 采用核相关滤波来评估处于跟踪状态的目标的运动状态,当目标处于遮挡状态时,采用卡尔曼滤波做运动估计;最后,采用Kuhn-Munkres算法对检测目标和跟踪轨迹做数据关联。通过大量的实验证实了算法的有效性,且实验结果表明算法的准确性很高。     

自动驾驶模糊神经网络速度规划方法

为提升自动驾驶的舒适性,降低速度规划算法的复杂度,提出了一种基于模糊神经网络的纵向速度规划方法。将人工驾驶经验总结为模糊规则表,建立了模糊速度规划模型,结合神经网络的自学习功能修正模糊速度规划模型,建立了模糊神经网络速度规划模型。分析了静态障碍物和动态障碍物场景,通过仿真验证了所提速度规划方法的可行性,与传统方法相比,加速度的平滑性能更好。所提速度规划方法具有一定的抗干扰性能,工程实现简单,保证了速度规划的实时性与稳定性。     

融合对比预测编码的深度双Q网络

在模型未知的部分可观测马尔可夫决策过程（partially observable Markov decision process,POMDP）下,智能体无法直接获取环境的真实状态,感知的不确定性为学习最优策略带来挑战。为此,提出一种融合对比预测编码表示的深度双Q网络强化学习算法,通过显式地对信念状态建模以获取紧凑、高效的历史编码供策略优化使用。为改善数据利用效率,提出信念回放缓存池的概念,直接存储信念转移对而非观测与动作序列以减少内存占用。此外,设计分段训练策略将表示学习与策略学习解耦来提高训练稳定性。基于Gym-MiniGrid环境设计了POMDP导航任务,实验结果表明,所提出算法能够捕获到与状态相关的语义信息,进而实现POMDP下稳定、高效的策略学习。