基于地面先验的3D目标检测算法

为了提高自动驾驶汽车环境感知的性能,增强单目相机对障碍物三维和边界信息的感知能力,提出了一种基于地面先验的3D目标检测算法。基于优化的中心网络(CenterNet)模型,以DLA(deep layer aggregation)为主干网络,增加目标3D边沿框中心点冗余信息预测。根据自动驾驶场景的地面先验信息,结合针孔相机模型,获取目标3D中心深度信息,以优化深度网络学习效果。使用KITTI 3D数据集评测算法性能,结果表明:在保证2D目标检测准确性的基础上,该算法运行帧率约20 fps,满足自动驾驶感知实时性要求;同时相比于CenterNet模型,在平均方位角得分(average orientation score)和鸟视图平均准确率(bird eye view AP)上分别有4.4和4.4%的性能提升。因而,该算法可以提高自动驾驶汽车对障碍物三维和边界信息的感知能力。     

辅助实现机器人驾驶车辆的研究与仿真

针对机器人驾驶汽车在未知复杂环境下行驶的问题,提出一种基于图像的辅助实现机器人驾驶车辆的方法.根据机器人驾驶过程中所拍摄的路面图像,在图像中取一点作为车辆行驶的目标位置点;根据此点的位置,计算出车辆行驶时的转弯半径;对方向盘转角与转弯半径之间的关系进行曲线拟合,计算得出方向盘的转角;根据转角信息在图像上画出可供参考的车辆可行驶辅助线.本文算法利用matlab进行了仿真研究,实验结果表明,采用这种方法获取辅助线能够较为准确的作为车辆行驶的参考,为辅助机器人驾驶车辆行驶带来了很大的便利.     

引入深度补全与实例分割的三维目标检测

三维目标检测是自动驾驶系统与机器人系统的关键技术,目前对该技术的研究大多基于深度相机获取的RGB-D图,但在室外自动驾驶场景中,输入雷达点云更符合三维目标检测系统的应用环境。以RGB图与雷达点云为输入,结合IP-Basic算法在消除噪声的同时将稀疏雷达点云补全成稠密深度图;采用降维原理,结合Mask R-CNN在RGB图上进行实例分割,进而提取目标在深度图上的对应区域;结合点云的自然不变性,将目标对应深度图转化为点云后输入到卷积神经网络进行特征学习。在公开数据集Kitti上进行实验,实验结果表明:该方法在公开三维目标检测数据集上达到了较好的检测精度。     

3D物体检测的异构方法

3D物体检测是计算机视觉的一个重要研究方向,在自动驾驶等领域有着广泛的应用.现有的前沿工作采用端到端的深度学习方法,虽然达到了很好的检测效果但存在着算法复杂度高、计算量大、实时性不够等问题.经过分析发现3D物体检测中的"部分任务"并不适合使用深度学习的方法进行解决,为此提出了一种基于异构方法的3D物体检测方法,该方法在检测过程中同时使用深度学习和传统算法,将检测过程划分为多任务阶段:1)利用深度学习方法从被检测图片中获取被检测物体的mask、物体类别等信息;2)基于mask,利用快速聚类方法从雷达点云空间中筛选出目标物体的表面雷达点;3)利用物体mask、类别、雷达点云等信息计算物体朝向、边框等信息,最终实现3D物体检测.对该方法进行了系统实现,称之为HA3D(a heterogeneous approach for 3D object detection).经实验表明:在针对汽车的3D检测数据集KITTI上,该方法与代表性的基于深度学习的3D物体检测方法相比,在检测精度下降接受范围内(2.0％),速度提升了52.2％,精确率与计算时间的比值提升了49％.从综合表现上来看,方法具有明显的优势.     

基于PSO-IGA算法的高性能十字阵列的设计与综合

前碰撞预警系统是安全辅助驾驶领域的一项重要部分,通过计算机处理交通环境信息,当检测到潜在危险时,及时提醒并辅助驾驶员。采用计算机视觉方法,通过目标检测和跟踪算法,获取图像中目标车辆的位置和轨迹信息,并利用相机标定,计算当前车辆和前方车辆在世界坐标系中的距离、速度及轨迹等信息,综合该信息,实现前车碰撞时间预警、前车并线预警以及非机动车预警算法。在前车并线过程中,利用轨迹信息实时检测前车并线意图,及时提示驾驶员注意避让前方车辆。实验表明,本文提出的预警算法具有较高的准确性和鲁棒性,特别在高架或高速道路场景下,并线预警算法能检测到前车的并线意图,及时预警。     

单目交通场景下基于自标定的车辆三维信息识别算法

获取车辆的三维信息作为车型精确分类的依据,已成为当前越来越重要的研究方向,但交通场景中的监控相机大多为单目相机,由于透视因素无法直接获取车辆位姿、车辆轮廓尺寸等三维信息.针对上述问题,提出单目交通场景下基于自标定的车辆三维信息识别算法,首先根据典型的交通场景,建立单目相机的摄像机模型以及较稳定的单消失点标定模型,完成摄像机标定;接着使用深度学习卷积神经网络中的YOLO模型对交通场景中的车辆进行二维目标检测.在此基础上,提出对角线和消失点约束的非线性优化求解算法,结合标定信息完成车辆的三维信息识别及最佳三维目标检测.在公开数据集BrnoCompSpeed和实际高速公路场景进行了实验,实验结果表明,该算法在多种交通场景下均能有效识别车辆三维信息,平均识别准确率超过90%.     

基于深度学习的三维目标检测算法综述

随着自动驾驶行业的快速发展,基于深度学习的三维目标检测技术也得到了快速发展,目前自动驾驶汽车主要依赖图像与激光雷达点云进行环境感知。基于这两种数据的三维目标检测技术可提取出物体的空间结构信息,包括物体的姿态、尺寸、运动方向、形状等,因此该技术不仅可用于自动驾驶的感知,还可用于工业机器人对物体的识别与抓取,以及仓储机器人的视觉导航等。近年来,计算能力的提升、数据集的公开、深度学习的发展,为三维目标检测算法带来了巨大的变革。     

基于边缘特征的车道偏移检测与预警

车道偏移的检测是智能车辆辅助驾驶系统中的重要技术问题之一.通过基于灰度阈值分割的梯度边缘检测技术,在对路面图像进行边缘检测的同时,配合以路面的灰度信息,准确地分离出车道标志线的边缘,再依此定义车道的跟踪区域--感兴趣区域(ROI),利用车道边缘信息定义边缘分布函数EDF(Edge Distribution Function),通过对跟踪区域中车道线梯度方向的分析,获取两条车道标志线在道路图像中的方向,以此作为车道偏移判断与预警的主要根据.该方法能够有效地抑制图像中非线性物体的干扰,是一种有效、可靠的车道偏移检测与预警方法.     

交通监控场景下的相机标定与车辆速度测量

针对交通监控场景中对车辆速度测量的需求,提出了一种相机标定方法和车辆速度测量方案。首先,通过深度学习YOLO检测算法和光流跟踪算法对图像中的车辆目标进行检测和跟踪,根据获得的轨迹集合使用级联霍夫变换计算出道路方向上的消失点,从而检测出道路上的标志线。之后根据消失点和标志线,使用试探焦距思想完成相机标定任务。最后通过计算多帧之间瞬时速度的平均值来实现车辆速度的测量。通过真实交通监控场景的实验结果表明,这种基于消失点的自动相机标定方法具有较好的稳定性和较高的标定精度,能够满足车辆速度测量和实际工程应用的需求。     

基于路侧单目相机的自主行驶平台三维检测方法

针对自主行驶平台自身定位问题,结合车路协同技术提出基于路侧单目相机的自主行驶平台三维检测方法。该方法首先标定路侧单目相机参数,其次采用Y0L0v7模型进行二维目标检测,最后采用基于标定的三维坐标计算模块获取自主行驶平台三维坐标,并进行可视化三维框显示。设计方法充分考虑了边缘计算资源限制和检测速度要求,能够快速获取到自主行驶平台的辅助定位信息,为之后平台融合定位提供决策依据,有助于进一步提高自主行驶平台在信号弱路段的定位精度。     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

基于目标检测的机器人手眼标定方法

智能协作机器人依赖视觉系统感知未知环境中的动态工作空间定位目标,实现机械臂对目标对象的自主抓取回收作业。RGB-D相机可采集场景中的彩色图和深度图,获取视野内任意目标三维点云,辅助智能协作机器人感知周围环境。为获取抓取机器人与RGB-D相机坐标系之间的转换关系,提出基于yolov3目标检测神经网络的机器人手眼标定方法。将3D打印球作为标靶球夹持在机械手末端,使用改进的yolov3目标检测神经网络实时定位标定球的球心,计算机械手末端中心在相机坐标系下的3D位置,同时运用奇异值分解方法求解机器人与相机坐标系转换矩阵的最小二乘解。在6自由度UR5机械臂和Intel RealSense D415深度相机上的实验结果表明,该标定方法无需辅助设备,转换后的空间点位置误差在2 mm以内,能较好满足一般视觉伺服智能机器人的抓取作业要求。     

基于SMPL模型的人体姿态估计

针对目前人体形变模型中姿态估计算法容易出现误差、信息缺失等问题,提出一种利用深度相机获取的人体三维信息来优化模型的方法.通过深度相机Kinect获取的三维骨架信息,与SMPL模型进行配准,修正原始的模型姿态,得到一个接近人体真实姿态的模型.实验结果表明,融合人体三维信息后,模型的准确性得到一定程度上的提高.     

车载双目相机与惯性导航融合下的道路信息采集

为了准确快速的收集道路信息,提出了利用车载深度相机和惯性导航的信息采集方法。车辆在道路上行驶,每行驶一段距离则拍摄一张道路照片,获取图片的同时深度相机也会采集图片里每个像素的深度信息,惯性导航给出拍摄时车辆的方位角和经纬度,以车辆为起点利用公式反推所需目标像素点的经纬度坐标,从而实现对目标的定位。实验结果表明,当每20...     

基于激光雷达的无人驾驶系统三维车辆检测

本文以开发一套应用于无人驾驶的三维目标检测系统为目标,利用光学成像生成的图像纹理的丰富性、易于辨识场景、点云数据准确的距离信息和深度信息等优点,选择激光雷达和光学相机作为硬件平台,提取有效的场景信息。通过在汽车指定位置安装激光雷达和光学相机,固定其位姿,将激光雷达和相机统一在同一个坐标系中,融合单帧的点云和图像数据重建场景,更好地认知车辆周边的环境,再对融合的数据通过深度学习方法与传统方法识别三维场景地图中物体的位置和种类。     

基于Kinect的行人检测方法研究

行人检测技术是车辆辅助驾驶系统的基础技术,在车辆辅助驾驶系统中起着举足轻重的作用。笔者在国内行人检测技术研究基础上,在视觉传感器上找到突破,利用Kinect能获取行人关节的特点,创新性地采用Kinect对实际道路上的行人进行实时检测。实际道路检测表明,Kinect在开阔的道路上可准确实时地检测出行人,漏检率较低,满足实时性要求,但易受光照、遮挡以及行人姿态的影响。     

三维目标检测中的先验方向角估计

为了解决基于2. 5维信息进行三维目标检测的方法中方向角的先验信息未得到充分利用的问题,从RGB-D相机获取的深度信息出发,提出一种新的基于二维图像估计先验方向角的三维目标检测方法。通过颜色信息和深度信息得到二维的分割实例,并在分割实例上提取关键点;通过关键点的优化过程排除不确定点和修正误判点;通过点云重建得到关键点的三维坐标,根据关键点的坐标估计目标的方向角,并将其作为初始化三维框的方向角。实验结果表明,所提方法在Amodal3Det方法的基础上提高了1. 3%的平均检测精度。     

单目相机轨迹的真实尺度恢复

目的 单目相机运动轨迹恢复由于输入只有单目视频序列而缺乏尺度信息,生成的轨迹存在严重漂移而无法进行高精度应用。为了能够运用单目相机普及度高、成本低的优势,提出一种基于场景几何的方法在自动驾驶领域进行真实尺度恢复。方法 首先使用深度估计网络对连续图像进行相对深度估计,利用估计的深度值将像素点从2维平面投影到3维空间。然后对光流网络估计出的光流进行前后光流一致性计算得到有效匹配点,使用传统方法求解位姿,使相对深度与位姿尺度统一。再利用相对深度值计算表面法向量图求解地面点群,通过几何关系计算相同尺度的相机高度后引入相机先验高度得到初始尺度。最后为了减小图像噪声对尺度造成的偏差,由额外的车辆检测模块计算出的补偿尺度与初始尺度加权得到最终尺度。结果 实验在KITTI （Karlsruhe Institute of Technology and Toyota Technological at Chicago）自动驾驶数据集上进行,相机运动轨迹和图像深度均在精度上得到提高。使用深度真实值尺度还原后的相对深度的绝对误差为0.114,使用本文方法进行尺度恢复后的绝对深度的绝对误差为0.116。对得到的相机运动轨迹在不同复杂路径中进行对比测试,使用尺度恢复的距离与真实距离误差为2.67%,恢复出的轨迹相比传统方法的ORB-SLAM2（oriented FAST and rotated BRIEF-simultaneous localization and mapping）更接近真实轨迹。结论 本文仅以单目相机图像作为输入,在自动驾驶数据集中利用自监督学习方法,不需要真实深度标签进行训练,利用场景中的几何约束对真实尺度进行恢复,恢复出的绝对深度和真实轨迹均在精度上有所提高。相比于传统方法在加入真实尺度后偏移量误差更低,且计算速度快、鲁棒性高。     

基于DSP的车道偏离检测与车辆前向车距检测

基于智能交通的快速发展,研究了在高速路段下基于机器视觉的车道偏离检测与车辆前向安全车距检测技术.首先固定车载相机,通过相机标定获取相机的内参数和外参数,进而设计车距检测模型.该模型不但能够检测出前方车辆与无人车的距离,还能计算出前方车辆相对于摄像机光轴的偏转角度.接着在CCP偏离检测算法的基础上,设定安全和报警区来建立车道偏离模型,并对当前车辆的偏离结果作出正常行驶的评判.最后借助TI的DVSDK组件包将算法移植到嵌入式平台DSP-DM3730上测试.实验表明,本文设计的车距检测模型和车道偏离模型在解决无人车的前向防撞检测和车道偏离检测等问题上具有较好的参考价值.     

基于深度强化学习的无信号灯交叉路口车辆控制

利用深度强化学习技术实现无信号灯交叉路口车辆控制是智能交通领域的研究热点。现有研究存在无法适应自动驾驶车辆数量动态变化、训练收敛慢、训练结果只能达到局部最优等问题。文中研究在无信号灯交叉路口,自动驾驶车辆如何利用分布式深度强化方法来提升路口的通行效率。首先,提出了一种高效的奖励函数,将分布式强化学习算法应用到无信号灯交叉路口场景中,使得车辆即使无法获取整个交叉路口的状态信息,只依赖局部信息也能有效提升交叉路口的通行效率。然后,针对开放交叉路口场景中强化学习方法训练效率低的问题,使用了迁移学习的方法,将封闭的8字型场景中训练好的策略作为暖启动,在无信号灯交叉路口场景继续训练,提升了训练效率。最后,提出了一种可以适应所有自动驾驶车辆比例的策略,此策略在任意比例自动驾驶车辆的场景中均可提升交叉路口的通行效率。在仿真平台Flow上对TD3强化学习算法进行了验证,实验结果表明,改进后的算法训练收敛快,能适应自动驾驶车辆比例的动态变化,能有效提升路口的通行效率。