基于激光雷达的无人驾驶系统三维车辆检测

本文以开发一套应用于无人驾驶的三维目标检测系统为目标,利用光学成像生成的图像纹理的丰富性、易于辨识场景、点云数据准确的距离信息和深度信息等优点,选择激光雷达和光学相机作为硬件平台,提取有效的场景信息。通过在汽车指定位置安装激光雷达和光学相机,固定其位姿,将激光雷达和相机统一在同一个坐标系中,融合单帧的点云和图像数据重建场景,更好地认知车辆周边的环境,再对融合的数据通过深度学习方法与传统方法识别三维场景地图中物体的位置和种类。     

基于合成数据的水下机器人视觉定位方法

针对水下场景水下机器人(AUV)位姿数据集难以获取、现有的基于深度学习的位姿估计方法无法应用的问题,提出了一种基于合成数据的AUV视觉定位方法。首先基于Unity3D仿真搭建虚拟水下场景,通过虚拟相机获取仿真环境下已知的渲染位姿数据。其次,通过非配对图像转换工作实现渲染图片到真实水下场景下的风格迁移,结合已知渲染图片的位姿信息得到了合成的水下位姿数据集。最后,提出一种基于局部区域关键点投影的卷积神经网络(CNN)位姿估计方法,并基于合成数据训练网络,预测已知参考角点的2维投影,产生2D-3D点对,基于随机一致性采样的Perspective-n-Point(PnP)算法获得相对位置和姿态。本文在渲染数据集以及合成数据集上进行了定量实验,并在真实水下场景进行了定性实验,论证了所提出方法的有效性。实验结果表明,非配对图像转换能够有效消除渲染图像与真实水下图像之间的差距,所提出的局部区域关键点投影方法可以进行更有效的6D位姿估计。     

单目交通场景下基于自标定的车辆三维信息识别算法

获取车辆的三维信息作为车型精确分类的依据,已成为当前越来越重要的研究方向,但交通场景中的监控相机大多为单目相机,由于透视因素无法直接获取车辆位姿、车辆轮廓尺寸等三维信息.针对上述问题,提出单目交通场景下基于自标定的车辆三维信息识别算法,首先根据典型的交通场景,建立单目相机的摄像机模型以及较稳定的单消失点标定模型,完成摄像机标定;接着使用深度学习卷积神经网络中的YOLO模型对交通场景中的车辆进行二维目标检测.在此基础上,提出对角线和消失点约束的非线性优化求解算法,结合标定信息完成车辆的三维信息识别及最佳三维目标检测.在公开数据集BrnoCompSpeed和实际高速公路场景进行了实验,实验结果表明,该算法在多种交通场景下均能有效识别车辆三维信息,平均识别准确率超过90%.     

低质量渲染图像的目标物体6D姿态估计

从图像中获取目标物体的6D位姿信息在机器人操作和虚拟现实等领域有着广泛的应用,然而,基于深度学习的位姿估计方法在训练模型时通常需要大量的训练数据集来提高模型的泛化能力,一般的数据采集方法存在收集成本高同时缺乏3D空间位置信息等问题.鉴于此,提出一种低质量渲染图像的目标物体6D姿态估计网络框架.该网络中,特征提取部分以单张RGB图像作为输入,用残差网络提取输入图像特征;位姿估计部分的目标物体分类流用于预测目标物体的类别,姿态回归流在3D空间中回归目标物体的旋转角度和平移矢量.另外,采用域随机化方法以低收集成本方式构建大规模低质量渲染、带有物体3D空间位置信息的图像数据集Pose6DDR.在所建立的Pose6DDR数据集和LineMod公共数据集上的测试结果表明了所提出位姿估计方法的优越性以及大规模数据集域随机化生成数据方法的有效性.     

基于深度学习的物体点云六维位姿估计方法

物体位姿估计是机器人在散乱环境中实现三维物体拾取的关键技术,然而目前多数用于物体位姿估计的深度学习方法严重依赖场景的RGB信息,从而限制了其应用范围。提出基于深度学习的六维位姿估计方法,在物理仿真环境下生成针对工业零件的数据集,将三维点云映射到二维平面生成深度特征图和法线特征图,并使用特征融合网络对散乱场景中的工业零件进行六维位姿估计。在仿真数据集和真实数据集上的实验结果表明,该方法相比传统点云位姿估计方法准确率更高、计算时间更短,且对于疏密程度不一致的点云以及噪声均具有更强的鲁棒性。     

基于改进PointNet网络的三维手姿估计方法

针对单幅深度图像三维手姿估计中由于手部复杂结构捕捉困难导致的精度低和鲁棒性较差的问题,提出一种基于改进PointNet网络的三维手姿估计方法。该方法首先采用边界框定位网络预测三维边界框,从而准确裁剪手部区域。然后将手部深度图像表示为点云,模拟手部可见表面,有效地利用深度图像中的三维信息。最后将手部点云数据输入改进的PointNet网络,准确地进行三维手姿估计。改进的PointNet网络通过引入跳跃连接,充分利用不同层次的特征,更好地捕捉手部的复杂结构。在NYU手姿数据集上进行验证,实验结果表明,提出的方法优于现有的大部分方法,并且网络结构简单、易于训练,运行速度快。     

基于循环卷积神经网络的单目视觉里程计

提出了一种基于卷积长短期记忆(LSTM)网络和卷积神经网络(CNN)的单目视觉里程计方法,命名为LSTMVO(LSTM visual odometry).LSTMVO采用无监督的端到端深度学习框架,对单目相机的6-DoF位姿以及场景深度进行同步估计.整个网络框架包含位姿估计网络以及深度估计网络,其中位姿估计网络是以端到端方式实现单目位姿估计的深度循环卷积神经网络(RCNN),由基于卷积神经网络的特征提取和基于循环神经网络(RNN)的时序建模组成,深度估计网络主要基于编码器和解码器架构生成稠密的深度图.同时本文还提出了一种新的损失函数进行网络训练,该损失函数由图像序列之间的时序损失、深度平滑度损失和前后一致性损失组成.基于KITTI数据集的实验结果表明,通过在原始单目RGB图像上进行训练,LSTMVO在位姿估计精度以及深度估计精度方面优于现有的主流单目视觉里程计方法,验证了本文提出的深度学习框架的有效性.     

基于K-Means聚类与深度学习的RGB-D SLAM算法

传统的RGB-D视觉同时定位与制图（SLAM）算法在动态场景中识别动态特征时会产生数据错误关联,导致视觉SLAM估计姿态精度退化。提出一种适用于动态场景的RGB-D SLAM算法,利用全新的跨平台神经网络深度学习框架检测场景中的动态语义特征,并分割提取对应的动态语义特征区域。结合深度图像的K均值聚类算法和动态语义特征区域对点特征深度值进行聚类,根据聚类结果剔除动态特征点,同时通过剩余特征点计算RGB-D相机的位姿。实验结果表明,相比ORB-SLAM2、OFD-SLAM、MR-SLAM等算法,该算法能够减小动态场景下的跟踪误差,提高相机位姿估计的精度和鲁棒性,其在TUM动态数据集上相机绝对轨迹的均方根误差约为0.019 m。     

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建（SLAM）系统中影响位姿估计的问题，提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后，首先用PSPNet（Pyramid Scene Parsing Network）对图像进行语义分割；之后提取图像特征点，剔除分布在动态物体内的特征点，并用静态的特征点进行相机位姿估计；最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明，相对于使用SegNet网络的SLAM系统，所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降，平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明，改进的系统能够显著减小动态场景下位姿估计的误差，准确地在动态场景中进行相机位姿估计。     

基于目标检测的室内动态场景定位与建图

针对室内场景中动态对象严重影响相机位姿估计准确性的问题,提出一种基于目标检测的室内动态场景同步定位与地图构建（SLAM）系统。当相机捕获图像后,首先,利用YOLOv4目标检测网络检测环境中的动态对象,并生成对应边界框的掩膜区域;然后,提取图像中的ORB特征点,并将掩膜区域内部的特征点剔除掉;同时结合GMS算法进一步剔除误匹配,并仅利用剩余静态特征点来估计相机位姿;最后,完成滤除动态对象的静态稠密点云地图和八叉树地图的构建。在TUM RGB-D公开数据集上进行的多次对比测试的结果表明,相对于ORB-SLAM2系统、GCNv2_SLAM系统和YOLOv4+ORB-SLAM2系统,所提系统在绝对轨迹误差（ATE）和相对位姿误差（RPE）上有明显的降低,说明该系统能够显著提高室内动态环境中相机位姿估计的准确性。     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

单目相机轨迹的真实尺度恢复

目的单目相机运动轨迹恢复由于输入只有单目视频序列而缺乏尺度信息,生成的轨迹存在严重漂移而无法进行高精度应用。为了能够运用单目相机普及度高、成本低的优势,提出一种基于场景几何的方法在自动驾驶领域进行真实尺度恢复。方法首先使用深度估计网络对连续图像进行相对深度估计,利用估计的深度值将像素点从2维平面投影到3维空间。然后对光流网络估计出的光流进行前后光流一致性计算得到有效匹配点,使用传统方法求解位姿,使相对深度与位姿尺度统一。再利用相对深度值计算表面法向量图求解地面点群,通过几何关系计算相同尺度的相机高度后引入相机先验高度得到初始尺度。最后为了减小图像噪声对尺度造成的偏差,由额外的车辆检测模块计算出的补偿尺度与初始尺度加权得到最终尺度。结果实验在KITTI(Karlsruhe Institute of Technology and Toyota Technological at Chicago)自动驾驶数据集上进行,相机运动轨迹和图像深度均在精度上得到提高。使用深度真实值尺度还原后的相对深度的绝对误差为0.114,使用本文方法进行尺度恢复后的绝对深度的绝对误差为0.116。对得到的相机运动轨...     

基于动态遍历的分层特征网络视觉定位

采用分层特征网络估计查询图像的相机位姿,会出现检索失败和检索速度慢的问题。对分层特征网络进行分析,提出采用动态遍历与预聚类的视觉定位方法。依据场景地图进行图像预聚类,利用图像全局描述符获得候选帧集合并动态遍历查询图像,利用图像局部特征描述符进行特征点匹配,通过PnP算法估计查询图像的相机位姿,由此构建基于MobileNetV3的分层特征网络,以准确提取全局描述符与局部特征点。在典型数据集上与AS、CSL、DenseVLAD、NetVLAD等主流视觉定位方法的对比结果表明,该方法能够改善光照与季节变化场景下对候选帧的检索效率,提升位姿估计精度和候选帧检索速度。     

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。     

基于图像配准的无人飞行器视觉定位

提出了一种基于图像配准的无人飞行器定位方法,借助卫星地图来估计无人飞行器的位置和姿态,在出现噪声或不可靠的卫星导航系统信号时,帮助无人飞行器进行定位导航。基于空中无人飞行器拍摄的连续图像和一张基准卫星图像,输入无人飞行器相机拍摄的实时图像和卫星图像,由卷积神经网络来提取相关特征并进行位姿推断,输出无人飞行器的位姿估计。使用多条模拟无人飞行器飞行轨迹视角图像和卫星基准图像的数据集,来训练和测试网络。结果显示,该方法能够稳定实现无人飞行器的视觉定位,仅需要一张容易获取和存储的地理参考卫星地图。     

基于图像重建的深度估计方法

实现可靠精度的深度估计是三维目标检测方法的关键,该文提出了一种图像深度估计方法。基于深度学习方法,通过训练深度神经网络,从立体图像的一幅图像中重建另一幅图像实现深度估计,并在训练中采用最小化深度误差替代最小化视差误差,利用立体图像对的几何约束引入左右视图一致性损失实现更加精确的深度估计。针对图像真实深度数据获取困难、数据集制作成本高的问题,构建了基于图像重建的自监督训练的图像深度估计框架,不需要图像真实深度数据,节省了数据集制作成本;针对深度估计误差随深度的增加急剧增大的问题,采用最小化深度误差替代最小化视差误差,解决了深度估计网络过分强调近处的微小深度误差而忽略远处深度误差的问题。另外,该文还充分利用了立体图像对的几何约束,在训练中引入左右视图一致性损失来提高深度估计的准确性。实验验证了提出的图像深度估计方法在性能上优于现有的其他方法,对远处区域和细小目标进行深度估计时具有更好的性能。     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

平行点云: 虚实互动的点云生成与三维模型进化方法

三维信息的提取在自动驾驶等智能交通场景中正发挥着越来越重要的作用, 为了解决以激光雷达为主的深度传感器在数据采集方面面临的成本高、样本覆盖不全面等问题, 本文提出了平行点云的框架. 利用人工定义场景获取虚拟点云数据, 通过计算实验训练三维模型, 借助平行执行对模型性能进行测试, 并将结果反馈至数据生成和模型训练过程. 通过不断地迭代, 使三维模型得到充分评估并不断进化. 在平行点云的框架下, 我们以三维目标检测为例, 通过闭环迭代, 构建了虚实结合的点云数据集, 在无需人工标注的情况下, 可达到标注数据训练模型精度的72%.     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

基于深度学习的微信小程序图像识别系统

为提高用户在移动端的图像识别体验,设计基于深度学习的微信小程序图像识别系统。该系统的总体架构包括微信小程序前端和后台服务器两部分。在微信小程序端,用户可通过相机拍摄或加载本地图片进行图像采集。在服务器端,经过图像预处理和基于深度学习的目标识别,识别结果再通过应用程序编程接口（Application Programming Interface,API）传输回微信小程序进行展示。选择CIFAR-100数据集,设计并训练卷积神经网络用于目标识别,最终的测试结果证明了该系统的有效性。