融合二维图像和三维点云的相机位姿估计

为了准确地在特定三维真实环境中,通过单目相机获取的RGB图像来估计相机的六自由度位姿,本文结合已知的二维图像及三维点云信息,提出了基于稠密场景回归的多阶段相机位姿估计方法。首先,将深度图像信息与传统运动结构恢复（Structure From Motion,SFM）算法相结合,构建单目相机位姿估计数据集;其次,本文首次将深度图像检索引入2D-3D匹配点的构建当中,通过所提的位姿优化函数对位姿解算加以优化,提出多阶段相机位姿估计方法;最后为提升位姿估计的性能,将ResNet网络结构用于图像的稠密场景坐标回归,使得所提方法的位姿估计精度大幅度提升。实验结果表明：对于给定的位姿误差阈值5 cm/5°,在公开数据集7scenes下的位姿估计准确率均值为82.7%,在自建数据集下的准确率为94.8%。与现有的其他相机位姿估计算法相比,本文所提方法不论在自建数据集还是公开数据集下的位姿估计精度均有提升。     

动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

基于图像语义分割的物体位姿估计

为提高机器人在复杂场景中对物体的辨识与定位能力,提出一种基于图像语义分割技术的物体位姿估计方法。将RGBD传感器拍摄的RGB图像放入语义分割网络中,完成对图像的分割与物体分类;将分割出来的目标物体与深度图配准,得到目标物体点云图;将点云图与模型库中的模型运用ICP算法完成对物体的位姿估计。研究结果表明,该方法分割准确率可达82.26%,完成一次位姿估计时间1.35 s。     

动态场景下一种鲁棒的立体视觉里程计算法

针对传统视觉里程计算法在动态场景下对相机位姿估计鲁棒性和精确性不高的问题,基于场景流及静态点相对空间距离不变原理,提出一种动态场景下鲁棒的立体视觉里程计算法。该算法首先利用相机初始位姿估计,计算相邻帧之间匹配点对的场景流,进而建立高斯混合模型,并对场景中动、静物体的特征点进行初步分离;然后利用静态点空间相对距离不变的原理和匹配虚拟地图点集的方法进一步分离动、静物体上的特征点;最后,生成由静态特征点对应地图点构成的局部地图,并考虑虚拟地图点集的匹配情况,最小化重投影误差,以得到精确的相机位姿估计。对TUM数据集以及实际场景进行实验,结果表明提出的算法在动态场景下能够鲁棒地估计出高精度的相机位姿。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

面向人机交互的手势指向估计方法

针对人机共融环境中机器人与人之间的交互问题,提出了一种面向人机交互场景的手势指向估计方法,通过人体指向手势,以实现机器人对工作平面上指向目标点的信息交互。首先,基于RGB-D相机与VICON人体动作捕捉系统,构建时间同步的视觉指向手势位姿数据集,其中的每个样本包含人体指向手势的RGB-D图像和指向手势的位姿真值;其次,提出融合语义与几何信息的指向手势位姿估计多层次神经网络模型;然后,设计融合位置点误差ΔP和方向角度误差Δθ的射线近似损失函数,并基于构建的数据集,对指向手势位姿估计模型进行训练;最后,在实验室环境中进行了人机交互实验与模型验证。实验结果表明,在距离相机5 m的范围内,指向手势检测的平均精度为98.4%,指向手势位姿的平均位置误差为34 mm,平均角度误差为9.94°,进而实现工作平面上的手势指向目标点的平均误差为0.211 m。     

基于实例分割与光流的动态场景RGB-D SLAM

为了提高动态场景RGB-D SLAM中相机位姿精度,基于实例分割与光流算法,提出一种高精度RGB-D SLAM方法。首先,通过实例分割算法检测出场景中的物体,删除非刚性物体并构造语义地图。接着,通过光流信息计算运动残差,检测场景中动态刚性物体,并在语义地图中追踪这些动态刚性物体。然后,删除每一帧中非刚性物体和动态刚性物体上的动态特征点,利用其他稳定的特征点优化相机位姿。最后,通过TSDF模型重建静态背景,并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明,本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明,保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明,本文方法在动态场景中重建结果优于当前先进的工作,平均重建误差为0.042 m。代码开源在https：//github. com/wawcg/dy＿wcg。     

面向物流分拣任务的自主抓取机器人系统

在现代物流仓库中,货物分拣任务是一个自动化难题,需要机器人在复杂的仓库环境中自动分拣出各种目标物体。为此,提出了一种可以快速学习陌生物体,并实现自主抓取功能的机器人系统。首先,我们搭建了物体快速三维重建平台,获得物体模型,并渲染合成物体数据集。然后,我们训练了SSD网络,识别场景中的物体。为了得到物体的精确6D位姿,我们分割出场景中的物体点云,并与物体模型进行点对特征匹配。得到物体位姿后,采用带启发的非均匀采样离线生成PRM随机路图,通过在线搜索实现机械臂运动规划。在物体分拣实验中,物体识别与位姿估计时间小于0.4 s,系统的抓取成功率稳定在95%以上。本篇文章介绍了整套系统的组成,并总结了实验过程中的相关经验。     

基于深度相机的大场景三维重建

针对大场景三维重建中,由位姿估计的累积误差而导致的相机漂移和重建模型质量低的问题,提出了减少累积误差的方法。首先,基于由最新K对深度和彩色图像融合的模型,最小化输入RGB-D图像的几何误差和亮度误差来跟踪相机。然后,若相机位置与当前子网格的中心点距离大于给定阈值时,则将子网格平移体素单元整数倍的距离,基于新建的子网格继续跟踪相机并重建局部场景模型。最后,在子网格间以迭代步长式的方法寻找对应表面点,以对应点间的欧氏距离与亮度误差为约束,优化全局相机轨迹。基于数据集的实验结果表明,相机位姿估计精度比主流方法提升14.1%,全局轨迹优化精度提升8%。对于自采数据,本文设计的系统可减少位姿估计中的累积误差、重建高质量的场景模型。     

三维语义场景复原网络

从不完整的视觉信息中推断出物体的三维几何形状是机器视觉系统应当具备的重要能力,而识别出场景中物体的语义是机器视觉系统的核心。传统方法通常将二者分离实现,本文将场景复原与目标语义紧密结合,提出了一种三维语义场景复原网络模型,仅以单一深度图作为输入,实现对三维场景的语义分类和场景复原。首先,建立一种端到端的三维卷积神经网络,网络的输入是深度图,使用三维上下文模块来对相机视锥体内的区域进行学习,进而输出带有语义标签的三维体素;其次,建立了带有密集体积标签的合成三维场景数据集,用于训练本文的深度学习网络模型;最后通过实验表明,与现有的语义分类和场景复原方法相比,语义场景的复原接收区域增加了2.0%。结果表明:三维学习网络的复原性能良好,语义标注的准确率较高。     

基于深度卷积神经网络的视觉里程计研究

视觉里程计利用视频信息来估计相机运动的位姿参数,实现对智能体的定位。传统视觉里程计方法需要特征提取、特征匹配/跟踪、外点剔除、运动估计、优化等流程,解算非常复杂,因此,提出了基于卷积神经网络的方法来实现端对端的单目视觉里程计。借助卷积神经网络对彩色图片自动学习提取图像帧间变化的全局特征,将用于分类的卷积神经网络转化为帧间时序特征网络,通过三层全连接层输出相机的帧间相对位姿参数。在KITTI数据集上的实验结果表明,提出的Deep-CNN-VO模型可以较准确地估计车辆的运动轨迹,证明了方法的可行性。在简化了复杂模型的基础上,与传统的视觉里程计系统相比,该模型的精度也有所提高。     

面向AR辅助维修的3D物体识别技术

3D物体识别与位姿估计是AR辅助维修信息增强的基础,目前的3D物体识别技术在识别准确率、运行实时性和位姿估计准确度上仍然存在不足。以物体识别的实时性和位姿估计的准确性为要求,研究基于纹理点云的局部参考系估计技术和点云全局特征描述符生成与匹配技术,提出融合形状与纹理信息的全局正交对象描述符及其3D物体识别算法,基于蜗轮蜗杆减速器的拆装维修场景进行实例验证。验证结果表明,3D物体识别算法在AR辅助维修场景中具备实际可行性和真实有效性。     

6-UPRRU S折叠式并联机构及其动力学模型

提出一种6-UPRRU S折叠式六自由度并联机构来实时调整卫星相机的位姿以保证相机的成像质量。机构由6个分支组成,每个分支中包含一个由UPR和UR组成的五杆闭环子链,驱动副为移动副。对机构的结构特点进行了分析,以此为基础分析了该机构的自由度,得到了机构运动学反解。利用旋量速度、加速度及闭环子链的运动特性求解广义关节的速度、加速度,建立机构分支中各个杆件的运动学模型。基于虚功原理和机构的运动学模型,利用旋量表示的牛顿-欧拉公式建立该机构的动力学模型。分析了折叠机构的关键结构参数对机构的运动学、动力学性能的影响,采用动力学仿真软件验证了理论模型,为机构在空间相机的位姿调整、跟踪中的应用提供了理论依据。     

基于RGB图像的机械臂目标抓取位姿估计算法

针对抓取过程中目标物体部分被遮挡的问题，设计了一种基于多尺度特征融合的深度卷积神经网络提取3D目标的投影特征点，并根据不同投影特征点数采用不同的多点透视成像算法。网络使用计算机自动生成的合成数据进行训练，经过验证，使用合成数据训练的网络也能在真实场景中有效工作。最后，搭建了一个基于机器人操作系统的UR5机械臂抓取平台，将训练好的模型部署到该平台上进行抓取实验，结果表明所提方法能够估计出目标物体的位姿，并在实际场景中抓取位姿未知的物体。     

一种用于深度补全的双分支引导网络

深度信息在机器人、自动驾驶等领域中有着重要作用,通过深度传感器获取的深度图较为稀疏,研究人员为了补全缺失的深度信息提出了大量方法。但现有方法大多是针对不透明对象,基于卷积神经网络的强大表征能力,设计了一个双分支引导的编解码结构网络模型,通过针对透明物体的以掩码图为引导的编码分支,提升网络对透明物体特征信息的提取能力,并且使用谱残差块连接编解码部分,提高了网络训练稳定性及获取物体结构信息的能力,除此之外,还加入了注意力机制以提升网络空间和语义信息的特征建模能力。该网络在两个数据集上都达到了领先的效果。     

基于卷积神经网络与扩展卡尔曼滤波的 单目视觉惯性里程计

针对单目相机采集室外图像易受环境光照影响、尺度存在不确定性的缺点,以及利用神经网络进行位姿估计不准确的问题,提出一种基于卷积神经网络(CNN)与扩展卡尔曼滤波(EKF)的单目视觉惯性里程计。采用神经网络取代传统里程计中基于几何约束的视觉前端,将单目相机输出的估计值作为测量更新,并通过神经网络优化EKF的误差协方差。利用EKF融合CNN输出的单目相机位姿和惯性测量单元(IMU)数据,优化CNN的位姿估计,补偿相机尺度信息与IMU累计误差,实现无人系统运动位姿的更新和估计。相比于使用单目图像的深度学习算法Depth-VO-Feat,所提算法融合单目图像和IMU数据进行位姿估计,KITTI数据集中09序列的平动、转动误差分别减少45.4%、47.8%,10序列的平动、转动误差分别减少68.1%、43.4%。实验结果表明所提算法能进行更准确的位姿估计,验证了算法的准确性和可行性。     

基于三维模型的单目车辆位姿估计

车辆位姿估计是智慧交通系统的重要组成部分,然而复杂的运动场景以及单目相机存在无法获取深度信息等问题。本文提出了一种结合单目相机及车辆三维模型进行车辆位姿估计的方法。首先对多尺度的车辆目标进行尺度归一化,然后以向量场的形式回归车辆关键点的坐标提升在遮挡或者截断状态下的位姿估计精度。在此过程中提出使用基于距离加权的向量场损失函数和关键点误差最小化的投票方法,进一步提高了位姿估计算法的准确性。此外,本文制作了一个含有丰富标注信息的合成车辆位姿估计数据集,在其上的验证结果表明,本文算法的平均定位误差和角度误差分别为0.162 m和4.692°,在实际场景中有着非常大的应用价值。     

面向室内移动机器人的改进3D-NDT点云配准算法

点云配准是室内移动机器人位姿估计和环境构建的关键步骤,现有点云配准算法难以工作在低纹理场景中。为提高室内移动机器人环境适应能力,提出了一种改进三维正态分布变换(3D-NDT)点云配准算法。通过改进ORB特征提取算法,确保低纹理下的特征点提取;此外,为提高点云配准精度和效率,提出改进的3D-NDT算法快速获取高精度的点云配准矩阵。采用国际知名的公共数据集TUM作为评测数据,实验结果表明本文算法达到或优于现有主流点云配准算法的性能(均方根误差低于0. 02 m),相对传统3D-NDT算法配准时间缩短3倍以上;并且能工作在低纹理场景中。因此,改进的算法能提高室内移动机器人环境适应能力。     

采用混合回环检测与闭环优化的TSDF地图创建

由于原始TSDF(Truncated Signed Distance Function,TSDF)模型仅考虑相邻时间上的关联,误差将不可避免的累积到下一时刻,无法构建全局一致的地图。为了实时精确的建立大场景稠密3D地图,对TSDF模型进行了改进。首先,构筑相机位姿模型和加权融合3D点截断信息的TSDF模型,用于准确表示创建物体的表面。其次,提出一种改进的回环检测方法,并将其与随机蕨类彩色图像编码化相结合,进而优化TSDF模型,即混合优化位姿模型。最后,使用g2o图优化库解算约束函数,建立数据集间的优化边。实验结果表明:混合优化位姿模型能识别曾到达区域,特别在较大场景下使用可以得到更加准确的相机轨迹和地图。采用TUM数据集中的fr1/xyz、fr1/room、fr1/desk对所提算法进行检验,结果表明该方法能够使相机轨迹的均方根误差分别下降0.59cm,3.14cm,0.94cm。在室内环境和公开数据集上的实验结果证明了所提算法的有效性和准确性。     

面向室内移动机器人的改进3D-NDT点云配准系统

点云配准是室内移动机器人位姿估计和环境构建的关键步骤,现有点云配准算法难以工作在低纹理场景中。为提高室内移动机器人环境适应能力,提出了一种改进三维正态分布变换（3D NDT）点云配准算法。通过改进ORB特征提取算法,确保低纹理下的特征点提取;此外,为提高点云配准精度和效率,提出改进的3D NDT算法快速获取高精度的点云配准矩阵。采用国际知名的公共数据集TUM作为评测数据,实验结果表明本文算法达到或优于现有主流点云配准算法的性能（均方根误差低于002 m）,相对传统3D NDT算法配准时间缩短3倍以上;并且能工作在低纹理场景中。因此,改进的算法能提高室内移动机器人环境适应能力。