基于深度神经网络的井下无人机视觉位姿估计

无人机将在未来少人或无人采矿中发挥重要作用,而位姿估计则是实现井下无人机自主巡检的关键.针对井下巷道照度分布不均匀和动态复杂环境的特点,提出采用慕尼黑工业大学深度图像(TUM RGB-D)数据集对深度神经网络模型进行预训练的方法,提取巷道特征路标点.为实现具有真实尺度信息的位姿估计,首先利用机载相机三维深度数据流恢复网络特征点深度,然后建立帧间匹配巷道路标点最小二乘模型,最后采用奇异值分解的方法获得无人机位姿.开发了手持移动传感器数据采集系统,完成传感器相对位置标定,采集真实巷道环境数据并进行实验.实验结果表明,相比ORB-SLAM2位姿估计结果,提出的无人机位姿估计方法针对巷道复杂环境数据其定位精度可提高71%以上,定位误差约为13 cm.     

融合梯度密度的点线视觉SLAM算法改进

针对视觉同步定位与地图构建(Simultaneous Localization and Mapping, SLAM)方法在相机快速运动中容易导致图像模糊,以及在稠密场景中线特征提取易造成信息冗余等问题,提出一种融合梯度密度的点线视觉SLAM算法改进。该算法首先利用前后图像帧之间特征点数量信息对模糊图像进行筛选,并使用高斯模糊进行优化处理,得到匹配效果更佳的图像帧。然后利用点特征信息判断是否引入线特征,并引入图像像素梯度密度对LSD(Line Segment Detection)线特征进行多维优化,提取出稳定线特征以提高后续匹配质量。最后结合点线特征误差构建误差函数,最小化投影误差提高位姿估计精度。算法在TUM数据集下进行测试,实验结果表明本算法可以有效提升特征提取的稳健性,进而提高相机位姿估计与建图的精度。     

面向深度相机位姿优化的帧间点云数据配准算法

TOF相机能够同时采集灰度图像和深度图像从而优化相机位姿的估计值. 应用图结构调整框架优化多帧数据采集时的相机位姿,采用帧间配准决定优化的精度和效率. 从2帧图像上提取并匹配尺度不变特征点对,二维特征点被扩展到三维空间后,利用与特征点的空间位置关系将2帧三维点云配准;逐步应用提出的算法配准参与位姿优化的多帧点云中的任意2帧点云;最后将有效配准的点云帧对作为输入数据,采用图结构算法优化位姿. 实验结果表明,提出的帧间配准算法使得位姿估计值精度显著提高,同时保证了估计效率.     

有效点较少的动态场景下单目视觉SLAM算法

为了解决有效点较少的动态复杂场景下视觉SLAM准确定位问题,提出了一种基于自适应RANSAC动态特征点剔除的单目视觉SLAM算法.通过ARANSAC算法估计图像间的透视变换矩阵,并扭曲上一帧获得一个估计图像,使上一帧中的点转换到当前帧的坐标系下.通过计算特征点在估计图像和当前帧的光流值,区分并剔除ORB-SLAM2中的动态特征点,从而消除动态物体对SLAM定位性能的影响.利用TUM数据集的动态序列对本文算法进行仿真,并与ORB-SLAM2算法进行对比.结果表明,视觉SLAM算法绝对轨迹误差的标准偏差降低84.00%～96.11%,平移和旋转漂移的标准偏差最佳效果分别降低94.00%和96.44%,明显减少了视觉SLAM算法位姿估计的误差.本文算法能够在有效点较少的动态场景下,消除动态物体对视觉SLAM定位性能的影响,提高定位精度.     

基于三视图几何约束的摄像机相对位姿估计

针对从影像中恢复摄像机位姿的问题,提出基于三视图几何约束的位姿估计算法.利用强制选择机制对影像进行特征点提取,通过光流法和前后向误差实现相邻三帧影像的特征点匹配;推导基于本质矩阵优化分解的位姿估计,利用对极几何约束构建目标函数,通过迭代优化确定旋转矩阵的唯一解,优化了唯一解的确定方法,提高了相对位姿估计效率,得到第1、2摄像机矩阵;基于三视图的几何约束关系,由三焦点张量和匹配特征点建立目标函数,由迭代过程得到第3摄像机相对于第1摄像机的位姿参数.结果表明,提出算法的鲁棒性、精度以及算法效率均优于传统算法,能够快速、准确地估计摄像机相对位姿,可以实现对旋翼无人机的轨迹跟踪.     

融合动态区域检测的自监督视觉里程计方法

为解决室外场景中动态区域对视觉里程计计算过程的干扰,获得准确的相机位姿和场景深度,提出一种自监督深度学习框架下融合动态区域检测的视觉里程计算法.给定相邻2帧图像,首先,采用深度估计网络计算2幅图像对应深度图,采用位姿估计网络获得二者初始相对位姿.然后,借助视点变换,计算两视角深度图像之间的差异,确定动态区域.在此基础上,对输入图像中动静态区域进行分离.之后,匹配两视角图像静态区域特征,计算最终相机位姿.从光度、平滑度以及几何一致性三方面构造损失函数,并在损失函数中融入动态区域信息,对所构造网络模型进行端到端自监督训练.在KITTI数据集上验证了所提算法,并将其与最近2年提出的相关算法进行比较.实验结果表明,该算法能够更好地应对动态场景,实现更高精度的相机姿态估计和细小物体深度估计.     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

基于RGB-D相机的视觉里程计实现

针对移动机器人在未知环境中的自身定位问题,提出了一种基于RGB-D相机的移动机器人运动轨迹估计方法.首先,提取当前图像的ORB特征并与关键帧进行特征匹配;然后,采用结合特征匹配质量和深度信息的PROSAC算法对帧间运动进行迭代估计;最后,提取关键帧并利用g2o求解器进行局部优化,得到关键帧位姿的最优估计,进而得到机器人的运动轨迹.实验结果表明:与RANSAC+ICP算法相比,该方法能有效提高移动机器人的定位精度.     

单目序列的刚体目标位姿测量

针对单目相机不具备构建合作目标的情况及其对平面上运动目标位姿测量的应用需求,提出一种基于目标轮廓的运动目标位姿自动解算方法.该方法以目标三维几何模型和相机参数作为先验信息,利用OpenGL生成位于不同位姿的运动目标模拟图像,通过模拟图像与实拍图像之间的关系进行位姿的求解.首先由离散位姿集合的模拟图像得到运动目标轮廓集合,由实拍图像运动目标轮廓与离散位姿轮廓集合中轮廓间的关系确定运动目标的初始位姿.然后构建初始位姿下模拟图像的目标轮廓与实拍图像目标轮廓间的距离代价函数,采用非线性优化算法迭代求解运动目标的精确位姿.实验结果表明,提出的方法可以有效地测量运动目标的位姿,且当图像中纹理复杂、受阴影影响时仍能取得较好的测量结果.     

静态环境中基于光流的障碍物检测

针对估计相对深度的传统方法,易受噪声影响的问题,提出了一种基于光流的障碍物检测方法.基于摄像机前方局部地平面假设,通过尺度空间不变（SIFT）特征匹配得到单目图像序列前后帧的匹配点集,用随机抽样一致算法（RANSAC）鲁棒地估计出相机前方近似平面的单应性矩阵,并计算得到光流场,进而恢复出相对深度并建立障碍物图.由于避免了计算光流的一阶微分,该方法具有较好的鲁棒性.室内和室外环境的实验结果都表明,该算法能够恢复出相对深度,并对障碍物进行有效检测.     

一种非结构环境下目标识别和3D位姿估计方法

为提高非结构环境下目标识别准确率和位姿估计精度,提出一种利用Kinect V2 RGB-D传感器并基于目标的CAD模型进行不同类型目标自动识别和3D位姿估计的新方法.利用虚拟相机获取目标CAD模型的深度图像,并将目标的模型转化为点云图,采用体素栅格滤波减少场景点云中的点数;利用点对特征描述子(PPF)作为CAD模型的全局描述子,并将相似的PPF划分成一组放进一个hash表,用于识别和定位目标,所有目标的hash表组成了3D模型数据库;利用基于投票策略的方法对不同类型目标进行检测识别和3D位姿估计,并采用位姿聚类的方法和ICP配准进行位姿修正,再通过奇异值滤波剔除误匹配位姿,从而提高位姿估计精度.在虚拟机器人实验平台仿真环境中分析了3种管接头的识别率和位姿估计误差,结果表明:3种管接头平均识别率96%,位置误差4 mm,姿态误差2°,能够满足机械臂抓取要求.将提出的方法与两种主流位姿估计方法进行了对比实验,结果表明,提出的方法无论是识别率还是F1分数都要优于其他两种方法.     

基于循环神经网络的双目视觉物体6D位姿估计

针对当前物体6D位姿估计任务准确率较低的问题，提出双目数据集制作方法及物体6D位姿估计网络Binocular-RNN.将YCB-Video Dataset中已有图像作为双目相机左摄像头捕获内容，利用Open GL将YCB-Video Dataset中相应三维物体模型进行导入，输入各物体相关参数，由虚拟双目相机右摄像头捕获合成图片.利用单目预测网络分别对双目数据集中左、右图像的几何特征进行提取.经过循环神经网络对几何特征进行融合，并预测物体6D位姿.以模型点平均距离(ADD)、平均最近点距离(ADDS)、平移误差和角度误差作为评价指标,对Binocular-RNN与其他位姿估计方法进行对比.结果表明，在利用单一物体对网络进行训练时，Binocular-RNN的ADD或ADDS指标得分分别为PoseCNN、GDR-Net的2.66、1.15倍.利用基于物理的实时渲染（Real+PBR）方式训练的Binocular-RNN的性能超过基于深度神经网络的迭代6D姿态匹配的方法 (DeepIM).     

结合注意力与无监督深度学习的单目深度估计

针对当前的无监督单目深度估计方法边界模糊的问题, 提出了一种基于双重注意力模块的网络架构。这种架构能有效利用图像特征的远程上下文信息解决深度估计中的边界模糊问题。整个框架使用基于视图合成的无监督方法训练, 模型框架包括深度估计网络与位姿估计网络, 同步估计深度和相机位姿变换。双重注意力模块嵌入在深度估计网络中, 包含位置注意力模块和通道注意力模块, 能表示远程空间位置和不同特征图间的上下文信息, 从而使网络估计出细节更好的深度信息。在KITTI数据集以及Make3D数据集上的实验结果表明, 本文的方法能有效提高单目深度估计的精度和解决深度估计边界模糊问题。     

基于GC-RANSAC算法的单目视觉同时定位与地图构建

移动机器人单目视觉同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术在应用过程中会获取大量数据,针对其带来的异常值干扰问题,提出一种基于新提出的随机抽样一致性(Random Sample Consensus,RANSAC)算法改进的半直接单目视觉里程计(Semi-direct Monocular Visual Odometry,SVO)算法。算法分为两个线程:建图线程提取点特征与边缘特征,并采用了图割RANSAC(Graph-Cut RANSAC,GC-RANSAC)算法进行异常值剔除,通过计算特征点的深度值,来构建的环境特征地图;位姿估计线程通过最小化局部地图点和边缘线的重投影误差以及帧与帧、特征与特征之间的约束关系优化,得到位姿信息,实现定位功能。通过Euroc公开数据集上得到的仿真实验结果可见,该算法剔除异常值效果明显,平均定位精度相比SVO算法提高了15.6%。     

正交双目视觉长轴类零件装配端位姿检测方法

为解决非正交双目立体视觉在长轴类零件三维位姿检测中需要多个特征点进行匹配,计算量大以及视野中难以获取整个零件的图像等问题,提出一种基于正交双目立体视觉检测长轴类零件装配端三维位姿方法.采用光轴正交的两个相机同时采集长轴类零件装配端的图像,分别采用亚像素法对所采得的图像进行处理,可以得到被检测长轴类零件装配端在两个相机图像坐标系内的位置和姿态,再依据正交双目立体视觉模型对两组位置信息进行融合得到其三维位姿.实验结果表明:利用两个CMOS相机构成的正交双目立体视觉能够快速、精确检测长轴类零件装配端的三维位姿.该方法只需要一个特征点进行匹配,计算量小、简单易行,适用于通过机器视觉引导工业机器人进行精密长轴类零件的快速装配.     

基于视觉信息的微型无人直升机位姿估计

采用基于视觉信息的姿态估计方法对微小型无人直升机位姿估计进行了研究.在分析视觉信息与直升机运动关系的基础上,可以看出,稳定解算航拍图像序列之间的单应矩阵是整个方法的关键.而解算单应矩阵需得到序列图像之间的特征匹配点.为了获得稳定的、抗噪性强的同平面特征匹配点,方法采用了基于尺度不变特征变换(SIFT)算法和基于随机抽样一致性(RANSAC)算法的匹配策略.在一套真实的微型无人直升机系统上的实验证明,通过该方法得到的位姿信息可以达到无人直升机自主飞行所需的精度要求.     

基于改进Census变换的单目视觉里程计

针对直接法视觉里程计在光照变化场景下的失效问题,提出基于改进Census变换的单目视觉里程计,向量Census变换半直接单目视觉里程计（VC-SVO）. Census变换是立体视觉领域中非参数变换的一种,可以有效减少光照变化对图像的影响. 将Census变换引入SLAM中的后端优化,改变传统Census变换的形式,转换到欧氏空间中表示,并采用新的误差计算方法. 在SVO算法中增添非平面假设模型,扩展SVO算法并融合改进后的Census变换,通过最小化地图点的Census变换误差来得到更准确的相机位姿,同时构建环境地图. 在EuRoC、New Tsukuba Stereo与TUM公开数据集上的图像实验表明,VC-SVO实现了光照变化情况下的位姿估计,验证了算法的有效性. VC-SVO算法的精度和鲁棒性要优于已开源的SVO和基于直接法的大范围定位和地图构建（LSD-SLAM）算法.     

基于注意力和长短时记忆网络的视觉里程计

近年来通过利用视觉信息估计相机的位姿,实现对无人车的定位成为研究热点,视觉里程计是其中的重要组成部分.传统的视觉里程计需要复杂的流程如特征提取、特征匹配、后端优化,难以求解出最优情况.因此,提出融合注意力和长短时记忆网络的视觉里程计,通过注意力机制增强的卷积网络从帧间变化中提取运动特征,然后使用长短时记忆网络进行时序建模,输入RGB图片序列,模型端到端地输出位姿.在公开的无人驾驶KITTI数据集上完成实验,并与其他算法进行对比.结果表明,该方法在位姿估计上的误差低于其他单目算法,定性分析显示该算法具有较好的泛化能力.     

立体图像视差线性调整算法

为使立体图像能在特定显示设备上舒适显示,本文提出一种调整立体图像的方法.首先利用立体图像融像区知识,计算不同显示设备舒适显示的水平视差范围;利用匹配的SIFT(scale-invariant features)特征点来估计立体图像的视差范围,建立起立体图像原有视差到舒适显示视差的线性映射;最后利用奇异值分解估计该映射的变换矩阵,通过变换矩阵计算出调整后的图像,消除立体图像垂直视差,并将立体图像的水平视差调整到舒适观看的范围.实验结果表明,本文提出的方法可以解决不同显示设备上立体图像视差调整的问题,得到更好的显示效果.     

基于自监督循环卷积神经网络的位姿估计方法

针对基于监督学习的视觉里程计需要数据集提供真实的位姿数据,但实际上符合条件的样本数量又较少的问题,提出了一种基于自监督循环卷积神经网络的位姿估计方法.该方法以图像序列为输入,首先通过卷积神经网络提取与运动相关的特征,然后使用卷积长短期记忆网络进行时序建模,建立多帧之间的运动约束,最后输出六自由度的位姿.该模型使用了一种基于对极几何的损失函数以自监督学习方式优化网络参数.将模型在KITTI数据集上进行实验,并与其他4种算法进行对比.结果表明,该方法在位姿估计准确性上优于其他单目算法,并且具有不错的泛化能力.