基于稀疏直接法的SLAM算法

SLAM技术已经应用到了智能机器人、无人机、AR/VR、无人驾驶等领域中,但当前的SLAM算法在运行速度、相机轨迹精度和鲁棒性等方面依然存在改善空间。为了提高SLAM中相机轨迹精度,提出了基于稀疏直接法的SLAM算法。该算法使用改进的Shi-Tomasi特征点检测算法进行特征点的提取,然后依据提取的特征点采用直接法进行相机位姿估计,同时利用构建的地图进行位姿优化,有效地提高了相机位姿估计精度。针对TUM标准数据集,通过对比分析可知,基于稀疏直接法的SLAM算法可以有效地减少误差,相机轨迹精度优于ORB-SLAM2算法。     

面向深度相机位姿优化的帧间点云数据配准算法

TOF相机能够同时采集灰度图像和深度图像从而优化相机位姿的估计值. 应用图结构调整框架优化多帧数据采集时的相机位姿,采用帧间配准决定优化的精度和效率. 从2帧图像上提取并匹配尺度不变特征点对,二维特征点被扩展到三维空间后,利用与特征点的空间位置关系将2帧三维点云配准;逐步应用提出的算法配准参与位姿优化的多帧点云中的任意2帧点云;最后将有效配准的点云帧对作为输入数据,采用图结构算法优化位姿. 实验结果表明,提出的帧间配准算法使得位姿估计值精度显著提高,同时保证了估计效率.     

点云和视觉特征融合的增强现实装配系统三维跟踪注册方法

为了提高三维跟踪注册方法面向机械产品增强现实装配引导的适用性和鲁棒性,提出了一种点云和视觉特征融合的三维跟踪注册方法。首先利用参考模型点云对三维跟踪注册绝对坐标系进行定义,从而确定虚拟装配引导信息的定位基准。然后在迭代最近点法点云数据配准基础上,结合深度传感器彩色图像信息,通过视觉特征匹配,提高深度传感器快速移动时的跟踪注册过程鲁棒性。为了在此过程获取足够数量的视觉特征匹配点对,提出了一种基于方向向量一致性的视觉特征匹配策略。最后在跟踪注册过程加入基于关键帧的回环检测和全局位姿优化。实验结果表明:新方法精确性、实时性好,能达到每秒30帧。而且在相机快速移动时仍能表现出较好的鲁棒性,其综合性能优于基于点云的Kinect Fusion方法。     

大型工件位姿估计中的稀疏点云配准方法

针对飞机、轮船、汽车等大型设备制造领域中大尺寸工件的精确位姿检测的问题,提出了一种用于估计具有自由曲面特征的工件空间位姿的稀疏点云数据自动配准算法。为了提高点云配准的精度和速度,着重将配准过程分为粗略配准和精确配准两个阶段实现。鉴于稀疏点云数据中的各点曲率具有旋转平移不变性,设计基于曲率特征的点云粗略配准算法;为弥补现有ICP算法的不足,提出基于距离约束的四叉树逼近算法。仿真实验表明,完成点云配准后,稀疏点云中各个点位的平均误差为0.0168 mm,均方差为0.0095 mm,说明该算法能够自动、准确、快速地实现点云数据配准。     

基于单目相机和多线激光雷达的联合标定方法研究

目的 针对相机和激光雷达之间的外参标定问题,为了减少两者的标定误差,得到更高的标定精度,方法 提出一种基于非线性优化的联合标定方法。首先拍摄不同角度的棋盘格标定板图像,采集足够多数据后利用工具包进行相机内参标定,得到单目相机内参;然后在激光点云和图像中检测标定板的角点特征坐标,激光点云下的角点坐标由提取的标定板点云数据和其几何特征获得,通过拟合出的图形由上至下、由左至右确定图形顶点坐标及标定板行列数,可得到各角点坐标;相机角点特征坐标采用FAST角点检测,利用角点灰度信息确定角点坐标;根据点云检测特征点到图像投影误差构建目标函数,将外参求解转化为最小二乘问题;最后通过基于列文伯格-马夸尔特的非线性优化算法,迭代求解得到最优外参。结果 最终平均标定投影误差为1.29像素,最大投影误差为2.46像素,最小投影误差为0.70像素,标准差为0.57像素。结论 根据标定的外参将点云投影至图像上可知,标定结果较好,并将结果运用到实际场景下视觉和激光雷达融合的SLAM算法中,运动轨迹平滑且与地图保持高度一致,本文方法标定过程简单,不需要棋盘格的真实物理尺寸,满足使用要求。     

一种新的大场景三维重建算法

大场景图像集具规模巨大、尺度多变、结构不整等特点。本文针对此类图像集,提出一种新的鲁棒稠密三维重建方法。该方法在选取图像的邻居图集时考虑了尺度鲁棒性,随后基于DAISY特征匹配和PatchMatch信息传播计算深度图,然后利用深度一致性优化、融合深度图,最后利用重建三维点精度去除冗余点。深度图计算时相互独立,故本方法易在图像级并行,适合大场景三维重建。实验结果表明,该方法重建结果具有较高的精度和完整性。     

基于稀疏直接法闭环检测定位的视觉里程计

视觉里程计在移动机器人的定位导航中发挥着关键性作用, 但当前的算法在运行速度、轨迹精度和鲁棒性等方面依然存在改善空间。为提高相机轨迹精度, 提出基于稀疏直接法的闭环检测算法。该算法直接提取两种特征组成混合型特征点提升系统鲁棒性, 混合型特征点用于跟踪和匹配关键帧, 使视觉里程计能够检测闭环, 再用位姿图优化提升定位精度。实验结果表明在复杂环境中具有较强的鲁棒性, 并且在速度和精度之间取得平衡。     

基于平面运动约束的移动机器人位姿估计

针对大部分基于单目相机的位姿估计方法只适用于平面场景的问题,提出了一种同时适用于 平面场景和立体场景的单目位姿估计方法．首先,将所有图像与参考帧进行特征匹配;然后,提取每 帧图像中都出现的特征点的像素坐标,并结合地平面约束和相机内参矩阵构建出观测矩阵;其次, 对观测矩阵进行奇异值分解得到各帧图像的位姿估计,并利用约束矩阵解决奇异值分解不唯一问 题;最后,利用光束平差法优化图像位姿,得到机器人位姿的最优估计．实验结果表明：该方法能准 确对移动机器人进行位姿估计．     

车载移动测量激光点云与线阵影像融合

提出一种线阵影像数据与激光点云数据融合方法:利用组合导航数据解算点云绝对坐标的同时,也获取线阵相机的外方位元素,进而能够从线阵影像中计算查找到与点云对应的RGB值,实现点云数据与影像数据的融合。经试验证明,该技术方法在数据处理过程中无需进行同名点匹配,实现了数据融合的自动化处理,融合精度高,能够满足各种复杂情况下的移动测量要求。     

基于三视图几何约束的摄像机相对位姿估计

针对从影像中恢复摄像机位姿的问题,提出基于三视图几何约束的位姿估计算法.利用强制选择机制对影像进行特征点提取,通过光流法和前后向误差实现相邻三帧影像的特征点匹配;推导基于本质矩阵优化分解的位姿估计,利用对极几何约束构建目标函数,通过迭代优化确定旋转矩阵的唯一解,优化了唯一解的确定方法,提高了相对位姿估计效率,得到第1、2摄像机矩阵;基于三视图的几何约束关系,由三焦点张量和匹配特征点建立目标函数,由迭代过程得到第3摄像机相对于第1摄像机的位姿参数.结果表明,提出算法的鲁棒性、精度以及算法效率均优于传统算法,能够快速、准确地估计摄像机相对位姿,可以实现对旋翼无人机的轨迹跟踪.     

aIB算法在古建筑信息模型特征提取中的应用与研究

古建筑信息模型特征提取在古建筑重建过程中具有重要的作用.针对三维激光扫描获取的散乱点云数据形成的古建筑信息模型在特征提取时存在的问题,采用二值化方法将图像数字化,提取特征数据集,使用aIB算法提取点云数据特征.aIB算法将原始点云数据集作为源变量X,将法向量作为相关变量Y,将特征变量作为目标变量T,将源变量X压缩到目标变量T中时,尽可能保持相关变量Y的信息,更加精确的获取点云数据特征,同时尽量压缩噪声数据.实验结果表明aIB算法可以有效提升古建筑信息模型特征提取的准确度.     

由结构光扫描重建老北京城三维模型的实验设计

文章提出了一种可以通过结构光摄影测量获得特征点云的方法,所处理的数据来自老北京城3D重建工程。结构光扫描的明显特征是扫描得到的模型边缘部分点云几乎都丢失了,比如说房屋的顶部边缘点云。文中提出使用获取的立体像对提取出边缘特征点,并从提取出的边缘特征里面匹配得到同名像点,通过摄影测量交会解算出同名像点的坐标值,得到边缘部分的点云,从而完成对老北京城特征部分的重建。     

多目立体视觉三维重建系统的设计

针对工业产品质量检测过程中产品三维表面的重建问题,提出一种基于多目立体视觉三维重建方法.设计了一套由八个直线分布的工业相机构成的三维重建系统方案.首先通过图像采集模块,在八个不同方向对目标物体进行图像采集.其次对采集到的图像进行预处理,其中包括图像背景抑制和目标物体分割.然后通过相机标定模块,对八个相机进行标定,获得它们的内外参数,并结合Harris角点检测及高斯差分检测算法对预处理后的图像实现特征点提取.在此结果上,再利用三角形法对提取到的特征点进行匹配和校正.最后采用泊松表面重建方法准确地获取和优化角点,并找到角点特征的匹配点,从而对物体进行三维表面的精确重建.实验结果表明,设计的系统能够重建出静止物体的局部三维表面,重建结果中的物体表面完整,结构清晰,表面上的字符重建完整,能够很好地进行识别.     

堆叠散乱目标的6D位姿估计和无序分拣

针对目标散乱堆叠场景下的机器人分拣问题,建立一种从目标筛选、识别到6D位姿估计的无序分拣系统。利用局部凸性连接方法将Kinect V2相机采集的堆叠散乱目标点云数据分割成单独的点云子集,定义抓取分数从中筛选出最上层未被遮挡的目标作为待抓取目标,保证机器人分拣目标时能从上至下进行抓取;针对不同种类目标的分拣需求,基于匹配相似度函数对三维目标进行识别并定位抓取点;融合截断最小二乘-半定松弛算法和最近点迭代算法,建立目标6D位姿估计模型,保证目标点云和模型点云重合率低情况下的精确配准。在自采数据上进行目标6D位姿估计实验以及机器人无序分拣实验,结果表明：提出的6D位姿估计方法相较于流行的几种方法,可以更快速、精确地获取目标的6D位姿,均方根距离误差<3.3 mm,均方根角度误差<5.6°;视觉处理时间远小于机械臂运动的时间,在实际场景中实现了机器人实时抓取的全过程。     

单目视觉坐标测量方法

为了解决现代化生产中对高精度、大尺寸、三维整体现场在线测量技术的需求问题,提出了一种基于光学测头成像的单目视觉坐标测量方法。该方法以光学测头上的光学特征点作为成像目标,利用单个摄像机获取测量信息。测量过程中,通过分析光学测头上光学特征点的二维成像坐标,利用特征点之间已知的几何约束知识和摄像机的透视投影模型,建立特征点与对应像点的求解关系。通过基于奇异值分解的位姿优化算法确定特征点的空间位置坐标。根据特征点与测尖间已知的位置约束关系确定被测点的空间坐标,从而实现坐标测量目的。测试实验结果表明,该方法切实可行,系统的测量不确定度小于0.32mm。     

基于彩色图像引导的RGB-D相机追踪与三维重建

为了解决基于RGB-D相机三维重建中相机位姿估算不准确问题,尤其是当扫描时RGB-D相机之间移动距离过大或者存在严重遮挡变化,提出一个新颖和鲁棒的RGB-D相机位姿追踪算法来提高相机追踪的精度并进行高保真度的三维重建。首先,采用一个线性处理(line-process)算法来建立连续RGB-D帧之间更加可信的密集对应,然后利用这些密集对应来对传统的ICP(iterative closest point)方法进行改进,使得RGB-D相机的位姿追踪更加精确。尽管手持RGB-D相机获得的深度图包含明显的噪声,并且相邻帧之间很容易出现抖动,所提出的构建密集对应的算法仍然可以对RGB-D相机进行准确地追踪。另外,该算法还可以在闭环检测中得到有效的应用,并可以有效地减轻相机追踪产生的相机漂移。最重要的是该方法还可以作为一个类似的插件应用到其他的基于ICP的算法中来提高相机追踪的精度。实验结果表明,不管是在公共数据集上还是实时扫描的真实场景上,该方法都有效和鲁棒。     

视觉导航机器人三维场景重建研究

针对自主导航机器人在室外中的立体视觉,应用了一种基于置信点扩展的三维重建的方法。该方法改进了归一化交叉相关算法,由视差空间图寻找视差空间中的置信点并进行表面跟踪,并用计算亚象素视差和中值滤波的办法得到视差图,最后使用滚球算法对从视差图中得到的点云数据进行三角化从而进行地形重建。实验结果表明,所使用匹配方法优于单一的归一化交叉相关方法,有着较强的鲁棒性,重建的地形效果较为理想。     

V－SLAM中点云配准算法改进及移动机器人实验

针对移动机器人视觉同时定位与地图构建(visual simultaneous location and mapping,V-SLAM)中,存在帧间配准误差大造成重建精度低、位姿轨迹丢失的问题,提出一种三阶段改进点云配准的ICP算法.首先通过RANSAC(随机采样一致性)采样策略对RGB图进行点对的筛选从而获得内点完成预处理;然后采用基于刚体变换一致性的对应点双重距离阈值法完成点云初配准;在得到良好的初始位姿下,引入一种动态迭代角度因子的ICP精配准方法.在后端部分引入滑动窗口法和随机采样法相结合的关键帧筛选机制,结合g2o(general graph optimization)图优化算法优化机器人位姿轨迹,实现全局一致的VSLAM系统.采用标准点云模型对本文算法与文献算法进行点云配准实验对比,在配准精度上有明显提高;通过移动机器人在真实环境下的地图重建实验,验证了本文算法的有效性;最后基于TUM数据集的实验表明了本文算法能有效估计出机器人运行轨迹.     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

双目立体视觉的无人机位姿估计算法及验证

针对无人飞行器在未知复杂环境下的导航问题,提出了一种基于双目立体视觉的无人飞行器位置和姿态估计算法。用双目摄像机采集立体图像序列,对图像进行立体校正后使用Harris算法提取特征角点,用NCC算法获取匹配特征点,导出摄像机坐标系下的特征点坐标,得到三维立体特征信息,使用RANSAC算法与L-M迭代算法得到无人飞行器姿态和位置估计值。实验结果表明,基于双目立体视觉的位姿估计算法能适应未知环境变化,计算结果与实际位姿量相比误差小,能满足无人飞行器导航要求,可为无人飞行器的导航实现提供一套新途径。