机器人视觉装配中的精确定位策略研究

针对自动导航小车存在定位不精准的问题,通过机器视觉方法来校正小车位姿。从源图像中识别出定位孔的像素坐标并计算转换到全局坐标系下,通过多组匹配点计算小车实际位姿。在分析相机标定与位姿计算过程中可能引入误差的基础上,提出相应误差消除策略。通过实验,验证了视觉标定结果的可靠性和误差消除算法的正确性,为视觉引导下的机器人装配工作提供了依据。     

基于相机状态方程多模增广的改进MSCKF算法

针对基于多状态约束卡尔曼滤波(MSCKF)的视觉-惯性里程计算法中相机状态方程增广过程的误差累积问题,提出了一种相机状态方程多模增广方法。该方法首先对视觉特征跟踪状态的稳定性进行判断,然后自动地选择基于视觉图像信息优化求解相机相对位姿参数或基于惯性传感器(IMU)状态递推结果联合相机外参初始化新图像帧相机位姿参数两种途径增广相机的状态方程,解决特征跟踪状态稳定情况下IMU误差的累积问题。实验部分通过EuRo C数据和实际应用数据对算法的性能进行了验证分析,结果表明,改进后的MSCKF算法能够在特征跟踪稳定状态下有效避免IMU误差的累积,进一步融合视觉与惯性系统之间的互补优势,提高载体的定位定向精度和稳定性。     

面向空中加油的视觉相对定位算法研究

现代化战争中，军用飞机的续航里程和作战半径是决定飞机战斗力的重要因素，现有加油方案多采用人工操作，对飞行员要求高、压力大。提出一种无合作标志的面向空中加油的视觉相对定位算法。算法使用人工智能模块，主要包括训练过程和使用过程。训练过程中利用带真实位置信息的加油机锥套图像和锥套的三维点云训练人工智能模型；算法使用时，由模型处理相机拍摄的锥套图像，得到图像中锥套的像素坐标，以及预测的锥套三维坐标；最后使用单目相机位姿估计算法得到锥套与相机坐标系的相对位置。实验室环境下，位置精度优于0.2 m,证明了此算法的可行性。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

利用平行透视投影模型的位姿迭代估计

提出了一种利用平行透视投影模型的高效位姿迭代估计方法来提高单目视觉测量系统的精度和鲁棒性.通过引入齐次坐标表示,避免了现有算法对平行透视投影参考点选择的限制.首先,研究了平行透视投影模型下使用齐次坐标求解目标位姿的方法,阐述了它的几何意义.然后,通过迭代的方式将其应用于一般透视模型下目标位姿的高精度估计.仿真实验结果表明,本文方法提高了基于平行透视投影模型的位姿迭代估计的精度,速度和抗噪性能.实物测量结果表明,本文方法的平移测量精度优于0.1 mm,旋转测量精度优于0.1°,可以满足各种视觉检测系统的要求.另外,使用标志点和图像特征亚像素定位技术还可进一步提高该算法的精度.     

无人机自主降落视觉标识设计及位姿测量方法

为实现无人机自主降落,设计了一种由多组不同半径比的同心圆组成的视觉标识。针对同心圆成像后的形变情况,结合圆心、消隐点、内外圆交点构成的调和比约束,设计了一种递归的圆心求解方法,以获取圆心亚像素投影点。相较于Hough圆检测算法以及传统方法,该方法可以更鲁棒、精准地提取圆心投影点亚像素坐标。完成圆心提取后,基于交比不变性建立图像坐标与平台坐标一致性匹配关系解算出初始位姿,并通过二次曲线重投影模型设计非线性优化函数求得优化位姿。针对降落过程中图像运动模糊的情况,提出一种基于运动连续性的测量关键帧选取模型来排除运动模糊图像对控制决策的影响。进一步设计一种多模式切换控制结构实现了对降落平台的运动预测、无人机样条轨迹生成与更新,从而完成无人机自主降落。在1 500次的测量实验中,该测量方法的平均重映射误差可达到0.578 pixel,方差为0.009 6。在现场降落实验中,无人机在2.5 m高度时对降落台的定位误差小于3.5 cm,表明本文方法具有较高的视觉测量精度且更加稳定,能够实现对运动降落目标的稳定接近与跟踪并完成降落。     

基于ORB关键帧匹配算法的机器人SLAM实现

针对复杂环境下机器人的同时定位与地图构建(SLAM)存在实时性与鲁棒性下降等问题,将一种基于ORB特征点的关键帧闭环检测匹配算法应用到定位与地图构建中。研究并分析了特征点提取与描述符建立、帧间配准、位姿变换估计以及闭环检测对SLAM系统的影响,建立了关键帧闭环匹配算法和SLAM实时性与鲁棒性之间的关系,提出了一种基于ORB关键帧匹配算法的SLAM方法。运用改进ORB算法加快了图像特征点提取与描述符建立速度;结合相机模型与深度信息,可将二维特征图像转换为三维彩色点云;通过随机采样一致性(RANSAC)与最近迭代点(ICP)相结合的改进RANSAC-ICP算法,实现了机器人在初始配准不确定条件下的位姿估计;使用Key Frame的词袋闭环检测算法,减少了地图的冗余结构,生成了具有一致性的地图;通过特征点匹配速度与绝对轨迹误差的均方根值对SLAM系统的实时性与鲁棒性进行了评价。基于标准测试集数据集的实验结果表明,ORB关键帧匹配算法能够有效提高SLAM系统建图速度与稳定性。     

基于双目视觉的并联仿生髋关节位姿检测

相较于三维坐标测量仪、激光跟踪仪等传统测量设备，双目视觉检测是一种无接触的检测方式，不会对目标的运动产生干扰和破坏，且更为经济、灵活和方便，因此采用双目视觉技术对3-RRR+(S-P)并联仿生髋关节的位姿进行检测。为提高位姿检测的精度、鲁棒性和通用性，设计了一种方便提取且角点可自动辨识的自编码视觉标识物、提出了一种基于边缘交点坐标反馈式的角点检测算法，该算法主要包括HSV色彩空间下的标识物提取、Canny边缘检测、Hough直线检测、亚像素角点检测和三维重建等流程，将标识物角点检测简化为检测标识物边缘线段并求得交点，再经由亚像素角点检测算法进行提纯的过程。最后，通过双目相机与自编码视觉标识物的布置建立并联仿生髋关节的位姿检测系统，进行位姿检测实验并采用激光跟踪仪进行对比实验，通过分析与实验验证：该系统具备较高的精度、鲁棒性和通用性。     

动态场景下一种鲁棒的立体视觉里程计算法

针对传统视觉里程计算法在动态场景下对相机位姿估计鲁棒性和精确性不高的问题,基于场景流及静态点相对空间距离不变原理,提出一种动态场景下鲁棒的立体视觉里程计算法。该算法首先利用相机初始位姿估计,计算相邻帧之间匹配点对的场景流,进而建立高斯混合模型,并对场景中动、静物体的特征点进行初步分离;然后利用静态点空间相对距离不变的原理和匹配虚拟地图点集的方法进一步分离动、静物体上的特征点;最后,生成由静态特征点对应地图点构成的局部地图,并考虑虚拟地图点集的匹配情况,最小化重投影误差,以得到精确的相机位姿估计。对TUM数据集以及实际场景进行实验,结果表明提出的算法在动态场景下能够鲁棒地估计出高精度的相机位姿。     

基于Kinect传感器的室内机器人自定位研究

针对同步定位地图创建（SLAM）中的定位问题,提出一种基于Kinect传感器的室内机器人自定位方法。利用Kinect传感器采集图像信息和深度信息,获取场景图像的SIFT匹配特征点集,并将特征点集的像素和深度信息转为三维数据,利用ICP算法计算机器人相邻位姿的旋转矩阵与平移向量。采用RANSAC方法去除SIFT匹配外点,提高了运动参数的计算精度。通过实验验证该方法的可行性。     

基于深度卷积神经网络的视觉里程计研究

视觉里程计利用视频信息来估计相机运动的位姿参数,实现对智能体的定位。传统视觉里程计方法需要特征提取、特征匹配/跟踪、外点剔除、运动估计、优化等流程,解算非常复杂,因此,提出了基于卷积神经网络的方法来实现端对端的单目视觉里程计。借助卷积神经网络对彩色图片自动学习提取图像帧间变化的全局特征,将用于分类的卷积神经网络转化为帧间时序特征网络,通过三层全连接层输出相机的帧间相对位姿参数。在KITTI数据集上的实验结果表明,提出的Deep-CNN-VO模型可以较准确地估计车辆的运动轨迹,证明了方法的可行性。在简化了复杂模型的基础上,与传统的视觉里程计系统相比,该模型的精度也有所提高。     

基于稀疏直接法和图优化的移动机器人SLAM

针对目前移动机器人同时定位和三维稠密地图构建算法中存在的计算复杂、实时性差的问题,提出一种基于RGB-D数据的实时的同时定位与地图构建(SLAM)算法。首先提取RGB图像中的FAST特征点,并计算特征点的3D位置,接着采用直接法最小化光度误差来估计相机的位姿变换,然后根据位姿变换的大小提取关键帧。为了减小移动机器人运动过程中的累积误差,提出基于词袋模型的闭环检测方法,并采用通用图优化(g2o)框架进行位姿图优化。实验结果表明,所提算法能够大大提高SLAM系统的实时性,并构建稠密化的三维环境地图。     

移动机器人混合的半稠密视觉里程计算法

为了提升快速运动环境中移动机器人视觉里程计的精度,提出一种移动机器人混合的半稠密视觉里程计算法。首先,利用鲁棒性强且适用于相机快速运动的特征点法快速追踪相机位姿,并根据深度不确定性分别建立3D-2D的重投影误差以及3D-3D几何误差,提出改进的运动位姿求解方法,为半稠密直接法提供更准确的初始位姿;其次,采用Sobel卷积核获取图像中梯度明显的像素点,进而通过最小化光度误差对关键帧进行配准,有效估计关键帧间相对运动;最后通过位姿图对关键帧位姿以及相邻帧间变换进行局部优化,减少轨迹漂移。两种公开数据集以及实际在线场景实验验证,本文算法可有效提高视觉里程计位姿精度,可以满足快速运动场景中自主定位的要求。     

多传感器信息融合的移动机器人定位算法研究

为有效降低使用单一传感器进行移动机器人定位时的不确定误差,提高机器人定位与建图的准确性和鲁棒性,提出了一种多传感器信息融合的移动机器人定位算法。基于激光RBPF-SLAM算法实现机器人同时定位与路标地图构建,运用图优化理论约束优化蒙特卡洛定位的位姿估计结果;通过双目视觉重建环境的三维点特征,针对视觉信息处理计算量大、跟踪精度不高的问题,研究改进基于ORB的特征点提取与四边形闭环匹配算法;利用因子图模型对激光RBPF-SLAM定位和双目视觉定位进行最大后验概率准则下的信息融合。仿真和实验结果表明通过上述方法可以得到比传统RBPF-SLAM算法及一般改进算法更高的定位精度,验证了所提方法的有效性和实用性。     

机器人辅助腹腔镜手术中的视觉测量方法研究

针对目前机器人辅助腹腔镜手术中内窥镜仅被用于二维的视觉监测而缺乏三维位姿检测功能的缺陷,提出了一种基于求解共线 P n P (Perspective-n-Point )问题的手术器械位姿测量方案,测试了所提出的测量方法的精度并进行了误差分析.方案包括相机标定及畸变校正、标记设计、图像处理、标记点三维坐标计算和手术器械的三维表达.经测试,手术器械中心线的固定位置和单位方向向量的测量值的偏差低、精度较高.     

多传感器信息融合的移动机器人定位算法研究（英文）

为有效降低使用单一传感器进行移动机器人定位时的不确定误差,提高机器人定位与建图的准确性和鲁棒性,提出了一种多传感器信息融合的移动机器人定位算法。基于激光RBPF-SLAM算法实现机器人同时定位与路标地图构建,运用图优化理论约束优化蒙特卡洛定位的位姿估计结果;通过双目视觉重建环境的三维点特征,针对视觉信息处理计算量大、跟踪精度不高的问题,研究改进基于ORB的特征点提取与四边形闭环匹配算法;利用因子图模型对激光RBPF-SLAM定位和双目视觉定位进行最大后验概率准则下的信息融合。仿真和实验结果表明通过上述方法可以得到比传统RBPF-SLAM算法及一般改进算法更高的定位精度,验证了所提方法的有效性和实用性。     

基于改进RANSAC特征提取的掘进装备视觉定位方法研究

为解决煤矿井下低照度、高粉尘、多杂光环境中掘进装备位姿测量不易的问题,提出了一种基于改进随机抽样一致性(RANSAC)特征提取的掘进装备视觉定位方法。首先,对矿用防爆相机采集的三激光标靶图像进行预处理,分别建立形状模型与线框模型;其次,根据形状模型以坐标极值为椭圆模型初始点,将前后两次内点差值比值作为最优迭代次数,迭代求取椭圆模型最优参数获得点特征;然后,根据线框模型以像素坐标模为直线模型初始点,利用自适应条件阈值、抽样次数获得线特征;最后,将点线特征作为三点三线位姿解算模型输入,通过空间坐标变换求得掘进装备位姿信息。实验结果表明,在掘进装备距三激光标靶80 m范围内,所述视觉定位方法的相对误差为±45 mm,可基本满足煤矿井下掘进装备定位需求,为煤矿井下恶劣环境中掘进装备的位姿测量提供一种新的思路。     

视觉SLAM中图像特征点提取与匹配算法研究

在视觉SLAM(visual Simultaneous Localization And Mapping,v SLAM)中,利用提取到的图像特征点进行相机位姿估测是一种非常重要的位姿估算方法,为了实现相机的定位,图像特征点必须具备鲁棒性、尺度性和高效率等特点。介绍了图像特征点提取与匹配在视觉SLAM中的作用和场景中图像特征点需要具备的特性;对几种主流的图像特征点提取算法,即尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法、加速稳健特征(Speeded-Up Robust Features,SURF)算法、快速特征点提取与描述(Oriented FAST and Rotated BRIEF,ORB)算法分别进行了简要说明;并通过设计实验,在室内环境中,对几种图像特征点提取算法的运行效率和图像特征点匹配正确率进行了对比测试。实验表明,ORB算法在运行效率和匹配正确率上占据优势,能够较好地满足视觉SLAM中实时性和鲁棒性的要求。     

家庭服务机器人手眼协调系统设计

针对目前智能家庭场景下,家居服务机器人对不同物品位姿的识别准确度与操作性差等问题,进行机器人手眼协调识别技术与物品灵巧操作规划方法的研究,提出了视觉前馈目标定位与视觉反馈位姿匹配相结合的识别与多位姿抓取方法。首先,基于SSD深度神经网络模型识别待抓取物品,并进行三维测定,以得到物品粗略坐标位置;其次,根据所得三维坐标预设深度相机与物品的相对位姿,采集物品与障碍物的深度信息,并基于Linemod算法与内置三维模型进行位姿匹配,完成对物品精确位姿的测定;最后,依据所得物品与障碍物的位置与姿态,规范臂手系统的抓取位姿,实现灵巧抓取物品。由以上原理,设计手眼协调测试实验进行不同桌面高度的物品抓取成功率与抓取误差测试,实验抓取总成功率高,且误差满足实际精度要求;该研究有利于提高家居服务机器人物品操作的灵巧性与适应性,对于家居服务机器人产业的发展具有重要意义。     

基于形状特征的管路接头测量和三维重建方法

针对复杂管路系统中的接头同步测量和三维重建的难题,提出一种基于形状特征的管路接头测量和三维重建方法。该方法通过接头CAD模型边缘轮廓和实物图像边缘轮廓进行形状特征匹配来实现接头空间位姿的测量。首先通过建立虚拟相机"视点球"获取接头CAD模型边缘轮廓的投影图像,经过金字塔分层组成接头的形状特征图库;然后与获取的接头实物图像边缘轮廓进行对比匹配;最后利用最小二乘法迭代求解接头的空间位姿,并重建接头的三维模型。开发了管路多目视觉测量系统并进行了接头位姿测量和管路三维重建实验,实验表明该方法的接头测量和三维重建时间可控制在1min内,位置误差为0.654mm,姿态误差为0.73°,测量和重建的效率与精度满足工程要求。