基于ASODVS的全景相机运动估计及管网3D重构技术

针对地下管网的空间三维测量、三维形貌重构难等问题,提出了一种基于主动式全方位视觉传感器(ASODVS)的相机运动估计及管网3D重构解决方案。通过携带有ASODVS的管道机器人进入管道内部,实时获取管道内壁纹理全景图像和全景激光扫描图像;首先对全景激光扫描图像处理解析出投射在管道内壁上的激光中心点,通过计算得到管道横截面的点云数据;另一方面,对全景纹理图像进行处理,首先利用快速鲁棒性特征(SURF)算法快速提取特征点并进行匹配,然后采用随机抽样一致性(RANSAC)算法去除误匹配点,接着利用全景相机的极几何原理估计相机运动位姿,并利用光束法平差(BA)进行优化,最后利用相机运动位姿将相机坐标系下的点云坐标实时转换到世界坐标系下,完成对地下管网的三维重构。实验结果表明,所提出的方案能够精确估计相机运动位姿,实时对管道内部进行三维重构,实现了管道检测机器人边行走、边采集数据、边检测分析处理、边三维建模的设计目标。     

基于双目结构光的工件位姿检测方法

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明：视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

基于双目结构光的工件位姿检测方法北大核心CSCD

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明:视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

三维点云特征的工件识别与位姿估计

针对工业机器人在抓取工件过程中需要识别和定位工件的问题,提出了一种基于改进法矢计算的点云局部描述符SHOT的三维物体识别与位姿估计的方法.首先,对三维扫描仪获取工件表面点云进行预处理和分割,得到用于匹配的工件点云模板数据集;其次,采用均匀采样算法提取特征点集,通过SHOT特征描述符对场景点云与模板点云提取的特征点进行点...     

面向AR辅助维修的3D物体识别技术

3D物体识别与位姿估计是AR辅助维修信息增强的基础,目前的3D物体识别技术在识别准确率、运行实时性和位姿估计准确度上仍然存在不足。以物体识别的实时性和位姿估计的准确性为要求,研究基于纹理点云的局部参考系估计技术和点云全局特征描述符生成与匹配技术,提出融合形状与纹理信息的全局正交对象描述符及其3D物体识别算法,基于蜗轮蜗杆减速器的拆装维修场景进行实例验证。验证结果表明,3D物体识别算法在AR辅助维修场景中具备实际可行性和真实有效性。     

基于特征提取的电力绝缘子检测定位方法

针对电力作业过程中,从单一视角点云中检测绝缘子的问题,提出一种基于特征提取的电力绝缘子检测定位方法。首先通过点云预处理步骤去除扫描过程中产生的噪点,随后利用法向量过滤以及聚类算法分离出各个绝缘子片的点云,并计算出每一组绝缘子片点云的几何特征,最后依据绝缘子的结构特点筛选出符合条件的绝缘子点云并得到其在激光雷达坐标系下的位姿。实验结果表明,提出的绝缘子检测定位方法可以准确的从激光雷达点云中提取出绝缘子并计算出其位姿,为电力作业机器人完成相关作业提供重要的感知方案。     

基于双目立体视觉技术的轮式机器人位姿测量方法研究

为规划轮式机器人运动轨迹,需要获得轮式机器人在空间中的位姿,提出一种基于机器视觉软件Halcon9.0测量轮式机器人位姿的方法,利用机器视觉软件实现机器人图像实时采集、摄像机标定、特征点提取、坐标系变换、位姿转换实现机器人位姿的非接触式检测。试验结果表明采用机器视觉方法和采用陀螺仪检测得到的数据变化趋势吻合,验证了该方法可行性和可靠性。每次测量机器人位姿的时间仅需要678.089 ms,对实时测量运动目标位姿的非接触检测有参考价值。     

基于旋转投影二进制描述符的空间目标位姿估计

为了实现基于点云的空间目标相对位姿快速估计,提出一种旋转投影二进制描述符(BRoPH)。该描述符首先建立特征点处的局部参考坐标系,然后通过旋转投影局部点云生成不同视角下的密度图像块和深度图像块,最后根据图像块生成特征点的多尺度二进制字符串。针对位姿估计对实时性的要求,在分析BRoPH Hamming距离分布的基础上,提出了基于Hamming距离阈值的特征匹配策略,用于剔除潜在的错误配对,加快位姿估计收敛速度。最后,在基于局部特征描述符位姿估计框架下分别与SHOT描述符和FPFH描述符进行了比较。结果表明:BRoPH描述符在仅需要SHOT和FPFH平均内存1/80的基础上,得到了远高于SHOT和FPFH的平均位姿估计精度,其平均姿态误差小于0.1°,平均位置误差小于1/180 R。此外,基于Hamming距离阈值的特征匹配策略使得BRoPH的位姿粗估计速度加快了7倍,总体位姿估计频率超过7Hz,比SHOT和FPFH分别快3~6.8倍。该方法具有占用内存小、计算速度快、位姿估计精度高和抗干扰能力强等优点,满足基于点云的空间目标位姿估计实时性要求。     

面向喷涂件下挂的机器人 3D 视觉引导策略研究

因悬挂链运送喷涂工件难以严格定位,导致其下挂效率低下,提出一种基于 3D 视觉引导机器人进行喷涂件下挂的控 制策略。 通过实例分割网络 Mask-RCNN 进行训练推理,得到喷涂件实例 MASK,获取经像素对齐并实例分割后的彩色图和深 度图,利用相机内参重建喷涂件三维点云;离线生成喷涂件模板点云,在线生成喷涂件目标点云,经点云初始配准矫正喷涂件的 位姿后,进而通过 ICP 精配准算法实现喷涂件位姿估计;在机器人视觉系统手眼标定之后,进一步通过 5 次多项式插值设计机 器人关节平滑运动轨迹,控制引导机器人进行喷涂件下挂。 实验结果表明,喷涂件位姿估计角度平均误差不超过 10°,在 Z 移 动方向上误差值平均为 6. 83 mm,最小为 0. 02 mm,且在仿真环境和现场环境可引导机器人实现喷涂件自主下挂。     

机器人实际几何参数识别与仿真

机器人末端位姿的精度依赖于各连杆几何参数的精度,为了提高机器人的位姿精度,需要对机器人进行标定。讨论了运动学模型的建立方法,基于修正的ＤＨ模型和微分变换关系推导出机器人实际几何参数识别的全部公式。该方法要求测量各关节角的码盘数值和机器人的基坐标系下的位姿。     

6R机器人工具端的运动学建模及仿真

工业机器人实现加工作业时,工具端沿加工轨迹运动,且要满足加工的位姿要求。为了控制机器人末端工具工作点相对于工件的轨迹和位姿,建立面向工具坐标系的机器人运动学模型对机器人离线编程有重要意义。通过将工具坐标系与机器人连杆坐标系分离,研究针对工具坐标系的机器人运动学正、逆解。提出一种余弦定理结合圆心角定律的机器人空间三点圆弧轨迹规划方法,通过调用OpenGL图形库,进行机器人空间圆弧轨迹运动仿真,验证了算法的正确性,为本研究条件下机器人离线编程打下理论基础。     

激光测量标定机器人坐标系位姿变换的正交化解算

针对大型装备智能制造中的机器人在线位姿激光跟踪测量与实时引导需求,提出了一种机器人坐标系与激光测量坐标系标定转换和解算方法。设计了基于距离原则的机器人末端光学工具中心点TCP(Tool Center Point)位置标定算法。通过运用空间点坐标重心化配置算法和基于罗德里格矩阵变换的最小二乘优化算法解算出了具有单位正交性的位姿变换旋转矩阵。进行了机器人坐标系位姿变换激光测量标定和优化对比实验,旋转矩阵初值和正交优化值进行点坐标转换后的综合RMSE分别为0.579 0mm和0.501 5mm。结果表明该方法能够有效改进姿态旋转矩阵正交性,并提高位姿变换解算精度。     

工业机器人运动学逆向建模

针对工业机器人在缺乏运动学参数的情况下,进行机器人运动学逆向建模的研究,给出了机器人机座坐标系位置及杆件参数的识别方法,建立了机器人的运动学方程。并分析了计算的末端位姿与示教器显示末端位姿存在的偏差,指出从机器人示教器上读出的关节转角数据存在舍入误差,采用遗传算法分别以位置误差和位姿误差为目标函数进行了辨识。辨识结果表明,以位姿误差为目标函数来辨识关节转角误差的辨识结果是准确的。试验结果表明,提出的机器人运动学逆向建模方法是有效的。     

应用摄像机位姿估计的点云初始配准

基于摄像机位姿估计的数学模型,提出了一种检测摄像机位移前后目标图像特征点的方法,通过求解摄像机发生位移前后的相对位姿矩阵来解决应用视觉图像获得点云的初始配准问题。首先,介绍了摄像机位姿估计模型,包括本质矩阵、旋转矩阵以及平移矩阵;然后,介绍了SURF算子的特征点检测、描述和匹配的方法,在此基础上面向双目视觉和单目结构光系统,分别提出了摄像机位移前后目标图像SURF特征点匹配和深度估计模型;最后,分别进行双目视觉和单目结构光系统点云的获取、位移前后目标图像特征点检测匹配和深度估计实验,应用摄像机位姿估计模型求解旋转矩阵和位移矩阵,并对位移矩阵进行统计分析剔除粗差。实验中采用基于点云空间特征点和基于图像的方法进行对比,点云对应特征点均方误差缩小至12.46mm。实验结果验证了方法的可行性,表明本文的点云初始配准方法能较好地获得点云精确配准初值。     

基于视觉和扩展卡尔曼滤波的位姿和运动估计新方法

估计两参考坐标系之间的相对三维位姿和相对运动 ,对机器人导航、机器人装配、测量、跟踪、目标识别和摄像机定标来说是一个非常重要的问题。用八元数来表示摄像机和运动目标两坐标系之间相对平移和旋转 ,在假设运动目标的三维几何尺寸已知 ,且摄像机和运动目标之间的相对运动为匀速运动的情况下 ,由单个针孔摄像机获取运动目标的图像并测量其图像中的线特征点。由于旋转部分用四元数表示 ,状态转移函数是非线性的 ,测量函数由三维坐标变换和针孔摄像机模型所决定 ,存在严重的非线性 ,常规的卡尔曼滤波方法不适合 ,这里以扩展卡尔曼滤波方法作为数学模型 ,对状态转移函数和测量函数进行线性化后 ,对摄像机和运动目标之间的位姿和相对运动进行了估计 ,仿真结果表明 :该位姿和运动估计算法具有良好的收敛性     

基于RGB-D传感器的同步定位与建图方法研究

机器人同时定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)可实现机器人的自主控制,文中将SLAM算法与视觉传感器结合,搭载红外摄像头的RGB-D摄像头可以快速进行运动估计及构建3D点云地图,最后将视觉里程计测量的相机位姿与回环检测的信息结合,经过优化可得到轨迹估计的地图。     

万向移动四足机器人位姿描述研究

通过位置矢量对机器人的位置进行了描述,采用旋转矩阵在固定角坐标系和欧拉角坐标系中对机器人的姿态进行了描述。并应用齐次变换矩阵描述了万向移动四足机器人的足尖端位姿。位姿描述能够为机器人下一步的分析打下基础。     

机器人视觉装配中的精确定位策略研究

针对自动导航小车存在定位不精准的问题,通过机器视觉方法来校正小车位姿。从源图像中识别出定位孔的像素坐标并计算转换到全局坐标系下,通过多组匹配点计算小车实际位姿。在分析相机标定与位姿计算过程中可能引入误差的基础上,提出相应误差消除策略。通过实验,验证了视觉标定结果的可靠性和误差消除算法的正确性,为视觉引导下的机器人装配工作提供了依据。     

高压输电线路除冰机器人抓线运动控制

针对高压输电线路除冰机器人越障抓线过程中存在的对输电线缆定位困难的问题,提出一种基于输电线缆几何特征的单目立体视觉定位方法.该方法根据输电线缆成像的边缘、输电线缆半径和摄像机成像模型,可以计算输电线缆中轴线在摄像机坐标系下的数学表达式,从而对任意位姿的高压输电线缆进行精确的三维定位.在输电线缆准确定位的基础上,为了快速地确定抓取输电线缆的准确位置并提高除冰机器人抓线运动控制实时性,提出一种基于除冰机器人机械臂结构特征的除冰机器人抓线运动控制策略,该控制策略通过在机器人基坐标系下计算机械臂末端夹持器工作空间曲面与输电线缆轴线的交点来确定抓取点,并同时计算抓取线缆时机械臂各个关节的期望位置.试验结果验证了所提视觉定位方法及抓线控制策略的有效性.     

一种基于工具坐标系的机器人运动学参数标定方法

机器人末端执行器位姿误差在基础坐标系中表示时,误差模型中包含姿态误差与位置矢量的乘积项,影响了参数标定识别精度。以工具坐标系为参考系,给出一种基于指数积公式包含关节约束条件的机器人位姿误差标定模型,避免了姿态误差与位置矢量的乘积项对参数标定识别精度的影响。以UR5机器人为标定对象,采用LeciaAT960-MR激光跟踪仪为测量设备,进行参数标定试验。试验结果表明,经参数标定后UR5机器人位置误差模和姿态误差模的平均值分别减小了91.07%和89.16%。