3D视觉结合图像检测与导纳控制的圆轴孔零件机器人装配

面向机器人柔顺装配圆轴与圆孔零件,建立基于3D、单目视觉与导纳控制的机器人自动装配系统,提出基于三维点云的轴线位姿估计算法、图像深度学习目标检测、导纳控制结合的圆轴孔零件的装配策略.针对3D视觉估计圆孔零件位姿问题,重点研究基于三维点云的轴线位姿估计算法.首先,介绍三维点云关键点选取方法;然后,以点云表面法线与轴线的几何约束为基础,提出并分析轴线粗估计的算法;最后,在轴线粗估计的基础上,提出并分析基于迭代鲁棒最小二乘的轴线位姿优化的算法.实验结果表明:轴线位姿估计的角度均方根误差为0.248°,位置均方根误差为0.463 mm,与现有流行的轴线估计方法相比,所提方法的精度更高,使装配策略很好地满足了机器人圆形轴孔零件装配的精度高、稳定可靠的要求.     

基于深度学习网络的机器人定位误差估计与补偿研究

为了合理补偿机器人定位误差，提升作业能力，该文提出基于深度学习网络的机器人定位误差估计与补偿方法。确定机器人定位采样点，获取机器人末端定位理论位姿，以机器人末端理论位姿作为深度神经网络输入量，机器人末端定位误差作为输出量，利用遗传粒子群算法优化权值与阈值，得到机器人定位误差估计值，并对理论位姿坐标反向迭加该误差估计值，完成定位误差补偿。实验证明，该方法能够有效补偿机器人的位移偏差和关节角度偏差，精准抓取目标物体，并在不同数量采样点条件下，可使不同类型的机器人保持较高的定位精度。     

基于M型标准块的视觉引导机器人系统手眼标定方法研究

针对线结构光传感器引导的机器人系统的手眼标定问题,提出了一种以M型标准块为标定物的方法。该M型标定物的两条平行的脊线作为约束,基于两条平行脊线的约束建立包含手眼关系、机器人运动学以及两条直线位姿参数误差的模型。首先基于定点约束求解手眼关系初值并以此为基础解算出直线位姿参数的初值,然后通过最小二乘法解算误差参数并补偿到模型中,不断迭代直至计算的误差参数小于阈值,最终得到最终的机器人手眼关系及运动学误差参数。为了验证标定方法的有效性,以某精加工平面为被测物,利用线结构光机器人系统对平面进行测量,得到平面点云;拟合最小二乘平面,计算点到平面距离的均方根值作为评价依据。分别对所述M型标准块和标准球两种方法进行了实验对比,结果表明,相较于标准球方法,所述M型标准块方法得到的均方根误差由0.152 mm减少到0.080 mm,均方根误差的标准差由0.043 mm减少到0.005 mm,其标定结果的精度及稳定性得到显著提高。     

一种骨外科手术机器入的图像导航方法

精确目标定位和手术路径规划是将机器人用于长骨骨折内固定手术中的关键技术.文中使用了局部法对X光图像进行畸变校正;并提出了一种基于几何模型的对准方法,得到一条能够穿过髓内钉远端孔的路径,从而引导串联机器人锁定髓内钉.实验表明,该导航方法仅需一张X光图像,有足够的定位精度和稳定性,可大大减少手术时间,降低医生所受辐射剂量.     

基于光学运动跟踪系统的机器人末端位姿测量与误差补偿

针对工业机器人绝对定位精度较低的问题,采用加拿大NDI公司的Optotrak Certus HD光学运动跟踪系统作为机器人位姿的测量设备,提出了一种基于再生权最小二乘法的最优剪枝极限学习机算法,通过该算法将机器人目标位姿映射到修正位姿上,实现了对机器人末端位姿补偿的效果.利用爱普生6轴机器人末端进行实验,在不同速度下完成直线轨迹运动、圆轨迹运动以及离散随机运动,对该误差补偿方法的有效性进行验证和分析.结果表明,该误差补偿方法均能提高机器人的位姿精度,其测试点在X、Y、Z三轴总方向上的绝对位置精度为0.06 mm～0.25 mm,比无补偿时的2 mm～3 mm有了1个数量级的提高;而姿态误差补偿后,其均方根误差和平均绝对误差均减小到未补偿时姿态误差的26.09%.同时,该补偿方法还可有效降低异常值的影响,具有良好的稳健性.     

PLP-SLAM:基于点、线、面特征融合的视觉SLAM方法

基于点特征的视觉SLAM(同时定位与地图构建)算法存在计算量大、环境存储空间负荷高、定位误差较大的问题,为此,提出了一种基于点、线段、平面特征融合的视觉SLAM算法——PLP-SLAM.在扩展卡尔曼滤波(EKF)框架下,首先利用点特征估计机器人当前位姿,然后构建了基于点、线、平面特征的观测模型,最后建立了带平面约束的线段特征数据关联方法及系统状态更新模型,并利用线段和平面特征描述环境信息.在公开数据集上进行了实验,结果表明,本文PLP-SLAM算法能够成功完成SLAM任务,平均定位误差为2.3 m,优于基于点特征的SLAM方法,并通过基于不同特征的SLAM实验表明了本文提出的点、线、面特征融合的优越性.     

基于标准圆柱的线激光轮廓扫描机器人手眼标定方法

在搭载线激光轮廓传感器的机器人平台手眼标定问题中,依靠线激光轮廓传感器输出的2维点云信息进行标定,存在标定过程复杂、标定精度低的缺点。本文针对这些问题,提出一种基于圆柱侧面约束的手眼标定方法。通过改变扫描机器人末端位姿,获得不同位姿下圆柱侧面扫描数据。对于激光平面与圆柱侧面相交得到的椭圆轮廓,利用随机抽样一致性（RANSAC）算法得到椭圆轮廓中心点坐标。利用椭圆轮廓的估计中心点到圆柱中轴线的距离建立约束优化方程,将手眼标定问题转化为约束优化问题。利用粒子群优化（PSO）算法和广义拉格朗日乘子法的融合算法求解约束优化问题,得到手眼标定的变换矩阵。最后基于所提方法进行模拟仿真和扫描重建试验。分别讨论了标定数据误差、标定参照物位置和标定参数初始值对标定结果的影响,并验证了手眼标定精度。结果表明,该方法不受标定参照物位置和标定参数初始值的影响,具有操作简单、通用性强、标定精度高等特点,标定精度在0.15mm以内,适合现场标定。     

一种骨外科手术机器人的图像导航方法

精确目标定位和手术路径规划是将机器人用于长骨骨折内固定手术中的关键技术．文中使用了局部法对X光图像进行畸变校正；并提出了一种基于几何模型的对准方法，得到一条能够穿过髓内钉远端孔的路径，从而引导串联机器人锁定髓内钉．实验表明，该导航方法仅需一张X光图像，有足够的定位精度和稳定性，可大大减少手术时间，降低医生所受辐射剂量．     

复杂环境下的多工件定位研究

为了获取工业流水线上工件精确的位姿信息,提出一种在复杂环境下同时定位多个工件的方法。首先在复杂环境下采用基于边缘梯度的匹配算法及图像金字塔搜索策略快速识别多个目标,得到目标在图像坐标系中的精确位置信息。然后通过张正友棋盘标定法对单目摄像机进行标定,获得摄像机的内参数及畸变参数。最后,通过优化最小二乘法建立了一种图像坐标系到世界坐标系间的转换关系,实现目标由图像坐标系到世界坐标系中的精确位姿定位。实验表明该方法能在杂乱背景、部分遮挡及非线性光照等环境下,准确地定位工件,鲁棒性较高;识别目标的平均时间在0.5 s以内,工件在x-o-y平面的定位误差小于1 mm、姿态角度定位误差小于1°,可以满足工业应用中复杂环境下的实时性和精度要求。     

一种多模块神经网络与遗传算法相结合的单目位姿估计方法

针对机器人抓取场景中存在的工件位姿不确定、堆叠遮挡等问题，提出一种多模块神经网络与遗传算法相结合的单目位姿估计方法，实现由目标工件检测到平面定位、再到位姿全方位立体匹配的逐级优化过程。首先，利用神经网络识别工件并分割工件区域，结合预测的中心位置构建L形边界，从而得到工件投影的局部有效模型。然后提取工件区域内的边缘信息来生成基于倾角分层的倒角距离函数，结合局部有效模型的形状构建匹配度函数，以适应遮挡情况。采用大范围搜索和小范围优化相结合的策略，利用遗传算法实现6D位姿的快速收敛。基于ArUco码对工件进行数据集构建和实验测试，结果表明该方法能在0.5 s左右实现对工件的位姿估计，在420 mm的观察距离下，横向平移误差能控制在1 mm左右，旋转角度平均误差控制在2°以内。通过实验对比分析可知，本方法能有效应对复杂环境下工件位姿的准确估计，提升机器人工作效率。     

基于视觉测量的快速掘进机器人纠偏控制研究

针对在煤矿井下高粉尘、低照度环境中,掘进机器人定位与控制精度不高的问题,设计了一种基于视觉测量的快速掘进机器人纠偏控制系统。利用安装在快速掘进机器人上的防爆相机,对后方的激光指向仪进行图像采集,通过以太网将采集的图像信息传输给防爆计算机;利用防爆计算机对图像进行预处理,根据位姿解算模型解算出快速掘进机器人位姿;将解算出的位姿信息与巷道设计轴线信息进行比较,计算出快速掘进机器人位姿与巷道设计轴线间的位姿偏差;根据位姿偏差的类型与大小,采用不同的控制策略计算出修正后的控制量,并输出控制指令;控制指令控制电磁比例阀的阀芯移动,实现对伸缩油缸的控制,根据各区域伸缩油缸的伸缩量不同,对快速掘进机器人进行位姿调整,实现纠偏控制。实验结果表明:位姿视觉测量精度为X方向平均偏差21.334mm,Y方向平均偏差34.154mm,偏航角平均偏差为0.493°;纠偏控制精度在X方向小于30mm,满足实际工况要求。     

面向室内场景的主被动融合视觉定位系统

目的 视觉定位旨在利用易于获取的RGB图像对运动物体进行目标定位及姿态估计。室内场景中普遍存在的物体遮挡、弱纹理区域等干扰极易造成目标关键点的错误估计,严重影响了视觉定位的精度。针对这一问题,本文提出一种主被动融合的室内定位系统,结合固定视角和移动视角的方案优势,实现室内场景中运动目标的精准定位。方法 提出一种基于平面先验的物体位姿估计方法,在关键点检测的单目定位框架基础上,使用平面约束进行3自由度姿态优化,提升固定视角下室内平面中运动目标的定位稳定性。基于无损卡尔曼滤波算法设计了一套数据融合定位系统,将从固定视角得到的被动式定位结果与从移动视角得到的主动式定位结果进行融合,提升了运动目标的位姿估计结果的可靠性。结果 本文提出的主被动融合室内视觉定位系统在iGibson仿真数据集上的平均定位精度为2～3 cm,定位误差在10 cm内的准确率为99%;在真实场景中平均定位精度为3～4 cm,定位误差在10 cm内的准确率在90%以上,实现了cm级的定位精度。结论 提出的室内视觉定位系统融合了被动式和主动式定位方法的优势,能够以较低设备成本实现室内场景中高精度的目标定位结果,并在遮挡、目标...     

视频序列中基于头肩分割的人体位姿估计算法

当前常用3维重构的方法表示和计算视频中的人体位姿,但由于这些方法通常需要多个摄像头,不仅限制条件多,且计算复杂度高,为此,提出了一种基于头肩分割的人体位姿估计算法。该算法首先对视频中的人体进行头肩定位;然后利用人体头部的平面成像特点计算头部位姿,同时利用人体肩部的轮廓变化特点计算躯干位姿;最后结合头部和躯干的位姿估计运动中的人体位姿。实验结果证明,该算法是有效和优越的。     

基于动态耦合与空间数据关联的RGB-D SLAM算法

为了解决动态环境下视觉SLAM（同步定位与地图创建）算法定位与建图精度下降的问题,提出了一种基于动态耦合与空间数据关联的RGB-D SLAM算法。首先,使用语义网络获得预处理的语义分割图像,并利用边缘检测算法和相邻语义判定获得完整的语义动态物体;其次,利用稠密直接法模块实现对相机姿态的初始估计,这里动态耦合分数值的计算在利用了传统的动态区域剔除之外,还使用了空间平面一致性判据和深度信息筛选;然后,结合空间数据关联算法和相机位姿实时更新地图点集,并利用最小化重投影误差和闭环优化线程完成对相机位姿的优化;最后,使用相机位姿和地图点集构建八叉树稠密地图,实现从平面到空间的动态区域剔除,完成静态地图在动态环境下的构建。根据高动态环境下TUM数据集测试结果,本文算法定位误差相比于ORB-SLAM算法减小了约90%,有效提高了RGB-D SLAM算法的定位精度和相机位姿估计精度。     

基于MATLAB的平面线轮廓度误差评定

为准确快速评定线轮廓度误差,提出了一种基于分割逼近法与MATLAB相结合的用于计算平面线轮廓度误差的新方法,该方法符合最小条件原理;它根据平面线轮廓度误差的定义建立了误差评定的数学模型,采用分割逼近法快速求取测点到理论曲线轮廓的最小距离,通过坐标变换实现被测轮廓与理论轮廓位置的匹配,消除因位置偏差引起的线轮廓度评定的不精确问题.阐述了平面线轮廓度误差评定的步骤;实验结果表明该方法能够快速获得较好的误差评定结果.     

基于多传感器融合的移动机器人定位算法研究

针对移动机器人在室外环境下全局位姿定位精度低、定位耗时长的问题,提出一种基于多传感器融合的机器人定位算法。首先构建移动机器人的运动模型,并选用里程计、惯性测量单元IMU和激光雷达作为移动机器人的基础传感器;然后采用自适应蒙特卡罗定位算法对传感器融合位姿进行位姿误差计算,获取移动机器人初始位姿;最后进行激光点云匹配,获取全局地图,并利用基于全局正态分布地图的NDT算法进行初始位姿修正,最终实现全局位姿校正和高精度定位。结果表明,基于多传感器融合的移动机器人定位误差控制在0.04 m范围内,定位时长均值为0.045 s,定位误差较小,定位损耗时间较少。由此说明,本定位算法可提升移动机器人的定位精度和定位效率,可实现移动机器人全局位姿快速、精确定位,提出的定位算法具备一定的有效性。     

基于建筑特征及二维地图的复杂城市场景中移动机器人视觉定位算法

针对城市环境中全球定位系统(GPS)信号易受到高层建筑遮挡而无法提供准确位置信息的问题,提出了一种基于建筑物竖直侧平面特征及建筑物二维轮廓地图的移动机器人定位方法。该方法利用车载视觉,首先对两视图间的竖直直线特征进行匹配;然后基于匹配的竖直线特征对建筑物的竖直侧平面进行重建;最后,利用建筑物竖直侧平面特征及建筑物二维俯视轮廓地图,设计了一种基于随机采样一致性(RANSAC)的移动机器人视觉定位算法,从而解决了在建筑物方向任意的复杂城市环境中的机器人定位问题。实验结果表明,算法的平均定位误差约为3.6m,可以有效地提高移动机器人在复杂城市环境中自主定位的精度及鲁棒性。     

基于迭代的旋转视觉元件针脚位姿估计精度优化

高效率型插件机通过同步带拖动旋转轴,插件模块紧凑重量轻,但大角度转动时旋转角定位误差偏大,针对旋转角定位误差影响针脚位姿估计精度的问题,提出基于位置约束和迭代拟合的位姿估计精度优化方法;元件针脚的相对位置固定,因此旋转测量时所有针脚转过相同角度,且针脚轨迹为圆周,该方法根据这两种约束构造了圆轨迹拟合方程和旋转角拟合方程,通过迭代实施这两种拟合得到旋转角的精确估计值,从而实现了元件针脚位姿精密估计;为了验证本文方法的有效性,进行了理论分析和仿真,仿真结果表明该方法可抑制大角度转动时旋转角的定位误差的增大,在常用针脚元件及工作参数下,迭代仿真的位姿误差控制在±0.018mm之内,耗时低于65ms,精度和实时性均能满足异形插件机的实际需求。     

空地协同机器人目标定位方法

针对空地协同机器人中无人机对地面无人车的实时精准定位问题,提出一种红色双圆型定位标记及标记识别与定位方法。引入颜色分割与轮廓提取相结合的方式,减少提取到的轮廓特征数量,排除背景信息干扰以减少误识别;提出一种圆形轮廓快速检测算法,快速识别目标轮廓并准确定位目标像素坐标和方向;基于针孔相机成像模型,根据目标像素坐标和方向,估计出目标在机体坐标系下三维坐标和偏航角。实验结果表明,无人机与地面无人车相对高度1.5 m时,该方法在[x]轴和[y]轴方向定位误差分别为3.9 mm和3.6 mm,每帧图像平均处理耗时为11.6 ms,优于基于核相关滤波的识别定位方法的13.3 mm、14.3 mm和56.3 ms。该方法与无人机控制相结合,可以实现无人机协同跟踪与自主降落功能,提升空地协同机器人作业效率,具有显著的工程意义。     

基于轻量型YOLOv5的风机桨叶检测与空间定位

应用无人机对风力发电机进行自主巡检时,需对其桨叶叶尖进行精准定位,同时因机载计算板的计算能力有限,常规目标检测算法检测效率低下。为此提出了一种基于轻量型YOLOv5的风机桨叶检测与空间定位方法,首先对YOLOv5目标检测算法进行轻量化改进,将ShuffleNetv2作为特征提取主干网络;然后利用该算法对风机全景图像中的风机轮毂和桨叶进行检测,以得到轮毂和桨叶叶尖的像素坐标;最后利用无人机位姿信息和空间平面的几何关系,对风机桨叶进行精准定位。实验表明,所改进的目标检测算法以1.536×10⁶的参数量在大疆MANIFOLD2-C上的检测速度提升47%,可达29.4 f/s,所设计的定位方法可对风机桨叶叶尖进行精准定位,水平和高度定位误差均为±5 cm,三维整体定位误差为±10 cm。