基于目标检测的机器人手眼标定方法

智能协作机器人依赖视觉系统感知未知环境中的动态工作空间定位目标,实现机械臂对目标对象的自主抓取回收作业。RGB-D相机可采集场景中的彩色图和深度图,获取视野内任意目标三维点云,辅助智能协作机器人感知周围环境。为获取抓取机器人与RGB-D相机坐标系之间的转换关系,提出基于yolov3目标检测神经网络的机器人手眼标定方法。将3D打印球作为标靶球夹持在机械手末端,使用改进的yolov3目标检测神经网络实时定位标定球的球心,计算机械手末端中心在相机坐标系下的3D位置,同时运用奇异值分解方法求解机器人与相机坐标系转换矩阵的最小二乘解。在6自由度UR5机械臂和Intel RealSense D415深度相机上的实验结果表明,该标定方法无需辅助设备,转换后的空间点位置误差在2 mm以内,能较好满足一般视觉伺服智能机器人的抓取作业要求。     

用于工业级的远距离相机手眼两步标定方法

为解决工业应用中远距离的相机手眼标定中所存在的标定误差大、标定步骤繁琐等问题,提出一种远距离相机手眼两步标定方法。该方法将标定板固定于机器人六轴,避免标定板成像距离过远而导致的标定误差增大的问题;基于机器人世界坐标系规划机器人平移运动,仅需三次机器人平移操作即可快速标定机器人手眼矩阵;以角点坐标系构建超定方程,并基于高斯-牛顿方法对手眼矩阵进行非线性优化,有效降低手眼矩阵的非线性误差。实验结果表明,该方法能有效完成远距离相机手眼矩阵标定,其视觉定位的平均欧式误差和最大欧式误差相较于九点标定法分别下降48.099%和49.688%,能有效保证手眼矩阵标定精度。     

基于服务型机器人的机械臂手眼标定的研究与应用

随着科技的进步,服务型机器人也广泛应用于生活的很多场景中,其中,机械臂的应用丰富了服务型机器人的功能。将手眼标定算法应用于机械臂,可以使机械臂完成智能取物等动作,更好地服务于人。提出了一种眼在手上的基于服务型机器人的机械臂手眼标定算法,并对其误差进行了分析,验证发现其可以满足服务型机器人的取物应用。     

基于RANSAC的便携式激光扫描测量臂手眼标定方法

便携式测量臂和激光扫描测头手眼关系的确定是便携式激光扫描测量臂系统中的关键问题。针对测量臂末端相对运动旋转轴之间的夹角和测量臂与扫描测头相对运动的旋转角差值这两个影响手眼标定精度的因素,设定激光扫描测量臂标定数据筛选原则,提出一种基于随机采样一致性的自适应阈值手眼标定算法。蒙特卡洛仿真实验和激光扫描测量臂实测实验结果表明,提出的算法对四元数方法求解的相对旋转轴和平移向量误差标准差精度分别提高了2.42%,4.14%,可以满足便携式激光扫描测量臂系统的测量精度要求。     

简便高精度的机器人手眼视觉标定方法

对摄像机成像模型进行了分析,论述了机器人手眼系统标定原理。在此基础上,不改变机器人的外臂与基坐标系的旋转关系,设计了一种机器人手眼视觉的标定方法,与传统的方法比较,它不需要预先标定摄像机的内外参数。实验证明:该方法具有算法方便快捷、实验过程简单易行,且精度高等优点,可用于机器人进行运动目标定位与跟踪。     

基于HALCON的3D视觉下的相机标定方法研究

介绍一种基于3D视觉的相机手-眼标定方法.利用halcon图像处理库中3D视觉手眼标定算子,对机械手与相机系统进行手眼标定,实现相机坐标系到世界坐标系的转换.并将3D图像处理程序导出成C++代码进而整合进C++程序,在vs2015开发环境下,使用MFC模板,HALCON与C++联合完成机械手视觉抓取系统的坐标转换程序的...     

基于HALCON的机器人手眼标定精度分析与反演方法

通过视觉引导机器人完成抓取任务,机器人手眼标定的精度直接影响了抓取任务作业精度和抓取成功率。对于基于位置的机器人视觉引导系统,手眼标定的任务则是确定机器人坐标系与相机坐标系之间的位姿关系。通过HALCON平台,使用线性标定法实现了6DOF机器人的手眼标定。对手眼标定的结果进行反演,直观地展示了手眼标定的精确程度。最后通过采集多组不同数量的图片,在HALCON平台下验证了不同摄像机模型对手眼标定的精度影响,以及同种摄像机模型在不同数量图片的情况下手眼标定的标定精度。实验证明,根据位姿矩阵中待求解的未知量个数采集合适数量的图片和使用更精确的摄像机模型能够提高手眼标定的精度。     

精确标定关节臂视觉检测系统手眼关系

在关节臂视觉检测系统中,视觉传感器与关节臂末端的手眼关系标定的准确性直接影响到系统的测量精度。推导了关节臂手眼问题的数学关系模型,提出了一种基于遗传优化算法的双阶段手眼标定的新方法,即先采用常规方法求取手眼变换矩阵主要参数的初始值,在初始值的基础上利用遗传算法优化手眼标定模型的所有参数,建立遗传优化算法的手眼关系数学模型。通过实验论证了该方法的优良性和可行性,对一般手眼问题具有一定的可移植性,系统测量精度优于40 μm。     

一种新的机器人手眼关系标定方法

通过控制装有摄像机的机械手的运动,给出了一种新的机器人手眼系统标定方法．与以往算法的不同之处在于,在计算手眼关系的平移向量时,对摄像机坐标系进行虚设旋转变换使旋转转化为平移问题．该方法需要机械手平台做两次平移运动和一次旋转运动,只需要场景中两个特征点,所以具有方便性和实用性．同时,也给出了基于主动视觉的空间点深度值计算方法．     

Kinect传感器的彩色和深度相机标定

目的 针对现有的Kinect传感器中彩色相机和深度相机标定尤其是深度相机标定精度差、效率低的现状,本文在现有的基于彩色图像和视差图像标定算法的基础上,提出一种快速、精确的改进算法。方法 用张正友标定法标定彩色相机,用泰勒公式化简深度相机中用于修正视差值的空间偏移量以简化由视差与深度的几何关系构建的视差畸变模型,并以该模型完成Kinect传感器的标定。结果 通过拍摄固定于标定平板上的标定棋盘在不同姿态下的彩色图像和视差图像,完成Kinect传感器的标定,获得彩色相机和深度相机的畸变参数及两相机之间的旋转和平移矩阵,标定时间为116 s,得到彩色相机的重投影误差为0.33,深度相机的重投影误差为0.798。结论 实验结果表明,该改进方法在保证标定精度的前提下,优化了求解过程,有效提高了标定效率。     

基于特征算子的 RGB-D 图像手分割算法*

将人手势识别过程中使用的信息设计为不同算子,利用手部／非手部区域的相邻像素点的深度或颜色特征的连续性的原理,从手心作为起始点进行搜索并检测特征算子,保证了结果像素形成一个联通区域。算法解决了手部颜色和深度数据不均匀的问题,没有手必须离传感器最近的限制,可以实现复杂场景下的手分割。     

手眼系统中刀具刀头位姿标定与视觉引导

在服务机器人的日常任务中要求机械手抓取不同的目标,且根据目标的放置位姿的不同需要从相应角度进行抓取,但机械手与手持目标的位姿关系往往难以精确和直接地测量。以刀具作为手持目标,利用eye-in-hand手眼系统抓取该目标后,在线标定手眼与手持刀具刀头的位姿关系,首先给出了摄像机调焦前后焦距标定的计算方法,再将调整焦距视为摄像机沿光轴的平移运动,通过调焦前后摄像机获取的两幅图像,标定出刀具在摄像机和机械手坐标系下的位姿,同时给出了刀具刀头到期望加工点的导向矢量计算方法。     

Kinect 下深度信息获取技术及其在三维目标识别中的应用综述

微软公司 2010 年推出的 Kinect 深度传感器能够同步提供场景深度和彩色信息,其应用的一个关键领域就是目标识别。传统的目标识别大多限制在特殊的情形,如：手势识别、人脸识别,而大规模的目标识别是近年来的研究趋势。通过 Kinect 得到的 RGB-D 数据集多为室内和办公环境下获取的多场景、多视角、分目标类型的数据集,为大规模的目标识别算法设计提供了学习基础。同时,Kinect 获取的深度信息为目标识别提供了强有力的线索,利用深度信息的识别方法较以前的方法具有无法比拟的优势,大大地提高了识别的精度。文章首先对 Kinect 的深度获取技术做了详细介绍;其次对现有的 3D 目标识别方法进行综述,接着对已有的 3D 测试数据集进行分析和比较;最后对文章进行小结以及对未来 3D目标识别算法和 3D 测试数据集的发展趋势作了简单的阐述。     

结构光视觉测量机器人的标定

构建了由线结构光测头和机器人组成的视觉测量系统. 利用齐次坐标变换的方法建立了测量系统的数学模型. 针对数学模型中的手眼关系, 使用半径已知的球体, 采用定点变位姿的方法, 进行粗略的估计. 考虑到机器人的绝对精度较低, 将定点信息和尺度信息作为优化条件, 对计算机器人的运动学参数和手眼关系做进一步寻优. 实验表明文中的方法能够有效提高测量机器人的重复精度.     

卷积神经网络用于关节角度识别与姿势评估

为了快速准确地输出各种工作姿势风险评估结果,提出采用Kinect v2与卷积神经网络识别人体各关节角度,并输出标准姿势风险的评估得分。首先使用亚像素角点提取的棋盘标定算法标定Kinect两个摄像头,其次使用改进后的双边滤波对深度图像去噪,使用卷积神经网络识别人体关节二维位置,结合深度信息获取实际三维坐标并计算人体关节角度,最后输出姿势风险评估得分。通过两种实验分别验证了提出的Kinect角度识别与姿势评估的准确性,表明该方法关节角度识别与姿势风险评估的准确率均较高,是一种低成本、高可靠性的姿势评价方法,具有一定的科学意义和工程应用价值。     

基于手眼标定方程AX=XB的精度影响因素研究

机器人手位姿数据对手眼标定精度的影响不可忽略,将对基于手眼标定方程AX=XB的精度影响因素进行分析.通过手眼标定仿真和实测实验验证上述两个因素对手眼标定精度的影响与理论分析的一致性.通过仿真与实测实验,总结得出了减小摄像机与靶标间距离、减小机器人手的运动前后到基坐标空间距离的相差距离,可提高手眼标定精度,通过四元数法和矩阵直积法验证了此规律在解AX=XB标定方程时的通用性,并且在摄像机与靶标间距约为230 mm以及机器人手的运动前后到基坐标空间距离的相差距离为3.2401 mm时,手眼标定平移向量相对误差最高精度可达0.0403%.     

点云下地平面检测的RGB-D相机外参自动标定

目的 RGB-D相机的外参数可以被用来将相机坐标系下的点云转换到世界坐标系的点云,可以应用在3维场景重建、3维测量、机器人、目标检测等领域。 一般的标定方法利用标定物（比如棋盘）对RGB-D彩色相机的外参标定,但并未利用深度信息,故很难简化标定过程,因此,若充分利用深度信息,则极大地简化外参标定的流程。基于彩色图的标定方法,其标定的对象是深度传感器,然而,RGB-D相机大部分则应用基于深度传感器,而基于深度信息的标定方法则可以直接标定深度传感器的姿势。方法 首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数,即相机坐标系内的点与世界坐标系内的点的转换矩阵。结果 实验以棋盘的外参标定方法为基准,处理从PrimeSense相机所采集的RGB-D视频流,结果表明,外参标定平均侧倾角误差为-1.14°,平均俯仰角误差为4.57°,平均相机高度误差为3.96 cm。结论 该方法通过自动检测地平面,准确估计出相机的外参数,具有很强的自动化,此外,算法具有较高地并行性,进行并行优化后,具有实时性,可应用于自动估计机器人姿势。     

基于共面圆的距离传感器与相机的相对位姿标定

近年来,距离传感器与摄像机的组合系统标定在无人车环境感知中得到了广泛的研究与应用,其中基于平面特征的方法简单易行而被广泛采用.然而,目前多数方法基于点匹配进行,易错且鲁棒性较低.本文提出了一种基于共面圆的距离传感器与相机的组合系统相对位姿估计方法.该方法使用含有两个共面圆的标定板,可以获取相机与标定板间的位姿,以及距离传感器与标定板间的位姿.此外,移动标定板获取多组数据,根据计算得到两个共面圆的圆心在距离传感器和相机下的坐标,优化重投影误差与3D对应点之间的误差,得到距离传感器与相机之间的位姿关系.该方法不需要进行特征点的匹配,利用射影不变性来获取相机与三维距离传感器的位姿.仿真实验与真实数据实验结果表明,本方法对噪声有较强的鲁棒性,得到了精确的结果.