面向机器人抓取的双目视觉系统标定与目标位姿估计算法

在双目视觉抓取系统中,首要任务是解决相机标定以及目标位姿估计问题。针对工业应用场景,文中提出了一种基于灭点一致性约束的相机标定算法,并利用目标的双目图像立体匹配结果,通过改进迭代最近点算法实现目标位姿估计。实验结果表明:该系统能够有效地估计目标位姿,目标位姿估计的平移与角度误差均能满足抓取需求。     

基于智能三坐标测量机的零件位姿单目立体视觉识别

为了使三坐标测量机快速准确地识别出被测零件的位姿,提出了一种基于三坐标测量机平动的单目立体视觉识别方法,并对该方法的原理、位姿参数的求解和识别过程进行了研究.根据双目立体视觉原理,以三坐标测量机带动摄像机沿X轴或y轴平移,在两个不同位置分别拍摄被测零件的一幅图像;利用本文提出的基于边缘图像质心偏移的同名像点匹配方法,实现单摄像机立体视觉测量,得到被测零件上各特征点在摄像机坐标系中的三维坐标;由摄像机标定参数,进一步计算出各特征点在机器坐标系中的三维坐标;再结合各特征点在零件CAD坐标系中的对应坐标,求解出被测零件的位姿参数.组建了识别系统,进行了识别实验,结果显示,识别出的实验件位姿的平移量分别为:tx1=32.65 mm,ty1 =-90.23 mm,tz1=13.27 mm,旋转角分别为Ax =38°,AY=4°,Az=-5°,整个识别过程用时1.818 s.得到的实验数据表明该识别方法是可行的,可满足实时测量要求.     

应用摄像机位姿估计的点云初始配准

基于摄像机位姿估计的数学模型,提出了一种检测摄像机位移前后目标图像特征点的方法,通过求解摄像机发生位移前后的相对位姿矩阵来解决应用视觉图像获得点云的初始配准问题。首先,介绍了摄像机位姿估计模型,包括本质矩阵、旋转矩阵以及平移矩阵;然后,介绍了SURF算子的特征点检测、描述和匹配的方法,在此基础上面向双目视觉和单目结构光系统,分别提出了摄像机位移前后目标图像SURF特征点匹配和深度估计模型;最后,分别进行双目视觉和单目结构光系统点云的获取、位移前后目标图像特征点检测匹配和深度估计实验,应用摄像机位姿估计模型求解旋转矩阵和位移矩阵,并对位移矩阵进行统计分析剔除粗差。实验中采用基于点云空间特征点和基于图像的方法进行对比,点云对应特征点均方误差缩小至12.46mm。实验结果验证了方法的可行性,表明本文的点云初始配准方法能较好地获得点云精确配准初值。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

基于双目视觉的工件空间定位方法研究

本文基于双目视觉原理,设计实现了一种对特定工件空间定位方法。首先对双目视觉系统进行标定,根据标定结果进行图像矫正,使用基于区域的立体匹配算法求取视差图,结合特征点对应视差值和标定结果对图像进行三维重构,获得工件表面的高度位置信息;根据工件特征,通过拟合获得的工件一组同轴圆的圆心三维坐标,确定工件在摄像机坐标系下的位置和姿态,实现工件的空间定位。     

基于彩色图像的高速目标单目位姿测量方法

针对风洞分离实验对于视觉测量系统的高精度、大视场、高速的测量要求,提出一种基于单目摄像机的风洞运动目标位姿测量方法。该方法利用单目摄像机进行运动目标位姿信息测量,相比于双目测量方法具有设备简单、视场大的优点。首先提出一种基于靶标特征点相互约束关系的参数优化方法,采用复合式靶标实现摄像机的快速高精度标定;针对目标运动图像处理,提出一种基于图像差叠法和标记点位置估计的图像快速分割与目标定位方法,实现图像特征的快速准确定位;针对单目测量要求及目标运动特性,提出一种基于方向估计标记点布局方式,实现合作标记点的快速识别和提取;最后利用单目视觉原理求解运动目标的位置和姿态信息,通过实验室模拟实验完成了测量系统的精度验证,在1 m×1 m视场范围内,其位移测量精度可达到0.19 mm,俯仰和偏航角测量精度可达到0.18°。     

基于双目结构光的工件位姿检测方法北大核心CSCD

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明:视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

基于双目视觉的工件位姿检测方法

建立了一种基于双目视觉的空间位姿检测模型。采集目标物不同角度的图片以建立目标物离线模板库,通过SURF算法检索模板库以分离目标物所在区域。在该区域利用霍夫变换提取目标物的特征角点。利用基于灰度相关函数的匹配算法完成特征角点的匹配,结合双目视觉模型建立特征角点像素坐标与用户坐标间的映射关系进而求出目标物在用户坐标系下的位姿信息。以检测箱体工件为例进行多组实验,结果表明,该方法可以准确地检测目标物位姿。     

基于双目结构光的工件位姿检测方法

面向机器人在柔性上下料中工件放置范围较大、摆放位姿不确定的应用场景,提出了一种基于双目结构光的空间位姿检测系统。基于双目结构光视觉系统获取工件点云数据,通过对Z轴分层遍历寻找工件最上层平面,利用其法向重新建立坐标系来矫正原始点云数据;将最上层点云数据映射转成2D图像,通过图像处理完成多个工件分割并获得工件位置信息进行点云粗配准,再通过ICP精配准得到工件的位姿信息。以检测料框为例进行实验,实验结果表明：视觉系统距检测目标3 m处,仍能输出多个料框的准确位姿信息,可有效提升工业机器人柔性上料的可靠性。     

基于立体视觉和激光标记的空间物体位姿的快速定位算法

建立了一种4自由度双目立体视觉装置的传感器模型,根据空间两条相交射线唯一确定空间一点的原理,提出了在摄像机上加装激光源的方法,通过激光标记来解决目标物体上同一点在两幅CCD图像上对应点的快速匹配问题,从而很方便地求取目标物体的深度信息。最后,研究了目标物体空间位姿的图像定位算法,并通过确定的空间圆柱体位姿验证了该方法的正确性。     

基于图像轮廓的泵体口环位姿及尺寸检测算法

针对泵体口环人工检测安装精度差的问题，提出了基于图像轮廓的泵体口环位姿及尺寸的视觉检测算法。首先对泵体口环图像进行图像预处理，然后进行图像轮廓检测，分割出泵体口环目标轮廓，最后建立了求取泵体口环位姿及尺寸的数学模型，并根据目标轮廓中包含的像素点数学信息，设计了泵体口环位姿及尺寸检测算法。实验结果表明，基于该算法能够较精准的识别检测泵体口环位姿及尺寸，在较高精度工业机器视觉化应用中具有现实意义。     

双目视觉脉搏图像三维信息获取的研究

通过双目视觉原理构成脉搏图像传感器采集脉搏薄膜图像。对系统摄像机采用张正友标定方法,得出系统结构参数建立的物空间坐标到像平面坐标对应矩阵。再基于SIFT特征算子进行左右2幅图像匹配,得出2幅图像一一对应的特征点。最后根据双目视觉原理得到特征点的三维信息。     

眼科手术机器人双目视觉标定方法研究

双目视觉系统通过相机模拟人眼,基于视差原理,从不同角度采集被测物体的两幅图像获取其二维信息,建立特征点的对应关系,计算出位置偏差,从而实现三维重建。眼科手术机器人双目视觉系统选用的标定方法是以张正友摄像机标定方法为基础,利用Harris角点检测方法实现亚像素点的精确化,对采集图像进行畸变矫正。将得出的标定结果与常用传统标定方法MATLAB相机标定工具箱Toolbox_calib的标定结果进行比较,分析像素误差。结果表明:使用新算法标定后的结果更加稳定,像素误差更小,精度更高,适用情况更加广泛,可用于眼科手术机器人的双目视觉标定系统中。     

双目视觉伺服的4-DOF机械手臂运动控制

为了解决多自由度机械手臂由于目标放置偏离而引起的抓取任务失败问题,给出了一种基于双目立体视觉的目标识别与定位控制方法。以抓取矩形轮廓的目标物体放置于矩形目标位置为控制任务,基于双目视觉目标图像信息,分析了目标特征参数提取、识别、匹配以及目标空间位姿测量的方法。结合四自由度(4-DOF)机械手臂硬件控制系统,运用改进D-H参数法建立了机械手臂正运动学模型,并通过逆运动学方法将目标位姿转化为机械手臂的控制指令,实现对目标抓取和放置的运动控制。实验结果表明,该视觉伺服的机械手臂运动控制系统能够准确、稳定地实现抓取和放置任务,定位精度高,对工业机器人在分拣、装配中的运动控制研究和应用有重要的参考价值。     

基于单目视觉的工业机器人智能抓取系统设计

针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题,将单目视觉引导技术应用到工业机器人智能抓取系统设计中。利用图像进行了模式识别,对检测定位进行了研究,建立了视觉图像与工件定位抓取之间的关系,提出了基于轮廓Hu不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理,然后利用轮廓Hu不变矩模板匹配算法进行了目标工件的识别,利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取,最后通过建立SOCKET通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于VS软件开发平台和ABB机械手,对智能抓取系统进行了搭建并试验。研究结果表明:该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高,可满足工业自动化生产的需求。     

基于空间平面约束的视觉定位模型研究

针对现有视觉定位方法中存在的立体匹配效率低下等不足,为实现平面运动目标位姿的实时视觉计算,提出基于空间平面约束的视觉定位模型。首先,通过双目视觉标定得到相机内外参数;然后,使用平面标定方法计算出空间约束平面方程;其次,根据空间平面方程给出了目标平行平面上任意点的空间坐标计算方法,进而实现运动目标位姿测算;最后,以1∶49的集装箱卡车视觉引导进行了模拟实验。实验结果表明,该模型计算得到的物理位置的标准差在略优于双目模型的情况下,具有更强的实时性。     

立体视觉和三维激光系统的联合标定方法

双目立体视觉和三维激光扫描是移动机器人环境探测与建模的常见传感测量方法。为实现两个系统的数据融合应用,必须为二者的测量坐标系建立数学关系,即对其进行传感器之间的位姿联合标定。为此提出了一种基于三维特征点距离匹配的联合标定新方法,设计了一种镂空棋盘格作为标定板。使用双目立体相机提取棋盘格角点三维坐标信息,使用激光测距雷达扫描获取镂空区域中心点三维坐标,最终通过最小化两组特征点的理论与实际测量距离的平方差获取两传感器坐标系之间的旋转矩阵和平移向量。进行的联合标定测量实验结果表明了该方法的准确性和可靠性。     

挖掘机器人双目视觉系统标定方法与立体匹配

在挖掘机器人视觉系统实现中,摄像机标定、特征提取、立体匹配是关键环节,而立体匹配又是视觉系统中最复杂、最重要的步骤。首先分析了通用双目立体视觉模型及平行双目立体视觉模型,对挖掘机器人平行双目立体视觉系统测量方法及参数标定进行了研究。结合基于特征的匹配方法,通过对左、右图像角点的提取,实现了基于极线几何约束的特征点匹配。通过对铲斗图像匹配实验,验证了该方法能满足挖掘机器人视觉系统要求。     

基于机器人的对接位姿视觉测量系统标定研究

针对传统的相机内参矩阵和相机位置参数标定方法较为繁琐复杂且与相机内参标定互相割裂的痛点,本文设计了一种基于机器人的对接位姿视觉测量系统标定方法,利用采集得到的不同位姿关系下标定板图像以及对应的末端机器人末端执行器位姿数据,解算视觉位姿测量过程中涉及到的不同坐标系间位姿转换关系,一次性完成相机内参标定和相机位置参数标定....     

动态场景下一种鲁棒的立体视觉里程计算法

针对传统视觉里程计算法在动态场景下对相机位姿估计鲁棒性和精确性不高的问题,基于场景流及静态点相对空间距离不变原理,提出一种动态场景下鲁棒的立体视觉里程计算法。该算法首先利用相机初始位姿估计,计算相邻帧之间匹配点对的场景流,进而建立高斯混合模型,并对场景中动、静物体的特征点进行初步分离;然后利用静态点空间相对距离不变的原理和匹配虚拟地图点集的方法进一步分离动、静物体上的特征点;最后,生成由静态特征点对应地图点构成的局部地图,并考虑虚拟地图点集的匹配情况,最小化重投影误差,以得到精确的相机位姿估计。对TUM数据集以及实际场景进行实验,结果表明提出的算法在动态场景下能够鲁棒地估计出高精度的相机位姿。