结合机器视觉的采摘机械手的定位仿真研究

对水果采摘机械手空间定位机理进行了研究,分析了双目立体视觉系统的定位误差并建立视觉误差补偿机制,利用虚拟机械手开发软件和CCD视觉硬件构建了仿真系统,通过双目立体视觉获取空间位置数据映射到虚拟环境下引导机械手进行模拟采摘。该系统利用多领域知识融合实现了采摘机构与视觉关联精确定位的仿真,能有效地指导实际作业环境中采摘机械手精确定位的优化设计。     

Intelligent control of a robot manipulator by visual feedback

We present a new approach to visual feedback control using image-based visual servoing with stereo vision. In order to control the position and orientation of a robot with respect to an object, a new technique is proposed using binocular stereo vision. The stereo vision enables us to calculate an exact image Jacobian not only at around a desired location, but also at other locations. The suggested technique can guide a robot manipulator to the desired location without needing such a priori knowledge as the relative distance to the desired location or a model of the object, even if the initial positioning error is large. We describes a model of stereo vision and how to generate feedback commands. The performance of the proposed visual servoing system is illustrated by a simulation and by experimental results, and compared with the conventional method for an assembling robot. This work was presented in part at the Fourth International Symposium on Artificial Life and Robotics, Oita, Japan, January 19–22, 1999     

基于双目立体视觉的机械手精确定位系统

在机械手执行任务的过程中,控制机械手定位到目标位置是一个非常的机械手自动定位系统设计方法,由双目立体视觉系统根据目标物的二维图像计算出目标物的三维坐标,然后根据此三维坐标去控制机械手自动运动到目标位置.实验表明该系统能提高排爆机器人机械手的易操作性,大大提高了机械手的性能     

基于一阶径向畸变算法的双目摄像机多位姿标定方法

双目立体视觉中在对物体进行三维测量或精准定位时,需要对摄像机进行标定以获得其内外参数。研究径向畸变摄像机模型,构造了基于一阶径向畸变（RAC）算法的双目摄像机内外参数线性求解公式。考虑侧倾角、旋转角、俯仰角以及透镜的主要畸变因素,修正了传统RAC标定法中只考虑径向畸变、部分参数需要先验值的缺陷。利用标定所得内、外参数进行了多位姿双目摄像机三维重构实验。实验结果表明,该标定方法重投影误差分布在[-0.3,0.3],动态识别结果与实际运行轨迹重合率为96%,对降低双目立体视觉三维测量误差率有积极性影响。     

基于目标检测的机器人手眼标定方法

智能协作机器人依赖视觉系统感知未知环境中的动态工作空间定位目标,实现机械臂对目标对象的自主抓取回收作业。RGB-D相机可采集场景中的彩色图和深度图,获取视野内任意目标三维点云,辅助智能协作机器人感知周围环境。为获取抓取机器人与RGB-D相机坐标系之间的转换关系,提出基于yolov3目标检测神经网络的机器人手眼标定方法。将3D打印球作为标靶球夹持在机械手末端,使用改进的yolov3目标检测神经网络实时定位标定球的球心,计算机械手末端中心在相机坐标系下的3D位置,同时运用奇异值分解方法求解机器人与相机坐标系转换矩阵的最小二乘解。在6自由度UR5机械臂和Intel RealSense D415深度相机上的实验结果表明,该标定方法无需辅助设备,转换后的空间点位置误差在2 mm以内,能较好满足一般视觉伺服智能机器人的抓取作业要求。     

利用双目视差理论的摄像机参数标定方法

针对龙眼和荔枝采摘机械手的目标获取问题,文章提出了基于双目立体视觉的摄像机标定的实验系统。实验系统是采用双目视差原理来获取深度信息的标定模型,通过对不同距离的标定板上已知特征点的图片获取和数据处理和分析,确定了两摄像机之间的最佳基线距离,在此基础上进一步验证了采摘目标的深度信息与摄像机的焦距有关的理论,并获得摄像机的合理焦距,为采摘机械手定位提供了基础理论研究依据。     

Precise Positioning of Binocular Eye-to-Hand Robotic Manipulators

This article addresses the visual servoing of a rigid robotic manipulator equipped with a binocular vision system in eye-to-hand configuration. The control goal is to move the robot end-effector to a visually determined target position precisely without knowing the precise camera model. Many vision-based robotic positioning systems have been successfully implemented and validated by supporting experimental results. Nevertheless, this research aims at providing stability analysis for a class of robotic set-point control systems employing image-based feedback laws. Specifically, by exploring epipolar geometry of the binocular vision system, a binocular visual constraint is found to assist in establishing stability property of the feedback system. Any three-degree-of-freedom positioning task, if satisfying appropriate conditions with the image-based encoding approach, can be encoded in such a way that the encoded error, when driven to zero, implies that the original task has been accomplished with precision. The corresponding image-based control law is proposed to drive the encoded error to zero. The overall closed-loop system is exponentially stable provided that the binocular model imprecision is small.     

一种基于弹道曲线模型的脱靶量测试方法

针对传统的脱靶量测试设备体积庞大、不便移动且测试成本高等缺点,提出了一种基于弹道曲线模型的双目立体视觉的脱靶量测试方法。研究了摄像机的成像模型及坐标系变换,分析了摄像机标定的一般方法,构建了摄像机标定模型,并推导了标定参数的表达式。基于双目立体视觉测试技术设计了弹道曲线模型的弹丸脱靶量测量系统,其测量过程简单且标定结果稳定,可实现弹丸运动目标的快速检测,通过对运动目标的空间定位和轨迹拟合实现了脱靶量的测试。实验结果表明:弹道直线模型和曲线模型均能简便地求解飞行弹丸脱靶量,后者比前者更贴近实际弹丸飞行轨迹,可获得更高精度的脱靶量,弹道曲线模型的脱靶量平均绝对误差(MAE)比直线模型降低了大约一半。     

一种基于SIFT特征的机器人环境感知双目立体视觉系统

针对双目立体视觉系统在机器人环境感知领域中存在的立体匹配以及测量精度问题,设计一种基于SIFT特征的双目立体视觉测量系统.利用SIFT特征良好的旋转、尺度、光照不变性等特性,有效地解决双目立体视觉系统的匹配问题,同时将SIFT算法在由FPGA和DSP组成的嵌入式系统上实现,显著地提高测量系统的实时性.提出一种基于二次多项式的误差补偿方法,对系统的测量结果进行补偿,弥补双目立体视觉系统测量误差随测量距离增加而增加的不足,从而提高系统测量精度.通过实际的测量实验、移动机器人环境感知实验以及与现有双目立体视觉产品的对比实验结果表明,系统能够很好地解决双目立体视觉的立体匹配和精度问题,并且能较好地应用于移动机器人环境感知任务中.     

GWM-view: Gradient-weighted multi-view calibration method for machining robot positioning

Multi-camera vision is widely used for guiding the machining robot to remove flash and burrs on complex automotive castings and forgings with arbitrary initial posture. Aiming at the problems of insufficient field of vision and regional occlusion in actual machining, a gradient-weighted multi-view calibration method (GWM-View) is proposed for the machining robot positioning based on the convergent binocular vision. Specifically, the mapping between each auxiliary camera and the main camera in the multi-view system is calculated by the inverse equation and intrinsic parameter matrix. Then, the gradient-weighted suppression algorithm is introduced to filter out the errors caused by camera angle variation. Next, the spatial coordinates of the feature points after suppression are used to correct the transformation matrix. Finally, the hand-eye calibration algorithm is implemented to transform the corrected data into the robot base coordinate system for the accurate positioning of the robot under multiple views. The experiment on the automotive engine flywheel shell indicates that the average positioning error is controlled within 1 mm under different postures. The stability and robustness of the proposed method are further improved while the positioning accuracy of the machining robot meets the requirements.     

基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

基于双目立体视觉技术的桥梁裂缝测量系统

针对国内外桥梁裂缝测量效率低、成本高、精度低等现状,提出了一种基于双目立体视觉技术的桥梁裂缝测量系统。采用相机标定、图像匹配、三维坐标计算等双目立体视觉技术对桥梁裂缝的宽度和长度进行计算,实现了桥梁裂缝测量系统。实验通过与单目摄像机用图像处理方法计算的桥梁尺寸结果作对比,表明:对于同一条裂缝的宽度与长度,用所提方法在不同拍摄角度下计算结果差别不大,并且与真实值的相对误差分别保持在10%和1%以内,而同一条件下单目测量系统的计算结果则随着拍摄角度的变化相差很大,宽度测量误差最大达到了19.41%,长度测量误差最大达到了54.35%。说明基于双目立体视觉技术的桥梁裂缝测量系统可以应用于实际中,并且鲁棒性更强,测量结果更精确。     

工业机器人加工轨迹双目3D激光扫描成像修正方法

为了提高工业机器人作业柔性,本文提出了一种基于双目CCD激光扫描3D成像的“眼在外”(Eye-to-hand:ETH)工业机器人末端(tool center point, TCP)运动轨迹在线修正方法。以激光切割机器人视觉引导为研究背景,降低加工过程机器人对物理工装定位精度的依赖。首先,为提高机器人视觉控制精度,研究了目标工件双目3D激光扫描成像空间点云坐标精确提取方法;其次,融合ETH控制特点和扫描成像系统结构,建立了一种机器人TCP运动轨迹相对偏差在线补偿方法,并通过实验验证了所提方法的可行性,为工业应用奠定基础。     

双目立体视觉的目标识别与定位

双目立体视觉系统可以实现对目标的识别与定位.此系统包含摄像机标定、图像分割、立体匹配和三维测距4个模块.在摄像机标定部分,提出了基于云台转角的外参数估计方法.该方法可以精确完成摄像头旋转情况下外参的估计,增强了机器人的视觉功能.并利用广茂达机器人系统,基于改进的双目视觉系统进行目标识别与定位,以此结果作为依据控制机器人的手臂进行相应运动,最终实现了对目标物体的抓取,验证了提出方法的可行性.     

基于双目视觉导航的仿生机器人鲁棒控制算法

仿生机器人在定姿过程中受到空间扰动因素的影响容易产生控制误差,需要对机器人进行精确标定,提高仿生机器人的定位控制精度,因此提出一种基于双目视觉导航的仿生机器人鲁棒控制算法。利用光学CCD双目视觉动态跟踪系统进行仿生机器人的末端位姿参量测量,建立被控对象的运动学模型;以机器人的转动关节的6自由度参量为控制约束参量,建立机器人的分层子维空间运动规划模型;采用双目视觉跟踪方法实现仿生机器人的位姿自适应修正,实现鲁棒性控制。仿真结果表明,采用该方法进行仿生机器人控制的姿态定位时对机器人末端位姿参量的拟合误差较低,动态跟踪性能较好。     

虚拟现实辅助机器人遥操作技术研究

本文以水下机器人的遥操作作业为应用背景,提出并实现了虚拟现实技术和视觉感知 信息辅助机器人遥操作实验系统．该系统使用了CAD模型和立体视觉信息完成遥操作机器人 及其作业环境的几何建模和运动学建模,实现了虚拟作业环境的生成和实时动态图形显示． 采用了基于立体视觉的虚拟环境与真实环境的一致性校正、图形图像叠加、作业体与环境位 姿关系建立、基于网络的监控通讯等关键技术．在这个实验系统中,操作人员可利用所生成 的虚拟环境,在多视点、多窗口作业状态图形和图像显示帮助下,实时动态地进行作业观测 与机器人遥操作与运动规划,为先进遥操作机器人系统的实现提供了经验和关键技术．     

双目视觉模型移动目标跟踪系统

为了使机器人能够对目标进行自主智能的跟踪,基于仿生学原理建立双目视觉模型,设计出四自由度的仿人眼颈跟踪系统,通过上位机与下位机的配合以及2台摄像机与4台直流电机,实现双目视觉移动目标跟踪系统.该系统通过双目摄像机对目标进行图像采集,由PC机对目标进行特征提取以及一系列处理后计算出目标的移动范围,将目标移动数据传输至下位机后通过PID控制算法平滑控制直流电机的运转方向与运转速度,从而对移动目标实现良好的跟踪性能.     

基于人工路标和立体视觉的移动机器人自定位

针对室内移动机器人的自定位问题,提出一种基于人工路标和双目视觉的室内移动机器人自定位方法。首先设计了一种可扩展的彩色人工路标,并给出路标的编码方法;然后利用色彩空间变换,直线交比不变性以及自适应窗口实现路标检测与识别;最后在分析双目立体视觉模型的基础上建立起基于路标的双目立体视觉定位模型,实现移动机器人的准确定位。实验结果表明,路标对光照和视觉传感器的采集位置具有较强的鲁棒性,定位精度能够满足室内移动机器人的定位要求。     

双目立体视觉和GSOM相结合的机器人自主地图构建方法

双目立体视觉和自组织可增长特征映射图GSOM(Growing Self-organizing Map)相结合的机器人地图构建方法首先利用双目立体摄像机采集图像,借助双目立体视觉处理技术,将采集到的图像信息转化成神经网络的训练样本;然后利用GSOM的地图绘制算法,通过不断增加新的神经元实现网络规模的增长,用441个SOM神经元便表示了2000个样本点的环境特征信息的拓扑地图,体现了对输入样本分布的逼近特性;实验结果表明双目立体视觉和GSOM相结合的机器人自主地图构建方法可行,并表现出类似生物的自主智能行为。     

基于双目相机的视觉里程计

针对移动机器人视觉导航定位需求,提出一种基于双目相机的视觉里程计改进方案。对于特征信息冗余问题,改进ORB(oriented FAST and rotated BRIEF)算法,引入多阈值FAST图像分割思想,为使误匹配尽可能减少,主要运用快速最近邻和随机采样一致性算法;一般而言,运用的算法主要是立体匹配算法,此算法的特征主要指灰度,对此算法做出改进,运用一种新型的双目视差算法,此算法主要以描述子为特征,据此恢复特征点深度;为使所得位姿坐标具有相对较高的准确度,构造一种特定的最小二乘问题,使其提供初值,以相应的特征点三维坐标为基础,基于有效方式对相机运动进行估计。根据数据集的实验结果可知,所提双目视觉里程具有相对而言较好的精度及较高的实时性。