面向微装配的显微视觉伺服

将基于显微视觉伺服的机械手的装配位姿调整归结为使其末端执行器上三点运动到指定空间三点的问题.规定其中一点沿直线运动到目标位置,其余两点则以绕该点旋转的方法运动到它们对应的目标位置,避免部件的运动干涉与碰撞,并确保末端执行器始终在显微镜的视场中.以机械手的路径规划为基础,给出基于距离和角度的图像特征差的估计方法,定义并建立基于图像特征差的图像雅可比矩阵以及机械手的运动模型.提出基于图像误差与控制信号综合优化的具有图像延迟系统的最优控制算法,基于动态视觉伺服控制策略建立比例控制与最优控制综合的视觉伺服控制结构,通过一个误差开关在不同的控制器上切换,进行直线位姿调整和动态目标跟踪试验.结果表明,所研究内容正确可行,系统定位精度保持在两个像素以内,具有较好的实时性,能满足微装配性能指标的要求.     

视觉功能六自由度工业机器人的研制

工业机器人研究已进入智能化阶段,用视觉传感器来实现机器人的智能化具有很多的应用场合和很好的工程可实现性。本文研制了六自由度工业机器人机械本体,基于运动控制卡模式构建了机器人控制的软、硬件系统。在此基础上,运用dsp视觉处理系统实现了视觉信息与控制系统的通讯,运用摄像头对动态目标图像信息的获取,能够实现机械手末端跟随动态目标运动。实验结果表明,机械手末端能够在工作空间内沿任意轨迹运动,并且能够实现视觉范围内动态目标的视觉随动。该视觉功能六自由度机器人的成功研制为智能化工业机器人的产品化奠定了基础。     

机器视觉跟踪系统开发

研究视觉跟踪系统,以三轴运动控制机床为研究平台,结合CCD相机、运动控制卡等硬件,构建了一个工业机器人视觉跟踪系统。通过混合高斯模型进行背景建模以区分动态物体和静态场景以及对动态物体的追踪;通过相机标定、阀值分割、边缘检测、形心标定进行对目标物体的识别和定位;通过上位机控制步进电机向运动控制器发射脉冲以实现三轴平台的运动,控制机械手对动态目标物体进行抓取。     

光机电一体化桌面冰球对决系统设计

利用并联机械手惯性小、动作速度快、控制精度高的特点,结合机器视觉反馈信息,设计了一套基于欧姆龙NJ控制器、FH图像处理系统、并联机械手等组成的光机电一体化桌面冰球对决系统。考虑小球撞击桌面侧边,沿折射方向运动对小球运动轨迹的影响,建立了具有补偿量的小球运动轨迹追踪模型,确定了机械手平动盘目标位置与FH图像处理系统实时获取的桌面小球位置间的关系;并基于运动学逆解算法,实时确定并联机械手伺服电机转角目标值。基于此目标值,NJ控制器控制并联机械手快速追踪小球位置,实现两机械手桌面冰球对决。     

基于切换控制的双相机视觉伺服方法

针对家电产品机器视觉在线检测应用场景中基于图像的视觉伺服不能保证全局收敛和单目视觉反馈不佳的问题，提出一种基于切换控制的双相机视觉伺服方法。首先使用全局相机估计目标位姿，引导机器人运动到期望位姿附近，确保视觉伺服方法能够收敛；然后根据机器人手上相机提供的图像偏差和深度信息，以及全局相机提供的目标速度和姿态实现双相机视觉伺服控制。相对于使用单应性矩阵的位置视觉伺服和混合视觉伺服方法，该方法能够定位与跟踪无标记目标，大幅提升跟踪的精度和稳定性。实验表明，基于切换控制的双相机视觉伺服方法可将控制周期缩短至33 ms,满足传送带速度在0.17 m/s范围内的机器人可获取清晰图像，实现实时跟踪检测。     

基于机器视觉的机器人仿生机械手避障轨迹控制系统

以提高机械手末端关节避障控制精准度为目的,提出一种基于机器视觉的机器人仿生机械手避障轨迹控制系统。以具有高灵敏性和主动性的控制器、伺服驱动器、无线通信器以及高网络带宽的传感监测器为硬件基础,采用机器视觉技术捕捉机械手关节动作。然后根据动力学原理建立避障位姿坐标系,代入关节动作数据计算其在坐标系中的位置。在定义控制范围的基础上,根据隶属度函数计算机械手在轨迹方向上夹角,并随机输出一个动态夹角变量。通过对变量值目标求导得出适配性最高的调节阈值,结合实际情况通过阈值调节实现精准控制。实验表明,该系统能够有效控制机械手末端关节避开障碍物达到指定目标位置,应用效果较好。     

基于YOLOv5神经网络检测模型的动态局部地图构建

在移动机器人自主移动过程中，人的活动会对路径规划结果产生重要的影响。传统SLAM对动态物体的识别和跟踪能力相对有限，动态物体上的特征点容易丢失，且在动态物体占据图像较大范围时，容易造成目标函数的优化方向错误。考虑单个单目相机对行人的位置信息进行检测的场景，通过单目相机获取图像信息，结合YOLOv5目标识别网络来检测图像中人物所占据的像素高度，再通过针孔相机模型还原出图像人物在相机坐标系下的三维坐标。基于YOLOv5网络模型检测出道路区域，运用Canny边缘检测算法计算出道路的边缘轨迹，找到两条轨迹在相机图像上的交汇点。最后根据相机的平面图像结合人物的三维坐标，以及道路轨迹的交汇点和道路宽度信息对图像进行重投影。通过公开数据集测试得到包含行人实时运动情况和道路边界在内的平面地图，可完成150 m深度内的行人位置定位，为快速计算图像的行人的位置深度提供了一种可行方案。     

一种面向工业机器人智能抓取的视觉引导技术研究

为实现工业机器人自主识别并抓取指定的目标,提出了一种基于计算机视觉引导的解决方法.该方法利用指定目标的3D数据模型,以及由两台或者多台CCD摄像机从工作场景中不同角度获取到的数字图像,经过目标姿态估算、投影计算并生成投影图像,再利用投影图像与目标真实图像进行比较,实现了目标的识别与位姿获取.实验结果表明该方法可以在较复杂的环境下识别指定目标,并获得目标的姿态信息,从而为工业机器人抓取目标提供引导.     

基于点线特征融合的立体视觉里程计

大多数视觉里程计通过跟踪图像序列中点特征几何位置的变化实现对相机位姿的估计.线是点的集合,相对于离散的点,帧间线特征的位置变化更具有显著性,因而有利于提高特征检测跟踪的鲁棒性.另外,在一些弱纹理场景中,点特征不够丰富,作为对点特征的补充,提出了一种融合点线特征的立体视觉里程计算法.构建新颖的点线重投影误差模型作为目标函...     

工业机械手视觉/力混合控制方案研究

对于未标定刚性环境,给出一种基于位置的视觉/力混合控制策略,实现对机械手的运动控制。在视觉引导下,机械手的末端寻找并稳定接触目标物体;当接触完全建立后,采用视觉和力同时控制机械手的运动。在任务空间内,基于边缘的刚体跟踪器把动态过程中的线性动态误差提供给局部稳定的观测器。实验和仿真结果证明了该方法的有效性。