水果采摘机器人视觉系统与机械手研究进展

水果采摘机器人对实现水果装备自动化智能化具有重要意义。对近年国内外水果采摘机器人领域关键技术研究工作进行总结,根据水果采摘机器人的重要组成结构与关键技术,对水果采摘机器人视觉系统的关键技术：传统基于水果特征的图像分割方法如阈值法、边缘检测法、基于颜色特征的聚类算法与基于区域的图像分割算法,基于深度学习的目标识别算法以及目标果实的定位等进行分析和对比;总结了水果采摘机器人机械臂与末端执行器的技术发展现状,指出水果采摘机器人存在的问题;对未来水果采摘机器人的发展趋势及方向进行了展望,可为水果采摘机器人相关研究提供参考。     

采摘机械臂位置误差补偿方法研究

对采摘机械臂的结构误差补偿作了探讨,提出了基于模糊稳健性的误差补偿方法以及关节最小误差补偿量求解算法,并对5自由度采摘机械臂末端位姿误差补偿进行仿真分析,结果表明模糊稳健补偿后末端位置误差明显减小。     

采摘机械臂自适应输入整形控制研究

采摘机械臂在夹住柔性果茎后运输果实时,执行器末端的加减速运动使得果实在移动过程中产生摆动,易引发掉落,进而导致采摘失败.本文以单个西红柿作为负载,将果茎近似为柔性连杆.由于每一个果实的质量是不同的,因此,针对机械臂抓取可变柔性负载移动过程中的振动抑制问题,提出了自适应输入整形控制方法.当系统模型由于负载的不确定性发生变化后,传统的输入整形算法无法抑制柔性连杆移动过程中产生的振动.因此采用自适应输入整形算法,实时计算脉冲的幅值和时间.构造二次性能指标函数,通过对机械臂移动的加速度和负载的摆角实时数据进行迭代运算,达到零残余振动的目的.仿真实验结果表明,在变负载情况下,自适应输入整形算法有良好的末端振动抑制能力,获得满意的控制效果.     

基于音视信息融合的桌面机械臂技能获取及控制系统

针对化学实验机械臂控制编程门槛高且技能获取准确率低等发展制约因素,设计一种基于音视信息融合算法的桌面型实验机械臂的控制系统,实验员通过边做边说的示教方式教给机械臂运动技能,进而代替实验员完成一些繁琐、具有危险性的实验工作。系统分为技能获取以及运动控制两部分。其技能获取部分使用改进的双流卷积网络实现动作检测;使用语音AI和正则表达式实现语音提取;再通过音视动作信息融合算法将动作检测和语音部分的识别信息相融合得出高重合度的运动技能,技能获取准确度可达81%以上。运动控制部分使用电机控制和抓取位姿识别,可实现更精细的控制和抓取。系统可用于具有特定流程化学实验的示教控制工作,在代替实验员来完成化学实验工作的同时大大降低了编程门槛,提高了效率。     

基于双目视觉的机器人目标定位与机械臂控制

为了更好地与复杂多变的非结构化环境进行交互,完成对目标物体的识别和抓取,提出了一种应用于服务机器人平台的基于双目视觉的仿人机械臂控制方法.文中首先用D-H方法对机械臂进行建模,并对这个模型做了改进,给出了一种更加简便的3+1自由度仿人机械臂的逆解算法,采用基于双目视觉与颜色分割的目标识别方法;然后根据识别出的目标三维坐标信息控制机械臂完成抓取任务;最后,本方法在家庭服务机器人上得到了验证,机器人能够完成对目标物体的识别和抓取动作.     

基于自动获取彩色目标的手臂运动轨迹跟踪

将计算机视觉应用于对示教者动作的分析,控制机器人完成动作轨迹的复现,成为机器人智能化的一个研究方向。针对机器人模仿示教者动作的视觉需求,提出一种基于自动获取彩色目标的目标跟踪算法。该算法在L*a*b空间采用k均值聚类算法对彩色图像分类;在HSV空间基于H分量采用直方图门限法识别彩色目标,最后采用camshift算法实现在图像序列中对目标轨迹的跟踪。通过对人体手臂关节点运动轨迹跟踪的实验表明,该算法能自动准确地识别多个彩色目标,并自动生成手臂关节运动轨迹,是机械臂模仿示教者动作的关键技术之一。     

基于双目视觉的机器人目标定位与机械臂控制

为了更好地与复杂多变的非结构化环境进行交互,完成对目标物体的识别和抓取,提出了一种应用于服务机器人平台的基于双目视觉的仿人机械臂控制方法。文中首先用D-H方法对机械臂进行建模,并对这个模型做了改进,给出了一种更加简便的3+1自由度仿人机械臂的逆解算法,采用基于双目视觉与颜色分割的目标识别方法;然后根据识别出的目标三维坐标信息控制机械臂完成抓取任务;最后,本方法在家庭服务机器人上得到了验证,机器人能够完成对目标物体的识别和抓取动作。     

基于BP神经网络的排爆机械臂逆运动学分析

机械臂逆运动学是已知末端执行器的位姿求解机械臂各关节变量,主要用于机械臂末端执行器的精确定位和轨迹规划,如何高效的求解机械臂运动学逆解是机械臂轨迹控制的难点;针对传统的机械臂逆运动学求解方法复杂且存在多解等问题,提出一种基于BP神经网络的机械臂逆运动学求解方法;以四自由度机械臂为研究对象,对其运动学原理进行分析,建立BP神经网络模型并对神经网络算法进行改进,最后使用MATLAB进行仿真验证;仿真结果表明:使用BP神经网络模型求解机械臂逆运动学问题设计过程简单,求解精度较高,一定程度上避免了传统方法的不足,是一种可行的机械臂逆运动学求解方法。     

线驱动柔性机械臂的运动学分析

与传统的由连杆和关节构成的刚性机械臂不同,设计的柔性机械臂无任何刚性结构,外围驱动装置通过嵌在机械臂内部的拉线与柔性机械臂相联系,控制拉线长度的变化量即可调整柔性机械臂末端执行器的位置和姿态。柔性机械臂由弹性材料制作而成,拥有无穷多个自由度,在确保了高安全性、高灵活性的同时,随之也带来运动学和动力学建模复杂、控制难度大等问题。基于分段常曲率的假设,提出了一种运动学建模方法,通过建立3个空间,即驱动空间、虚拟关节空间、任务空间,以及两个映射,即驱动空间-虚拟关节空间映射、虚拟关节空间-任务空间映射,将拉线长度的变化量和柔性机械臂末端执行器的位置和姿态关联起来。仿真结果表明,提出的线驱动柔性机械臂的运动学模型,能较为真实地模拟柔性机械臂在拉线长度变化时的形态,计算末端执行器的位置和姿态。     

机械臂的位姿分离求逆和改进RRT-connect算法研究北大核心CSCD

针对机械臂逆解求取过程中存在大量矩阵变换、计算成本高的问题,采用位姿分离法对逆运动学求解过程进行改进,并提出基于自适应步长的RRT-connect路径规划算法。首先建立六自由度机械臂连杆坐标系模型,采用Standard Denavit-Hartenberg(D-H)方法对机械臂进行正运动学分析,得到机械臂末端执行器位姿相对于基座的齐次变换矩阵。然后引入位姿分离法改进了机械臂的逆运动学求解方法,将机械臂运动学逆解分为位置逆解和姿态逆解两部分,分别用几何法和解析法进行求解,减少了整体计算量。再者提出基于自适应步长的改进RRT-connect路径规划算法,解决了扩展速度慢的问题。最后通过仿真验证所提出方法的正确性和有效性。     

基于视觉识别定位的苹果采摘系统研究

针对果实振荡、重叠影响采摘机器人采摘精度和效率的问题,研制了一种在农田 环境下利用视觉检测技术和机器人定位抓取技术的苹果采摘系统。首先利用图像处理技术对初 始图像进行图像预处理;其次根据图像角点提取算法检测图像曲率,通过计算曲线段上的多个 像素平均角方向之间的差值对曲率进行平滑处理,获取图像曲率集中峰值点;最后对图像曲率 峰值点进行像素坐标标定,并将该点像素坐标转化为物理坐标作为机器人的定位抓取目标点, 机器人根据定位目标点的位置信息调整运动姿态对果实进行实时追踪和识别,实现果实的精确 定位、抓取和采摘。试验证明,该系统下的机器人抓取果实的成功率高达九成以上,基本能够 满足实际生产中的果实采摘需求,可为苹果等球状果实精准识别、定位抓取提供参考。     

基于颜色模型和阈值分割的有遮挡的柑橘果实识别算法

针对柑橘果实被枝叶遮挡,机器识别难度大的问题,提出了基于YCbCr颜色空间模型和OTSU阈值分割技术对有遮挡的柑橘果实进行识别的方法。应用边缘检测法和凸包算法提取有遮挡果实的轮廓特征,选取凸壳上距离最远的两点,作为果实直径的两端点,定位目标果实。结果表明,算法可以准确分割并识别出枝叶遮挡的柑橘果实,果实平均检出率达到90.48%,有效提高了果园自动化采摘的效率。     

基于蚁群和带空间约束FCM的荔枝图像分割算法

准确地提取荔枝果实的完整轮廓对采摘机器人自动识别与采摘至关重要。以蚁群和模糊C均值（FCM）聚类为理论基础,选用符合荔枝颜色特性的L*a*b*颜色空间,提出一种基于蚁群和带空间约束FCM的荔枝图像分割算法。该算法利用L*a*b*颜色空间的a*通道正轴代表红色和负轴代表绿颜色进行初始分割,然后利用蚁群聚类算法全局性和鲁棒性的优点确定FCM的聚类中心,用引入空间约束的FCM完整地分割出荔枝果实。实验结果表明此方法实现了荔枝图像完整地分割,并且满足了采摘机器人后续的荔枝识别与采摘,对成熟荔枝分割的正确率达到了87%。     

基于机器视觉的枸杞枝条识别方法研究

目标枝条的识别定位是实现枸杞果实自动化采摘的前提,为了实现枸杞的自动采摘,提出了一种新的能实现首端定位的枝条识别方法。首先,通过对枸杞枝条特征进行分析,实现了枝条轮廓和直径等特征的提取。然后,对部分非合理性间断的枝条进行了修复;对于果实将枝条首端完全遮挡的情况,采取最小二乘法拟合实现了枝条识别。最后,提出了质心差值法来获取枝条的首端坐标,从而实现了整条枝条的识别和定位。通过用VC编程进行识别算法的实验验证,实验结果表明该算法能较好地实现对枸杞枝条的识别和定位。     

基于YOLOv3的油茶果视觉定位系统

随着科技的进步,采摘机器人各个部分的系统也日益完善.其中,机器人视觉定位的系统设计很大程度影响了其工作效率,尤其是在目标检测速率、采摘果实准确率以及采摘目标环境适应度方面.本次研究提出利用双目立体视觉系统获取油茶果目标图像,并采集计算深度信息,制作自己的油茶果VOC数据集,采用YOLOv3目标检测算法来实现复杂环境下油...     

Robotic harvesting of the occluded fruits with a precise shape and position reconstruction approach

Occlusion is one of the key factors affecting the success rate of vision-based fruit-picking robots. It is important to accurately locate and grasp the occluded fruit in field applications, However, there is yet no universal and effective solution. In this paper, a high-precision estimation method of spatial geometric features of occluded targets based on deep learning and multisource images is presented, enabling the selective harvest robot to envision the whole target fruit as if its occlusions do not exist. First, RGB, depth and infrared images are acquired. And pixel-level matched RGB-D-I fusion images are obtained by image registration. Second, aiming at the problem of detecting the occluded tomatoes in the greenhouse, an extended Mask-RCNN network is designed to extract the target tomato. The target segmentation accuracy is improved by 7.6%. Then, for partially occluded tomatoes, a shape and position restoration method is used to recover the obscured tomato. This algorithm can extract tomato radius and centroid coordinates directly from the restored depth image. The mean Intersection over Union is 0.895, and the centroid position error is 0.62 mm for the occluded rate under 25% and the illuminance between 1 and 12 KLux. And hereby a dual-arm robotic harvesting system is improved to achieve a picking time of 11 s per fruit, an average gripping accuracy of 8.21 mm, and an average picking success rate of 73.04%. The proposed approach realizes a high-fidelity geometrics reconstruction instead of mere image style restoration, which endows the robot with the ability to see through obstacles in the field scenes and improves its operational success rate in its result.     

User-defined gestures for controlling primitive motions of an end effector

In designing and developing a gesture recognition system, it is crucial to know the characteristics of a gesture selected to control, for example, an end effector of a robot arm. We conducted an experiment to collect a set of user-defined gestures and investigate characteristics of the gestures for controlling primitive motions of an end effector in human–robot collaboration. We recorded 152 gestures from 19 volunteers by presenting virtual robotic arm movements to the participants, and then asked the participants to think about and perform gestures that would cause the motions. It was found that the hands were the parts of the body used most often for gesture articulation even when the participants were holding tools and objects with both hands: a number of participants used one- and two-handed gestures interchangeably, gestures were consistently performed by the participants across all pairs of reversible gestures, and the participants expected better recognition performance for gestures that were easy to think of and perform. These findings are expected to be useful as guidelines in creating a gesture set for controlling robotic arms according to natural user behaviors.     

基于平均邻域最大化的手势识别方法研究

根据人机交互中手势控制系统的要求,提出一种基于平均邻域最大化(ANMM)算法的静态手势识别方法。将获得的二值化图像轮廓归一化到固定的解析度,构成多维向量,使用ANMM算法对同质相邻与异质相邻向量进行训练,计算出投影方向矩阵。将样本降维处理后,计算其在降维空间内与同质相邻和异质相邻向量的距离,判别样本所属分类。实验结果证明,该方法对静态手势的识别率可达90% 以上。     

A robust weld seam recognition method under heavy noise based on structured-light vision

Structured-light vision systems are widely used in robotic welding. The key to improving the robotic visual servo performance and weld quality is the weld seam recognition accuracy. Common detection algorithms are likely to be disturbed by the noise of spatter and arc during the welding process. In this paper, a weld seam recognition algorithm is proposed based on structured light vision to overcome this challenge. The core of this method is fully utilizing information of previous frames to process the current frame, which can make weld seam extraction both more robust and effective. The algorithm can be divided into three steps: initial laser center line recognition, online laser center line detection, and weld feature extraction. A Laplacian of Gaussian filter is used for recognizing the laser center line in the first frame. Afterwards, an algorithm based on the NURBS-snake model detects the laser center line online in a dynamic region of interest (abbreviated ROI). The center line obtained from first step is set as the initial contour of the NURBS-snake model. Using the line obtained from the previous step, feature points are determined by segmentation and straight-line fitting, while the position of the weld seam can be calculated according to the feature points. The accuracy, efficiency and robustness of the recognition algorithm are verified by experiments.     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。