基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

面向机械臂的抓取位姿检测

针对结构化环境和单一已知目标的抓取方面,搭载末端夹持器机械臂抓取技术取得了显著进展。但当工作场景环境不明、工作目标形状各异时,机械臂容易受环境光照变化、物体遮挡的影响,为此,本文深入研究了机械臂抓取系统流程和抓取方法,设计了基于卷积神经网络自主检测机械臂抓取位姿的方法。     

基于CAN总线控制系统的航天特种机械臂设计

航天特种机械臂具备精确操作和视觉识别的能力,在载人航天领域中广泛应用,为了在复杂环境中精准完成陆基装配任务,设计基于CAN总线控制系统的航天特种机械臂。从关节、连杆、驱动电机、锁紧制动器等方面,组装航天特种机械臂结构元件。装设航天特种机械臂控制器,在控制器中加设一个串行通信接口,将控制器连接到CAN总线中,配置CAN总线控制系统的通信协议,完成航天特种机械臂硬件结构设计。利用航天特种机械臂中传感器设备,检测航天特种机械臂实时位姿,补偿航天特种机械臂重力负载。根据机械臂工作任务,规划移动轨迹,在控制器的支持下,通过控制量的计算与通信,实现航天特种机械臂的控制功能。性能测试实验表明,设计基于CAN总线控制系统的航天特种机械臂平均位置和关节姿态角的控制误差分别为3.0m和0.32°,平均形变量为2.64m2,具有较好的控制性能和抗压性能。     

基于Mask RCNN的目标识别与空间定位

在机械臂的自主抓取系统研究中,为了自动获取目标物体的空间位置,采用Kinect深度传感器采集RGB图像,利用改进的深度学习算法Mask RCNN对RGB图像上的目标进行识别与分割,并通过Kinect深度传感器模型,将二维图像坐标转换成三维空间坐标,对目标物体进行三维建模,达到空间定位的目的。通过大量数据训练的Mask RCNN算法,可以同时识别多种特征差异很大的目标物体,具有广泛的应用空间。经过实验表明,获得的目标物体的三维空间坐标较为准确,且受环境影响较小,对机械臂抓取系统的研究具有较为重要的意义。     

基于RBF-BP算法的机械臂多自由度分拣控制系统设计

为提升机械臂设备的准确分拣能力,设计基于RBF-BP算法的机械臂多自由度分拣控制系统。利用RBF-BP前馈神经网络,规划机械臂设备的运动轨迹路线,实现基于RBF-BP算法的机械臂运动轨迹建模。确定工业相机在总功能框架中所处连接位置,根据机械臂选型情况,确定可编程逻辑控制器、变频控制器对于所选机械臂元件的调节能力,完成对系统功能模块的开发。借助传输信道,将Sorting分拣指令、ToolControl控制指令反馈回核心控制主机,建立完整的指令执行回路,再联合相关硬件设备结构,实现基于RBF-BP算法的机械臂多自由度分拣控制系统设计。实验结果表明,在抓取能力相同的情况下,应用RBF-BP算法控制系统机械臂成功分拣的工件数量为19件,机械臂抓取成功率为95%,说明所设计系统满足提升机械臂准确分拣能力的设计初衷。     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

基于机器视觉的三轴机械臂分拣装置设计

针对当前市场上视觉抓取装置操作复杂、移植难度大的问题,本文介绍了一款基于机器视觉的三轴机械臂分拣装置的设计方案。利用单目相机对运动状态下的物体进行图像数据采集,然后对物体图像数据进行处理,从而确定待检测物体的形状和位置,由运动控制模块控制三轴机械臂实现物体的分拣操作。系统基于.Net Framework平台进行软件开发,本装置的硬件部分基于STM32和FPGA设计运动控制模块、基于STM32设计抓取模块和传动模块、基于EmguCV库设计图像采集模块。该装置可在手动模式和自动模式下进行运动状态物体的准确抓取与分拣放置。最后,本文在装置自动模式下对不同运动速度、不同形状、不同颜色的物体进行分拣测试,平均成功率达到96%。结果表明,文中设计的方案具有可行性和有效性。     

采用Kinect的多臂协调操作系统

为完成基于Kinect的多臂协调精细操作的任务,搭建了一套双机械臂操作系统,利用Kinect作为视觉传感器对场景进行实时检测,并利用基于工作空间的RRT算法对其中一台七自由度机械臂末端进行路径规划完成目标的自主抓取。根据手眼协调控制技术,利用另外一台六自由度机械臂末端的摄像机采集的图像误差控制机械臂的运动,并利用粒子滤波算法对目标进行实时跟踪。通过设计一套双臂协作完成物体交接的实验系统,完成了多臂协同操作的任务,并验证了实验方法的可靠性。     

基于JAVA技术平台的气动轻量机械臂伺服控制系统设计

针对气动轻量机械臂无法应对外界环境的变化,导致机械臂控制稳定性和效果较差的问题,设计了基于JAVA技术平台的气动轻量机械臂伺服控制系统;系统硬件主要设计了电机模型、关节双闭环控制器、速度环、位置环;确定直流电机等效电路,分析电机常数,调整机械臂灵敏度,确保电机正常运行;设置关节双闭环控制器,通过PCI1711数据传输器传输数据,速度环以PI控制为基础;调节带宽比例项,采用微分控制法增加系统阻尼,消除局部静差,在位置环外环上串联一个适当比例的校正环节,以抵消系统主回路中的局部静差;设计数据采集器,在单片机内部加入了MAX785芯片,利用RS-485通讯接口,实现信息转换和读取;将STCl2C5A60S2单片机作为控制核心,利用RS232串行通信进行通信连接,保证数据处理器内部和外部通信的质量;通过数据处理器、微控制器和串行通信模块,设计数据处理单元,保证数据处理精度;系统软件利用JAVA技术,提供了可扩展性平台,有效适应外界环境变化,反馈控制方法,实现补偿控制,建立机械臂模型控制机械臂运动;根据采集的图像,提取目标物体的显著性特征,并在数据库中进行特征匹配,从而实现高精度的目标物体识别;...     

基于细菌觅食算法的嵌入式机械臂角度控制器设计

进行机械臂角度控制器设计过程中,为提高机器人机械臂灵活性,降低关节角度控制误差,设计一种细菌觅食算法的嵌入式机械臂角度控制器。首先,构建机械臂动力学模型以获取机械臂的柔性特征及其关节位置,根据获取的信息确定角度控制器的硬件逻辑结构和算法。然后,使用ARM微处理器嵌入式操作系统,设计包含移动控制终端和机械臂控制端的控制器硬件结构。最后,采用细菌觅食算法优化控制器参数,并实现代码完成机器人机械臂角度的精准跟踪控制。仿真分析结果表明:所提方法具有较高的位姿跟踪精度、角度控制误差小、稳定性强,能够保证机械臂关节角度无超调,具有极高的机器工程应用价值。     

Neural Network Force Control for Industrial Robots

In this paper, we present a hierarchical force control framework consisting of a high level control system based on neural network and the existing motion control system of a manipulator in the low level. Inputs of the neural network are the contact force error and estimated stiffness of the contacted environment. The output of the neural network is the position command for the position controller of industrial robots. A MITSUBISHI MELFA RV-M1 industrial robot equipped with a BL Force/Torque sensor is utilized for implementing the hierarchical neural network force control system. Successful experiments for various contact motions are carried out. Additionally, the proposed neural network force controller together with the master/slave control method are used in dual-industrial robot systems. Successful experiments are carried out for the dual-robot system handling an object.     

Compound control of a compound cosine function neural network and PD for manipulators

In this paper, a compound cosine function neural network controller for manipulators is presented based on the combination of a cosine function and a unipolar sigmoid function. The compound control scheme based on a proportional-differential (PD) feedback control plus the cosine function neural network feedforward control is used for the tracking control of manipulators. The advantages of the compound control are that the system model does not need to be identified beforehand in the manipulator control system and it can achieve better adaptive control in an on-line continuous learning manner. The simulation results for the two-link manipulator show that the proposed compound control has higher tracking accuracy and better robustness than the conventional PD controllers in the position trajectory tracking control for the manipulator. Therefore, the compound cosine function neural network controller provides a novel approach for the manipulator control with uncertain nonlinear problems.     

Adaptive neural controller for cooperative multiple robot manipulator system manipulating a single rigid object

In this article, an adaptive neural controller is developed for cooperative multiple robot manipulator system carrying and manipulating a common rigid object. In coordinated manipulation of a single object using multiple robot manipulators simultaneous control of the object motion and the internal force exerted by manipulators on the object is required. Firstly, an integrated dynamic model of the manipulators and the object is derived in terms of object position and orientation as the states of the derived model. Based on this model, a controller is proposed that achieves required trajectory tracking of the object as well as tracking of the desired internal forces arising in the system. A feedforward neural network is employed to learn the unknown dynamics of robot manipulators and the object. It is shown that the neural network can cope with the unknown nonlinearities through the adaptive learning process and requires no preliminary offline learning. The adaptive learning algorithm is derived from Lyapunov stability analysis so that both error convergence and tracking stability are guaranteed in the closed loop system. Finally, simulation studies and analysis are carried out for two three-link planar manipulators moving a circular disc on specified trajectory.     

基于RBF神经网络逆系统的机械手解耦控制策略

针对机械手系统具有非线性时变、多变量、强耦合的特点,提出一种基于RBF神经网络逆系统的机械手解耦控制策略。首先证明了系统的可逆性,进一步通过神经网络在线逆辨识建立机械手的神经网络逆系统模型,并将辨识得到的逆模型作为控制器模型与机械手系统串联,构成伪线性复合系统,实现了将具有强耦合特性的多变量输入/输出机械手系统解耦成单个独立的伪线性对象。最后以两关节机械手为仿真对象进行了仿真,仿真结果验证了本方案的有效性和可行性。     

Target Reaching by Using Visual Information and Q-learning Controllers

This paper presents a solution to the problem of manipulation control: target identification and grasping. The proposed controller is designed for a real platform in combination with a monocular vision system. The objective of the controller is to learn an optimal policy to reach and to grasp a spherical object of known size, randomly placed in the environment. In order to accomplish this, the task has been treated as a reinforcement problem, in which the controller learns by a trial and error approach the situation-action mapping. The optimal policy is found by using the Q-Learning algorithm, a model free reinforcement learning technique, that rewards actions that move the arm closer to the target.The vision system uses geometrical computation to simplify the segmentation of the moving target (a spherical object) and determines an estimate of the target parameters. To speed-up the learning time, the simulated knowledge has been ported on the real platform, an industrial robot manipulator PUMA 560. Experimental results demonstrate the effectiveness of the adaptive controller that does not require an explicit global target position using direct perception of the environment.     

考虑输出约束的机械臂自适应神经网络鲁棒控制

在工业机械臂系统的跟踪控制过程中,由于其结构和工作环境复杂,导致难以建立精确的系统模型,针对此问题提出了基于多层前馈神经网络的自适应鲁棒控制器.通过神经网络在线估计机械臂系统动力学模型,并在控制器中进行补偿,同时设计了一个在线更新的鲁棒项克服神经网络的重构误差;考虑机械臂实际系统的输出约束,采用障碍李雅普诺夫函数设计控...