基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

基于手势交互的机械臂轨迹示教系统

为了解决传统机械臂示教方式上手难度高、效率低、人机交互系统不友好的问题,结合机器视觉与神经网络,提出一种基于手势交互的机械臂轨迹示教系统.该系统通过机器视觉定位指尖位置,记录下指尖的运动轨迹并将其用于机械臂的轨迹示教;通过卷积神经网络识别静态手势,用于与机械臂进行如抓取、放置、开始示教等动作的人机交互.系统通过ROS(...     

基于分层运动分解的飞行机械臂视觉伺服控制

飞行机械臂系统具有主动作业能力, 通过搭载视觉传感器感知周围环境, 系统的自主能力将进一步提高.然而, 考虑到无人机的欠驱动和整个系统的非线性特性, 飞行机械臂系统的视觉伺服控制仍然是一项具有挑战性的工作. 本文在充分考虑机械臂对无人机的力/力矩作用后, 提出了一种基于分层运动分解的飞行机械臂视觉伺服控制方案. 首先, 对飞行机械臂系统的运动学和动力学模型进行分析. 然后, 根据所得的相机运动学模型, 通过基于图像的视觉伺服控制获得相机的期望速度, 进而制定无人机和机械臂的速度分配策略. 在考虑机械臂运动时对无人机产生的力/力矩影响, 设计了底层的飞行控制器. 最后, 在与现有方法的仿真对比中可以看出, 所提方法具有良好的控制性能, 对图像特征点位置的不确定性及图像噪声也表现了较好的鲁棒性     

基于视觉/力觉辅助的遥操作系统研究与实现

针对多变未知的作业环境以及复杂繁多的作业任务,设计一种基于视觉/力觉辅助作业的遥操作系统.首先,利用Kinect摄像头采集作业现场的3D点云数据,结合虚拟现实技术,在计算机上将虚拟机械臂模型叠加到真实环境中,同时显示虚拟模型与现场信息,提高操作人员的现场感知能力;根据获取的障碍物和目标物体位置信息,建立人工势场,增强操作者控制远端机械臂进行避障及接近目标物体操作的能力,完成环绕和避障任务.该方案在7自由度Schunk机械臂上得到了实现.结果表明,此方案可以很好地弥补虚拟环境缺乏现场信息的缺点,提高了遥操作系统的可靠性.     

基于人机交互的重载机械臂控制方法

针对目前重载机械臂控制系统存在的人机交互性不足问题及重载带来的刚柔耦合问题,设计了一种基于动力学模型的人机交互闭环力!/!位控制算法,并依据该算法设计了7自由度重载机械臂控制系统.首先分析了国内外重载机械臂的工作特点和存在的问题,提出基于力!/!视觉反馈的人机交互方式来增强系统的人机交互性;然后为抑制刚柔耦合带来的控制问题,建立了重载机械臂刚柔耦合动力学模型,提出基于人机交互的重载机械臂力!/!位闭环控制算法.最后搭建重载机械臂控制系统,搭建的控制系统包括人机交互子系统、环境感知子系统、驱动子系统、信息处理子系统及通信子系统.在此基础上,进行重载机械臂控制系统作业试验.试验结果表明,该控制系统能够完成人机交互作业功能,相对于传统重载机械臂作业手段,有效提高了作业效率70%,保障了作业人员安全,验证了所提出控制系统的人机友好性、可行性和实用性.     

基于ROS的机械臂仿真实验平台设计

针对机械臂成本高不利于推广以及远程教学场景下难以进行仿真实验的问题,设计了一种基于机器人操作系统(Robot Operating System,ROS)的机械臂仿真实验平台,该仿真实验平台包括机械臂仿真模块、ROS分布式节点控制模块、上位机控制软件,其中,上位机控制软件完成机械臂的末端控制、关节控制以及机械臂的状态显示等功能;ROS分布式节点控制模块负责将上位机控制软件发送的控制指令处理后发送给机械臂仿真模块;基于该仿真实验平台,仅需修改机械臂模型配置文件即可实现对不同种类机械臂的兼容与个性化定制,大幅降低了实验成本.实践证明,该虚拟仿真实验平台具有可扩展性强、易于维护等优点.     

配电线路维护机器人虚拟现实仿真系统设计

针对配电线路维护机器人遥显示和在线作业轨迹规划的应用需要,设计了一套机器人虚拟现实三维仿真系统.通过将机械臂姿态信息实时传输到虚拟现实环境中,实现了作业场景3D遥显示功能;根据机器人带电作业需求,设计了一种基于虚拟现实环境的机械臂轨迹规划运动学仿真软件,可在三维虚拟空间测试机械臂作业路径的可行性,具有直观、安全和高效的...     

面向机械臂操作的视觉信息实时重建方法

现阶段的机械臂技能传授方法主要通过三维实时重建技术搭建虚拟空间进行模拟训练。然而人与机械臂视角不同，传统视觉信息重建方法由于重建误差大、时间长，而且实验环境苛刻、所需传感器较多等原因，导致机械臂在虚拟空间内习得的技能不能很好地迁移于现实环境。针对以上问题，提出了一种面向机械臂操作的视觉信息实时重建方法。首先，通过Mask-RCNN(Mask-Region Convolutional Neural Network)对实时采集到的RGB图像提取信息；然后，将提取后的RGB图像及其他视觉信息联合编码，并通过ResNet-18将视觉信息映射为机械臂操作空间的三维位置信息；最后，为减小重建误差，提出了一种聚类簇中心距离受限离群值调整方法（CC-DIS），并利用OpenGL(Open Graphics Library)将调整后的位置信息可视化，完成机械臂操作空间三维实时重建。实验结果表明，所提的实时重建方法具有较快的重建速度和较高的重建精度，完成一次三维重建仅需62.92 ms，重建速度高达每秒16帧，重建相对误差约为5.23%，能有效用于机械臂技能传授任务。     

基于ROS六轴机械臂运动规划研究

使用机器人操作系统（Robot Operating System, ROS）作为仿真平台，基于六自由度机械臂，对其工作效率及安全性的运动规划问题展开研究。通过SolidWorks建立机械臂模型，并通过SW2URDF插件将模型转换为XML格式的URDF机器人描述文件。利用ROS Moveit！中内置机械臂设置助手Moveit! Setup Assistant生成运动规划相关文件，通过Moveit!下C++接口对机械臂进行轨迹规划，在可视化三维平台Rviz中对笛卡尔空间直线与圆弧插补进行仿真。使用快速扩张随机树和渐进最优快速随机搜索树路径规划算法，实现高维空间的无碰撞路径规划，并通过仿真结果得出RRT-star算法收敛速度更快、搜索成功率更高的结论，保证机械臂的正常作业。     

配网带电作业机器人安全遥操作的辅助控制策略

针对配网带电作业遥操作中遥操作人员的不正确操作以及作业空间复杂所导致的潜在安全问题,提出了建立交互式虚拟夹具辅助遥操作的控制策略。该策略在机械臂末端增加了多维力传感器,使得遥操作人员在操作时能获得机械臂和环境接触时的力感觉,便于进行轴孔装配类作业。同时,采用双目立体相机扫描作业场景构成环境三维模型,生成引导机械臂运动的虚拟夹具来产生相应约束力辅助约束/引导遥操作人员完成精细化的作业任务。     

基于自抗扰控制器的机器人无标定三维手眼协调

研究机械臂在手眼关系未知情况下依靠视觉信息引导完成三维空间定位及跟踪问题. 基于耦合自抗扰控制原理,设计了不依赖于特定任务的广泛意义下的手眼协调控制器.利用 两个全局摄像机组成双目视觉系统,由图像特征可充分地确定机器人三维空间中的位置信 息.仿真和实验对这一方法的可行性和有效性进行了验证.     

基于激光引导的SCARA的轨迹规划与优化

多数应用场景中,SCARA机械臂的工作路径为固定的模式,为结合视觉信息,优化控制方式,采用激光打样的方式引导SCARA动作.以桃子TZ-500 SCARA机械臂和MATLAB为实验平台,使用D-H坐标系法建立机械臂的运动学模型,得到其工作空间.针对点到点的轨迹,采用五次多项式插值法完成在关节空间内的规划.灵活的多点轨迹...     

一种基于深度学习的自动识别分拣机器人设计

通过对煤和岩石的纹理特征值进行分析,使用图像处理与模式辨别技术分拣煤矸石中的大粒度煤矸石,针对工作制作出了一种将机器视觉作为基础的多机械臂煤矸石分拣机器人系统。该系统在运用过程中通过机器视觉搜集煤矸石信息,采用深度学习的方法辨别与提取煤矸石的特点;当提取煤矸石基本信息后,依据煤矸石的位置开展排序工作,同时利用多目标任务分配策略把提取任务传送至机械臂控制器;当机械臂接收到任务之后,依据接收到任务实时监测目标,在目标进入机械臂工作区域后,使用视觉伺服系统促使机械臂分拣煤矸石。     

基于GE View技术的虚拟机械臂对象设计

机械臂是机器人技术在生产领域中应用最广泛的自动化机械装置,其特点是能精确定位于二维或三维空间进行作业,其控制方式根据要实现的功能具有很大差别.因此,采用计算机技术实现虚拟的机械臂对象对于实践控制功能具有重要意义.通过阐述虚拟机械臂对象的设计步骤,介绍了利用GE View技术设计虚拟机械臂的过程和要点.分析了机械臂对象的功能定义、界面设计方法、信号和数据设计、正常和非正常控制下的动画设计.     

基于图像处理的低误差机械臂位姿检测仿真

传统柔性机械臂位姿检测方法在实际应用中无法准确检测机械臂位资的俯仰角、偏航角以及滚转角.为此,提出基于机械视觉的柔性机械臂位姿检测方法.利用TL5147对机械臂位姿图像采集并显示.,通过EDMA传输法完成图像传输,提升程序工作效率.利用四元数算法完成柔性机械臂的空间位姿关系检测,保证机械臂位姿检测的准确性,实现机械视觉...     

基于ROS的移动机械臂小车设计

针对传统的机械臂有着固定的底座以及复杂的工作环境等问题,论文设计了一款基于ROS的移动机械臂小车系统,以增加机械臂的灵活性。该系统以Ubuntu搭载ROS作为上位机,以STM32单片机作为下位机,并获取激光雷达、IMU以及里程计等传感器数据。最后,通过对机械臂小车系统的调试,实验结果表明小车具有良好的建图与定位精度,可以有效地实现自主导航与机械臂抓取等功能,提高了机械臂的灵活性及生产生活中的应用。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

采用Kinect的多臂协调操作系统

为完成基于Kinect的多臂协调精细操作的任务,搭建了一套双机械臂操作系统,利用Kinect作为视觉传感器对场景进行实时检测,并利用基于工作空间的RRT算法对其中一台七自由度机械臂末端进行路径规划完成目标的自主抓取。根据手眼协调控制技术,利用另外一台六自由度机械臂末端的摄像机采集的图像误差控制机械臂的运动,并利用粒子滤波算法对目标进行实时跟踪。通过设计一套双臂协作完成物体交接的实验系统,完成了多臂协同操作的任务,并验证了实验方法的可靠性。     

基于双目定位的离合器下料系统设计

机械臂在生产线上抓取组装完成的离合器后,需要准确地将离合器放置在自动导引车(AGV)的下料位置.针对AGV入库时位置不确定,机械臂无法准确实现下料问题,设计了一种基于机器视觉技术的离合器下料定位系统,并针对AGV尺寸较大、单相机定位存在精度差、定位不稳定的重要问题,采用双目定位提高精度和稳定性.实际使用结果表明:基于VisionPro视觉软件设计的AGV特征识别视觉定位系统具有很好的定位结果,定位精度为±0.5 mm,运行时间小于2 s;能够引导机械臂快速、准确地完成离合器下料任务,满足工业实际应用的需求.     

基于空间代价地图的机械臂无碰撞运动规划

针对家庭服务机器人机械臂高安全性和低算法复杂度的两大需求,提出一种基于空间代价地图的机械臂运动规划新方法。利用空间代价地图来描述机械臂与约束条件发生冲突的可能性,以概率分析代替简单的布尔判断,提供了更合理的最优规划依据,从而实现更安全可靠的规划。同时将一个六自由度的规划问题降维为一个三自由度规划和一个四自由度规划的问题,在此基础上利用无需实时计算的先验碰撞数据代替实时的碰撞检测。利用该方法在ROS的rviz仿真平台上进行验证,结果表明该方法有效地提高了机械臂规划的安全性并降低了计算复杂度,有一定的实用价值。