一种基于随动视觉的排爆机器人自主抓取系统

在传统基于固定视觉的排爆机器人抓取系统中,相机视觉易被遮挡且不能保证拍摄清晰度。基于随动视觉技术,提出一种将深度相机置于机械手末端并随机械手运动的排爆机器人自主抓取系统。利用深度相机计算目标物体的三维坐标,采用坐标转换方法将目标物体的位置坐标信息实时转换至机器人全局坐标系,并研究相机坐标系、机器人全局坐标系与末端执行器手爪工具坐标系三者的动态映射关系,实现排爆机器人的自主抓取。实验结果表明,与传统固定视觉方法相比,随动视觉方法可在误差2cm内,使得机器人机械手爪准确到达目标物体所在位置,且当机器人距离目标物体100cm~150cm时,抓取效果最佳。     

自由度冗余蛇形臂机器人手眼标定研究

针对自由度冗余蛇形臂机器人的手眼标定问题,提出一种不依赖蛇形臂机构运动参数求解视觉系统与末端法兰盘手眼关系的方法;借助外部辅助双目相机系统,通过构造外部相机、末端法兰盘、视觉导航相机三者坐标系的闭环转换得到待求手眼关系;首先根据立体视觉原理得到标志点在对应相机坐标系下的3D坐标;然后利用四元数法分别求得外部相机坐标系与法兰盘坐标系、外部相机坐标系与视觉导航相机坐标系间的转换关系;最后构建坐标系转换关系闭环求得手眼关系;实验结果表明,该标定法避免了蛇形臂自由度冗余导致运动控制精度差带来的干扰,标定精度满足设计要求。     

基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

协作机器人智能视觉系统设计与实现

伴随着科技的发展,人工智能技术得到了飞速发展。协作机器人和机械臂在各大领域的应用变得越来越重要。传统的机械臂只能按照已规划好的路径进行物体的抓取,当物体不在或挪动位置时,抓取便无法正常完成,还需要重新规划路径,严重影响了工作效率。为了能够使机械臂自主获取外界信息,拥有自我感知周围环境的能力,基于视觉的协作机器人得到了快速发展。文中首先对基于视觉的协作机器人技术进行了简要介绍,随后对智能视觉系统进行了相关设计,接着介绍了智能视觉目标检测和识别模块,最后在周围环境以及外界信息未知的情况下,利用智能视觉系统实现了协作机器人对具体目标的识别定位和抓取。实验结果表明,该系统可以投用到实际的工程应用中,具有良好的使用价值。     

基于视觉伺服的工业机器人位姿跟踪方法

目前，工业机器人工作大多是基于先精确示教后运行的，工作效率较低，因此采用视觉提高机器人的智能水平，以实现对目标物体的自动检测和定位抓取，具有重要的现实意义和研究价值。文章以机器人视觉伺服为研究对象，利用视觉伺服使机器人末端跟踪标定板的位姿，包括摄像机标定、机器人手眼标定、机器人控制，可为机械臂的定位抓取提供帮助。     

Delta机器人传送带与视觉的标定方法

针对机器人在流水线上精确抓取的问题,提出了Delta机器人系统的标定.通过机器人末端执行器在传送带上移动,计算出机器人与传送带的比例因子与转化矩阵,从而得到传送带相对于机器人的位姿,再通过相机对传送带上的物体获取计算出相机与传送带之间的转化矩阵.最后由传送带作为中间媒介,计算出视觉与机器人的转换关系.这一标定过程为实物抓取打下了基础.     

基于卷积神经网络的改进机械臂抓取方法

为了提高机械臂抓取的精度,提出一种基于Mask R-CNN的机械臂抓取最佳位置检测框架。基于RGB-D图像,所提框架通过精确的实例分割确定抓取对象的类别、位置和掩码信息,由反距离加权法在去噪后的深度图上获取中心点的加权深度坐标,构成目标对象的三维目标位置,经坐标系转换得到最终的最优抓取位置。建议的框架考虑到目标对象的姿态与边缘信息,可以有效地提高抓取性能。最后,基于UR3机械臂上的抓取实验结果验证了该框架的有效性。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于平面模板的机器人双目标定与目标定位

视觉是机器人获取外界信息最主要的途径,通过视觉系统准确地定位目标物体是机器人控制中的关键技术。为了使机器人准确地获取目标物体的位置,文中采用平面模板法对双目摄像头进行标定,构建机器人坐标系,完成对目标物体的定位。经过标定,双目摄像头可以获取目标物体在空间坐标系中的位置,经过坐标系转换,可以获得目标物体在机器人世界坐标系中的坐标值,该值是机器人实现对目标物体伺服跟踪和抓取的重要数据。最后,本方法在家庭机器人上得到了验证,机器人能够准确地定位目标物体。     

视觉图像技术与机器人工件抓取的协作应用

工业机器人在抓取环节如果配置机器视觉装置,应用图像处理技术,在抓取效率和准确度方面就有优势。该文介绍机器人功能实训台的工件抓取视觉系统的组成,侧重工件轮廓的图像处理技术,以图像处理作为机器人视觉系统处理的核心目标,将视觉图像技术与机器人工件抓取技术协作应用于工业机器人实训平台的抓取环节,利用工业机器人运动过程中坐标的转换,通过相机的正确标定与抓取动作的共同控制,实现工件的精确定位,达到可靠抓取的目的。总结图像处理技术在工件抓取中的协作应用效果,期待便捷的视觉图像技术与机器人工件抓取的协作应用。     

利用3D打印标定球的机械臂与RGB-D相机手眼标定方法

因为彩色镜头和深度镜头不在同一位置,并且深度图像测量精度差、分辨率低、没有颜色纹理信息,传统的手眼标定方法并不适用于RGB-D相机．本文提出一种利用简单低成本的3D打印球作为标定件对机械臂与RGB-D相机进行手眼标定的方法．本方法只需要测量标定件的3D位置信息,避免使用测量不便、精度稍差的姿态信息．文中给出了该方法的封闭解和迭代优化解．100组仿真结果表明,标定精度与RGB-D相机自身测量精度一致;封闭解不需要机械臂与相机时间同步;迭代优化解的标定精度略有提升,误差最大值和误差方差都很稳定．最后,在7自由度的KUKA ⅡWA机械臂和Kinect相机上做了手眼标定实验,结果与仿真实验一致．总之,本文方法简单可靠,可实现机械臂与RGB-D相机之间的快速部署手眼标定．     

基于3D目标跟踪算法的机器人手眼协调研究

为了适应环境的复杂性和多样性,增强机器人抓取任务的鲁棒性,本文从3D目标跟踪算法出发,提出了一种实现机器人手眼协调的新方法。该方法采用改进的基于区域的位姿追踪算法同时跟踪机械臂夹持器和目标物体的位姿,根据二者的相对位置关系引导机械臂运动。对基于区域的位姿跟踪算法,本文提出根据局部区域分割线构建分割模型并改进模型颜色似然的线性更新方式,使得算法能够准确跟踪机械臂夹持器与目标物体。基于ROS平台搭建了一套仿真实验环境,并分别在仿真环境和真实环境下验证了此手眼协调系统的有效性和鲁棒性。这种方式不仅不需要手眼标定,更接近于人类“Sensor-Actor”带反馈的闭环控制方式,同时赋予了机器人足够的灵活性来应对弹性的任务和多变的环境。     

基于改进单次多框检测算法的机器人抓取系统

针对汽车零部件回收工厂在实际复杂工况下的零件检测效果不佳导致不能实现精准抓取从而影响生产效率的问题,提出了一种基于改进单次多框检测（SSD）算法的机器人抓取系统,可实现零件检测、分类、定位及抓取任务。首先,通过改进SSD模型检测目标零件,得到零件位置和类别信息;其次,通过Kinect相机标定与手眼标定将像素坐标系转换到机器人世界坐标系,实现零件在机器人空间坐标系下的定位;然后,通过机器人正逆运动学建模与轨迹规划,完成目标零件抓取任务;最后,对整个集成抓取系统进行了零件识别分类、定位到抓取验证实验。实验结果表明：复杂工况下,所提系统的零件抓取平均成功率达到95%,满足零件抓取的实际生产需求。     

基于ROS的机器人自动手眼标定系统设计

为了缩短标定的时间,设计了一种基于ROS的机器人自动手眼标定系统。通过分析坐标系间的转换关系,建立了手眼标定的数学模型,推导了两步法的具体解法。为了尽可能减小标定误差,提出了带约束的随机增量法,并根据角点检测结果实时剔除标定过程中出现的无效图像。基于ROS软件平台完成了驱动、运动空间规划、图像处理和标定解算等功能模块的逻辑设计和系统级联。以6自由度工业机械臂UR3和RGB-D相机Kinect2构建了手眼标定实验系统,实验结果表明,与传统标定流程相比,所设计的自动手眼标定系统便捷高效且精度高,具有较强的拓展性。     

手眼系统中刀具刀头位姿标定与视觉引导

在服务机器人的日常任务中要求机械手抓取不同的目标,且根据目标的放置位姿的不同需要从相应角度进行抓取,但机械手与手持目标的位姿关系往往难以精确和直接地测量。以刀具作为手持目标,利用eye-in-hand手眼系统抓取该目标后,在线标定手眼与手持刀具刀头的位姿关系,首先给出了摄像机调焦前后焦距标定的计算方法,再将调整焦距视为摄像机沿光轴的平移运动,通过调焦前后摄像机获取的两幅图像,标定出刀具在摄像机和机械手坐标系下的位姿,同时给出了刀具刀头到期望加工点的导向矢量计算方法。     

基于手眼标定方程AX=XB的精度影响因素研究

机器人手位姿数据对手眼标定精度的影响不可忽略,将对基于手眼标定方程AX=XB的精度影响因素进行分析.通过手眼标定仿真和实测实验验证上述两个因素对手眼标定精度的影响与理论分析的一致性.通过仿真与实测实验,总结得出了减小摄像机与靶标间距离、减小机器人手的运动前后到基坐标空间距离的相差距离,可提高手眼标定精度,通过四元数法和矩阵直积法验证了此规律在解AX=XB标定方程时的通用性,并且在摄像机与靶标间距约为230 mm以及机器人手的运动前后到基坐标空间距离的相差距离为3.2401 mm时,手眼标定平移向量相对误差最高精度可达0.0403%.     

Towards autonomous robotic servicing: Using an integrated hand-arm-eye system for manipulating unknown objects

Executing complex robotic tasks including dexterous grasping and manipulation requires a combination of dexterous robots, intelligent sensors and adequate object information processing. In this paper, vision has been integrated into a highly redundant robotic system consisting of a tiltable camera and a three-fingered dexterous gripper both mounted on a puma-type robot arm. In order to condense the image data of the robot working space acquired from the mobile camera, contour image processing is used for offline grasp and motion planning as well as for online supervision of manipulation tasks. The performance of the desired robot and object motions is controlled by a visual feedback system coordinating motions of hand, arm and eye according to the specific requirements of the respective situation. Experiences and results based on several experiments in the field of service robotics show the possibilities and limits of integrating vision and tactile sensors into a dexterous hand-arm-eye system being able to assist humans in industrial or servicing environments.