基于双目视觉的绳驱动飞行机械臂目标识别与抓取

为提高面向飞行机械臂平台的目标姿态估计的精度,为飞行机械臂配备双目视觉系统,对绳驱动机械臂和双目相机进行系统建模,利用Camshift算法对目标进行实时追踪,结合目标的几何特征提出一种轻量化的目标姿态估计算法,可用于飞行平台的实时目标追踪与姿态估计并进行飞行机械臂抓取实验。实验证明：该姿态估计算法对于目标追踪和姿态估计具有较好精度,可以实现抓取作业。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

基于机械臂灵巧手智能数据采集系统的设计与分析

在非结构环境中机器人对不同形状、重量物体的有效抓取效率低。针对这一现状,自主设计了一套基于机械臂灵巧手的智能数据采集系统平台,该平台由Kinect2.0摄像机、BH8-282三指灵巧手、UR5六自由度机械臂等设备组成,通过对目标物体的自动识别和定位,自主运动规划路线完成对目标物体的抓取动作,并得到抓取目标物的视觉和触觉信息。实验表明,该平台可以在无人监督的情况下,完成对目标物体的有效抓取,并实现对视觉和触觉数据的完全自动化采集。实验过程中对3 589组抓取目标物数据分析,未抓住目标物的比例为15.41%,抓稳的比例为42.91%,未抓稳的比例为41.86%,总体实验效果较好。     

基于深度学习的目标识别与抓取研究

针对机械臂抓取在工业生产中的复杂作业环境、不同零件之间存在干扰的问题,文章提出了一种基于深度学习的目标识别及抓取方法,以此来减少抓取场景中物体位置的不确定性,提高检测和抓取成功率。采用卷积注意力机制模块（convolutional block attention module,CBAM）对YOLO-V5进行改进,加强卷积网络对图像特征的关注和提取能力,提高检测精度。改进之后的网络平均识别率提高了5.26%,证明了改进是有效且成功的。通过AUBO-i5机械臂、电动夹爪、相机以及六轴力传感器等设备搭建了一套机械臂抓取系统,实验结果表明所提出的方法在实际抓取中可以适应不同的抓取场景,减少外界干扰,提高抓取成功率,具有良好的应用前景。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

带双目视觉的SCARA机械臂运动学分析及轨迹规划

为了解决SCARA机械臂因目标位姿变化而引起抓取任务失败问题,给出了一种基于机器视觉目标检测与定位的机械臂控制方法。通过双目相机成像模型实现坐标系之间的转换,利用计算机视觉识别及三维匹配方法,达到对目标物体定位的目的,从而确定机械臂末端执行器的期望位置。结合使用D-H参数法建立机械臂的运动学模型,通过运动学方程的逆解,得到末端执行器到达期望位置时机械臂各驱动关节的变量参数,然后对其进行轨迹规划仿真,得到了连续且平滑的各关节位移、速度、加速度变化规律曲线,同时使用SCARA机械臂进行装配实验。实验结果表明该系统能够准确、稳定地把物体放到目标位置,完成装配任务,从而为开发机械臂运动控制系统提供重要的参考。     

自然光线环境中的空间物体快速识别和定位算法研究

针对智能机械臂在自然光环境的三维空间中对目标物体的自主识别率和定位精度低的问题,提出了一种基于深度学习的视觉和光学雷达融合定位算法,实现自然光线下空间物体的高精度快速定位。首先,采集 RGB 图像和深度数据,利用深度学习算法对图像进行目标识别与实例分割;然后,将实例分割目标物的二维深度矩阵转换成三维空间点云;最后,用综合修正算法对位置修正,实现对目标物体在三维空间的抓取位置精准定位。 通过不同光照强度下的目标物体识别和定位实验验证了该算法的有效性和实用性,获取的目标物体的三维空间坐标较为精确,单位距离的定位误差在 0. 5%以内,受照明亮度影响较小,对机械臂智能抓取的研究具有较为重要的意义。     

基于局部视觉的特定工件移动机械臂动态抓取方法

机械臂操作动态工件在分拣、上下料等作业场合有着广泛的需求。针对特定型号工件的移动机械臂动态抓取问题，提出一种基于特定工件ID编号识别和机械臂抓取位姿预测的运动工件鲁棒抓取方法。该方法选取AprilTag视觉标签来标记工件，通过图像采集、自适应阈值处理、连续边界分割、四边形拟合、快速解码等数据处理过程，获取局部视野下运动工件的ID、位置和姿态，实现工件的初次定位。结合移动机械臂的运动规划工艺策略，对特定型号目标工件的抓取位姿进行计算，实现抓取时刻的工件位姿预测。搭建了动态抓取实验平台进行了视觉标签ID识别、工件定位、动态目标抓取实验。结果表明，所提出的移动机械臂动态抓取方法，可以准确识别特定型号工件，并能够对不同运动速度的特定工件进行鲁棒抓取，抓取成功率平均值约为98%。该方法在智能产线的移动机械臂上下料等场景有着广泛的应用价值。     

目标检测在链条标准件动态抓取中的应用研究

为提升链条装配车间的自动化和智能化水平，满足对于生产线传送带上链条标准件的准确分类、定位和抓取，使用基于深度学习的机器视觉目标检测技术，提出了一种具备通用性且满足工业实时性要求的动态抓取方法，由视觉系统与抓取系统组成。视觉系统采用深度学习目标检测模型YOLOE对采集的图像进行处结果显示目标检测和分类准确率90%以上，传送带8mm/s速度下抓取成功率为100%，能够高效、准确、平稳的实现机器人对动态目标的准确快速抓取。     

带双目视觉的全向移动物流机器人设计与实现

为提升物流机器人的灵活性和智能化水平,将全向移动平台、物料抓取机器人、双目视觉识别等技术进行集成应用研究。分析了机器人的结构布局和运动学模型,完成了机械臂的机构原理设计,结合计算机应用视觉识别算法,选择具体的检测方法完成识别对象的角点、边缘及轮廓检测,实现对象的图像处理。通过双目相机成像模型实现坐标系之间的转换,达到定位目标物品的目的。最后,完成了物理样机的开发和实地操作的实验验证。实验结果表明,该系统可以有效地完成物品识别、抓取和搬运工作。     

基于单目视觉的工业机器人智能抓取系统设计

针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题,将单目视觉引导技术应用到工业机器人智能抓取系统设计中。利用图像进行了模式识别,对检测定位进行了研究,建立了视觉图像与工件定位抓取之间的关系,提出了基于轮廓Hu不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理,然后利用轮廓Hu不变矩模板匹配算法进行了目标工件的识别,利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取,最后通过建立SOCKET通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于VS软件开发平台和ABB机械手,对智能抓取系统进行了搭建并试验。研究结果表明:该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高,可满足工业自动化生产的需求。     

基于改进YOLO v5的机床刀具识别方法

针对目前机床刀具分类应用较少、预处理复杂、目标检测适用范围小且识别精度不高的问题,提出基于改进的YOLO v5机床刀具图像识别算法,利用卷积神经网络在特征提取层加入CBAM注意力模块,可以更清晰地提取图像特征,在特征融合层加入CARAFE上采样模块,使刀具的表面特征恢复更好,可以减少特征融合时部分特征的丢失。实验结果表明,改进后的算法使机床刀具等小目标检测精度和检测速度明显提升,且改进后的模型平均精度为96.8%,比YOLO v4模型提高了14.96%,比YOLO v5模型提高了2%。本方法能对不同刀具进行识别,为工业制造中机械零件的识别提供了新的算法支持。     

基于机器视觉的芯片引脚缺陷检测与分拣系统北大核心CSCD

针对传统工业中芯片的引脚缺陷检测及分拣精度低、实时性差的问题,设计了基于机器视觉的芯片引脚缺陷检测与分拣系统。系统以对SOP芯片的引脚缺陷检测、目标定位、抓取放置为任务,通过MATLAB处理芯片图像,采用改进的Canny和Hough变换实现引脚的边缘检测与连接,采用Blob分析与萤火虫BP神经网络相结合的方法实现芯片引脚的缺陷检测,然后求取芯片的形心作为定位参考坐标,结合三自由度机械臂,使用标准的D-H法建立机械臂运动学模型,并根据芯片的定位坐标通过运动学逆解计算出每个连杆需要转动的角度,转化为步进值后通过串口通信方式发送给Arduino,然后由Arduino完成对机械臂的控制,实现芯片的分拣。测试结果表明,系统达到了设计要求,具有一定的应用性。     

基于Kalman滤波的移动机械臂动态抓取研究

针对机械臂在交通路锥自动取放系统中的抓取问题,对系统运动过程中路锥位置的预测、机械臂的抓取策略等方面进行了研究。提出了一种基于Kalman滤波与位置伺服的路锥动态抓取方法,建立了路锥的相对运动模型,采用Kalman滤波算法对路锥位置进行了预测,以补偿系统动态抓取的滞后;采用矢量积法构造了机械臂的雅克比矩阵,从而建立了基于路锥位置伺服的运动控制模型;在此基础上,论述了路锥在不同距离时机械臂的两个运动阶段,提出带速度补偿的抓取方法,使得机械臂可以在移动过程中完成对路锥的抓取;通过所搭建的实验平台,对所提方法进行了验证。研究结果表明:该方法能够有效地提高机械臂的路锥跟踪精度,避免了动态抓取时机械臂与路锥间的直接碰撞,使整个抓取过程更加平稳。     

基于机器视觉的运载火箭支架自动装配方法研究

为解决运载火箭内部支架人工装配所面临的工作环境嘈杂和劳动强度大等问题，设计了基于协作机器人的辅助自动装配系统，并对其装配路径进行规划。协作机器人在抓取支架实现自动装配过程中，受限于支架自身误差、特征尺寸及位置姿态的随机等特点，抓取和定位极为困难。为解决支架自动装配过程中的难点，首先规划了支架自动装配的工艺流程，设计了支架抓取机构、自动装配机构，并配合对应的视觉算法完成支架的抓取、自动装配；其次，结合YOLOv5深度学习算法对定位目标进行识别，和装配孔位进行位置补偿，实现对装配孔找正；最后，通过实验验证该自动装配系统中抓取机构、自动装配机构的稳定性，视觉定位算法的有效性及精度，实验结果表明，装配孔定位精度小于0.06 mm。     

基于视觉引导的工业棒材上料系统研究

为了提高生产效率,设计一种基于视觉引导的工业棒材上料系统。首先,为了实现视觉引导进行工业棒材上料,设计了工业棒材上料总体方案,并对上料机械结构模型进行选型设计。然后,为了实现棒材的自动识别和位姿检测,提出了一种基于改进YOLOv5的旋转目标识别与定位算法。该方法在YOLOv5主干特征网络上,添加高效ECA通道注意力机制模块,利用其避免降维,并通过适当跨通道交互策略提高特征提取能力;为了增强不同尺度的特征信息融合,将原特征增强网络替换成BiFPN加权双向特征金字塔网络,进行自上而下和自下而上的多尺度特征融合,提高棒材识别准确率并获取平面位置信息;在此基础上,采用双目视觉进行立体匹配获取棒材的深度位置信息,最终实现棒材立体位姿检测。对所提上料系统进行实验验证,棒材识别的平均精度为99.4%,抓取棒材成功率达到90%及以上。     

无标定视觉伺服系统在灵巧手抓取目标时的应用

基于无标定机器人系统和视觉伺服建立一种新的目标追踪模式,该追踪模式是使用跟踪器追踪物体轮廓边界,通过与输入模型对比进行分析,不再需要计算图像雅可比逆矩阵,从而避免了图像雅可比矩的奇异性问题,最后实现控制机械臂和灵巧手对目标的抓取,并且通过实验证明此种方法的可行性。     

基于双目视觉定位的机械臂智能抓取控制研究

随着科技的发展，机械臂开始往更加智能化、自动化的方向发展，单单依靠传统的通过示教器执行单一指令的机械臂已远远不能满足各类复杂的生产和服务。为了让机械臂更加智能化和科技化，通过赋予其双目视觉感知模块和智能控制系统，对机械臂智能抓取控制进行研究。采用HSR-Co605协作机械臂，基于双目视觉相机在ROS系统进行仿真建模、运动规划、障碍物规避等试验；在复杂环境下实现了机器人双目视觉模块自主识别定位物体，同时对周围障碍物进行避障规划，实现机械臂自主运动规划及智能抓取操作。在不同场景下进行了智能抓取试验，并对其试验结果进行了分析，为后续机械臂能更好地适应复杂的工作环境以及产业化发展提供参考。     

机器人视觉定位误差分析与试验研究

机器人视觉定位误差对于机器人准确抓取具有重要的影响。基于Hexsight 4.0和四轴视觉运动平台,首先对CCD相机进行标定,然后选择圆形、正三角形、正四边形、正六边形等典型图案,测量了视觉机器人对目标的抓取精度及机械臂转动角度的误差,分析了典型图案目标对视觉定位精度的影响。视觉机器人对圆型、正四边形的定位误差为0.4~1.2 mm,对正三角形、正六边形的定位误差为0.5~1.8 mm.对圆形的角度跟踪精度误差在-0.2°~0.2°,对正三角形、正四边形、正六边形的角度跟踪精度误差为-0.3°~0.5°.研究结果对于视觉机器人抓取和上下料的应用具有一定的实际意义。     

基于机器视觉的金属工件智能分拣系统设计

针对传统工业中人工分拣效率低和成本高等问题,设计了基于机器视觉的机械臂智能分拣系统。通过摄像头采集图像并对图像进行灰度滤波操作后,使用SOA-OTSU算法对图像进行阈值分割,对目标区域进行Blob连通域分析,实现对工件的识别与定位。运用标准D-H参数法建立三自由度机械臂模型,将工件位置坐标代入逆运动学方程,解得每个连杆的关节转角,将其转化为机械臂步进值,并通过串口通信方式发送给Arduino,由Arduino控制机械臂完成工件的抓取与放置。实验结果表明,该方法提高了分拣系统抓取的准确性。