基于机器视觉的金属工件智能分拣系统设计

针对传统工业中人工分拣效率低和成本高等问题,设计了基于机器视觉的机械臂智能分拣系统。通过摄像头采集图像并对图像进行灰度滤波操作后,使用SOA-OTSU算法对图像进行阈值分割,对目标区域进行Blob连通域分析,实现对工件的识别与定位。运用标准D-H参数法建立三自由度机械臂模型,将工件位置坐标代入逆运动学方程,解得每个连杆的关节转角,将其转化为机械臂步进值,并通过串口通信方式发送给Arduino,由Arduino控制机械臂完成工件的抓取与放置。实验结果表明,该方法提高了分拣系统抓取的准确性。     

基于局部视觉的特定工件移动机械臂动态抓取方法

机械臂操作动态工件在分拣、上下料等作业场合有着广泛的需求。针对特定型号工件的移动机械臂动态抓取问题，提出一种基于特定工件ID编号识别和机械臂抓取位姿预测的运动工件鲁棒抓取方法。该方法选取AprilTag视觉标签来标记工件，通过图像采集、自适应阈值处理、连续边界分割、四边形拟合、快速解码等数据处理过程，获取局部视野下运动工件的ID、位置和姿态，实现工件的初次定位。结合移动机械臂的运动规划工艺策略，对特定型号目标工件的抓取位姿进行计算，实现抓取时刻的工件位姿预测。搭建了动态抓取实验平台进行了视觉标签ID识别、工件定位、动态目标抓取实验。结果表明，所提出的移动机械臂动态抓取方法，可以准确识别特定型号工件，并能够对不同运动速度的特定工件进行鲁棒抓取，抓取成功率平均值约为98%。该方法在智能产线的移动机械臂上下料等场景有着广泛的应用价值。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

基于深度学习的协作机械臂目标定位与抓取研究

针对协作机械臂在工业应用场景中目标定位困难、抓取精度不高等问题,提出一种基于ROS (Robot Operating System)和深度学习的协作机械臂目标定位与抓取方法。首先搭建了一种视触觉融合的机械臂智能抓取实验平台,该平台由Kinect v2视觉系统、Moveit控制系统及AUBO i5机械臂执行系统组成;以Kinect v2视觉系统为基础设计了一种改进YOLOv8轻量化模型的目标检测识别定位方法实现目标定位;采用GSConv和VoV-GSCSP网络结构改进特征融合Neck端解决了参数量大、算力要求高的问题;控制系统订阅tf广播的目标物体坐标信息实现抓取任务。实验结果表明,模型改进后的计算量GSConv和VoV-GSCSP减少6.9%,GFLOPs减少7.3 (9.8%),且提高了检测精度;螺丝和螺母两种目标物抓取的成功率分别为99%和97%。     

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。     

基于单目视觉的工业机器人智能抓取系统设计

针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题,将单目视觉引导技术应用到工业机器人智能抓取系统设计中。利用图像进行了模式识别,对检测定位进行了研究,建立了视觉图像与工件定位抓取之间的关系,提出了基于轮廓Hu不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理,然后利用轮廓Hu不变矩模板匹配算法进行了目标工件的识别,利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取,最后通过建立SOCKET通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于VS软件开发平台和ABB机械手,对智能抓取系统进行了搭建并试验。研究结果表明:该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高,可满足工业自动化生产的需求。     

基于最小外接矩形的目标工件定位算法

针对工业生产中的轮廓不规则工件难以定位的问题。以UR5机械臂为研究对象,设计了一套视觉定位系统。文中借助视觉技术定位工件,实现机械臂自动抓取目标工件。改进Canny边缘检测算法,然后对检测到的工件轮廓,利用Hough投影法寻找目标轮廓的主轴,建立目标工件的最小外接矩形。实现目标工件的定位并确定目标图像位置,最终实现机械臂抓取目标工件。通过抓取实验证明,文中的算法满足实际需求,具有实际工程应用价值。     

基于Kinect传感器的机械手自主抓取技术研究

为实现机械手对物体的自主抓取,采用Kinect传感器采集RGB图像,运用HSI和Lab色彩空间分割算法对物体进行图像识别,并计算物体的空间坐标,然后根据物体的坐标值反求机械手运行角度,驱动基于S3C2410的ARM控制器的机械手,实现对目标的抓取。以温室内的成熟番茄为抓取对象,实验结果表明该系统能准确有效地实现对物体的识别、定位及抓取。     

基于单目视觉的移动机械臂抓取作业方法研究

针对移动机械臂自主抓取作业过程中目标识别慢、作业精度低的问题,对基于单目视觉的目标识别与定位算法以及机器人作业精度提高方法展开了研究。以全向移动平台、工业机器人和单目相机等硬件为基础构建了一套移动机械臂抓取作业系统;对单目视觉模板匹配法进行了归纳,采用基于随机树分类的特征点匹配算法对目标进行快速准确地识别与定位;完成了相机内参数标定和机器人手眼位姿标定,分析了手眼位姿与抓取位姿的关系,提出了一种修正手眼位姿的抓取误差补偿方法,减小手眼标定误差对抓取误差的影响,最后进行了移动机械臂的抓取/放置实验。研究结果表明:采用上述方法能够快速准确识别目标,有效减小作业误差,并达到较高的作业精度。     

基于双目视觉定位的机械臂智能抓取控制研究

随着科技的发展，机械臂开始往更加智能化、自动化的方向发展，单单依靠传统的通过示教器执行单一指令的机械臂已远远不能满足各类复杂的生产和服务。为了让机械臂更加智能化和科技化，通过赋予其双目视觉感知模块和智能控制系统，对机械臂智能抓取控制进行研究。采用HSR-Co605协作机械臂，基于双目视觉相机在ROS系统进行仿真建模、运动规划、障碍物规避等试验；在复杂环境下实现了机器人双目视觉模块自主识别定位物体，同时对周围障碍物进行避障规划，实现机械臂自主运动规划及智能抓取操作。在不同场景下进行了智能抓取试验，并对其试验结果进行了分析，为后续机械臂能更好地适应复杂的工作环境以及产业化发展提供参考。     

基于视觉的采摘机器人目标识别与定位方法研究综述

目标识别和定位的精度直接关系到采摘机器人采摘效率、质量和速度。本文对近年来采摘机器人的目标识别和三维定位的研究工作进行了系统性的总结和分析,综述了果蔬识别和定位的几种主要方法:目标识别:数字图像处理技术、基于机器学习的图像分割与分类器和基于深度学习的算法;三维定位:基于单目彩色相机、基于立体视觉匹配、基于深度相机、基于激光测距仪和基于光基3D相机飞行时间的三维定位。分析了影响果蔬识别和定位精度的主要因素:光照变化、复杂的自然环境、遮挡以及动态环境干扰下成像不精确。最后对采摘机器人目标识别与定位的未来发展作了几点展望。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于 Keypoint RCNN 改进模型的物体抓取检测算法

机器人抓取在工业中的应用有两个难点:如何准确地检测可抓取物体,以及如何从检测出的多个物体中选择最优抓取目标。本文在Keypoint RCNN模型中引入同方差不确定性学习各损失的权重,并在特征提取器中加入注意力模块,构成了Keypoint RCNN改进模型。基于改进模型提出了两阶段物体抓取检测算法,第一阶段用模型预测物体掩码和关键点,第二阶段用掩码和关键点计算物体的抓取描述和重合度,重合度表示抓取时的碰撞程度,根据重合度可以从多个可抓取物体中选择最优抓取目标。对照实验证明,相较原模型,Keypoint RCNN改进模型在目标检测、实例分割、关键点检测上的性能均有提高,在自建数据集上的平均精度分别为85.15%、79.66%、86.63%,机器人抓取实验证明抓取检测算法能够准确计算物体的抓取描述、选择最优抓取,引导机器人无碰撞地抓取目标。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

浅地层探地雷达目标探测和定位新方法

提出基于模板匹配的探地雷达目标自动探测与定位新方法，和图像分割方法相结合以减少模板匹配的计算量。将雷达图像分割成可能存在目标的区域和背景数据区域，对可能存在目标的区域进行模板匹配计算。模板根据待匹配点的深度生成。如果探测到金属目标则对模板倒相，实现金属目标的准确定位。所提方法包括图像分割、模板生成、匹配算法、金属目标识别和模板倒相算法。对实测数据处理的结果表明，所提方法探测和定位准确、鲁棒性好。     

一种双分支结构的图像语义分割算法

图像语义分割需要精细的细节信息和丰富的语义信息,然而在特征提取阶段,连续下采样操作会导致图像中物体的空间细节信息丢失。为解决该问题,提出一种双分支结构语义分割算法,在特征提取阶段既能有效获取丰富的语义信息又能减少物体细节信息的丢失。该算法的一个分支使用浅层网络保留高分辨率细节信息有助于物体的边缘分割,另一个分支使用深层网络进行下采样获取语义信息有助于物体的类别识别,再将两种信息有效融合可以生成精确的像素预测。通过Cityscapes数据集和CamVid数据集上的实验验证,与现有语义分割算法相比,所提算法在较少的参数条件下,获得了较好的分割效果。     

利用超体素中心点连线可见性的图像分割算法

当图像中存在阴影、低对比度边缘和模糊区域时,传统算法利用纹理、颜色等信息难以准确分割物体。以点云图为研究对象,依据盒状、柱状物体在三维空间中的几何形状,提出一种基于超体素中心点连线可见性的图像物体分割算法。该算法首先对点云图进行过分割,得到具有相邻关系的超体素,接着依据其中心点法向量平行准则以及中心点连线可见性准则共同判断相邻超体素是否融合,然后过滤噪声,并利用遮挡关系进一步考察同一物体平面超体素的融合情况。实验结果表明:在OSD-v0.2公开数据集上,文章提出的算法误识别率为6.9%,漏识别率为4.6%,比单一结合法向量的凹凸性判断方法更好,整体误差更小。利用本算法对物体进行分割,更容易计算物体的抓取位姿,有助于机器人执行抓取任务。     

铁路场景三维点云分割与分类识别算法

铁路限界侵入检测对保障高速铁路安全具有重要意义,基于激光三维点云分割与分类识别的异物侵入检测具有准确、直观的优点,在诸如隧道口和站台的铁路重点区域监测中具有广泛应用前景。设计了一种带动二维激光雷达进行俯仰运动的装置用于铁路三维点云的采集,基于法线方向一致性原则提出采用区域生长分割算法解决欧氏聚类分割和随机采样一致性(RANSAC)分割造成的过分割和欠分割问题;针对分割后的单物体点云,提出利用视点特征直方图(VFH)进行不同目标的三维点云特征提取,基于不同物体VFH建立KD树,并利用最近点搜索方法完成单物体点云分类识别。铁路场景典型物体的分类实验结果表明,本算法对铁路场景典型物体的分类识别准确率大于90%。     

单样本的低分辨率单目标人脸识别算法

针对只给定单幅目标图像的情况下,而要在监控视频中查找出该目标人脸图像的问题,提出了一种单样本的低分辨率单目标人脸识别算法。考虑到待识别样本集中的目标与非目标对象数量严重不均衡,以及单目标问题无法利用不同类别间的互斥关系。首先在待识别样本集中,通过聚类算法,将单目标的识别问题转化为多目标识别问题,进而提高开集人脸识别算法的鲁棒性;其次,利用迭代标签传播算法不断优化待识别样本的归属类别;在迭代过程中,按照置信概率估计每个类别的人脸确认阈值,以解决单样本无法训练分类器的问题。在多个人脸数据集上的实验结果表明,该算法对于单目标的单样本的人脸识别精确率既能逼近100%,也具有较高的召回率。     

基于DRGAN和支持向量机的合成孔径雷达图像目标识别

为解决SAR图像目标识别中样本缺乏和方位角敏感问题,提出了一种基于DRGAN和SVM的SAR图像目标识别算法。首先,采用多尺度分形特征对SAR图像进行增强,经过分割得到目标二值图像,基于Hu二阶矩估计目标的方位角。然后对估计得到的目标方位角进行量化编码,结合原始图像作为输入,对设计的DRGAN模型参数进行训练与优化。由于DRGAN中的深度生成模型将目标姿态与外观表示进行解耦设计,故可利用该模型将SAR图像样本变换到同一方位角区间。基于变换后的训练样本分别提取归一化灰度特征,利用SVM训练分类器。采用MSTAR数据集在多个不同操作条件下对提出的算法进行测试,实验结果表明,在带变体的标准操作条件下,能够达到97.97%的分类精度,优于部分基于CNN模型的分类精度,在4种扩展操作条件下的分类精度分别为97.83%,91.77%,97.11%和97.04%,均优于传统方法的分类精度。在SAR图像目标方位角估计存在一定误差的情况下,训练得到的GAN模型作为SAR图像目标旋转估计器,能够使得在不进行复杂样本预处理的前提下,仍然取得较高的SAR图像目标识别精度。