基于视觉引导的SCARA机器人自动装配系统

现有生产线工业机器人抓取点固定,工件只能以固定的姿态提前摆放在固定的位置,这种装配模式很难满足复杂的工业生产要求且效率低下。设计了基于视觉引导的机器人装配系统改进原有系统。设计了机器视觉系统,实现了工件的快速识别、定位以及姿态确定功能;设计了抓放系统,实现了工件的精确抓取和安装功能;采用Visual Studio的MFC开发,实现图像处理算法,并利用Socket通信将坐标和姿态数据发送给机器人。通过实验验证本系统具有良好的稳定性和快速性,可以满足生产的要求,大幅提高生产效率。     

基于CICP的机械臂多目标定位与抓取

机械臂的目标定位和抓取是工业机器人自动化领域的核心问题。针对目前机器人3D抓取耗时长且误差较大的问题,提出基于轮廓迭代最近点（Contour Iterative Closest Point,CICP）配准的机器视觉抓取方案,并建立多维空间下的3D多目标模型定位的计算机视觉系统。利用梯度直方图特征+支持向量机对多目标进行检测分割得到单目标大致区域,再使用基于Guide滤波+漫水填充的预处理方式对目标轮廓进行提取得到轮廓点云,最后使用迭代最近点（Iterative Closest Point,ICP）进行点云配准获取目标工件的透视变换矩阵,能够很好地解决传送带上多目标工件的定位与抓取问题,实验结果证明该系统抓取误差可降低到0.4 mm,且对于小工件可将配准时间缩短至200 ms以内。     

基于双目视觉的工件定位与抓取研究

针对生产制造过程中工件的自动定位、识别与抓取等问题,研究基于双目立体视觉的工件识别定位方法;对每个工件进行SIFT特征提取,采用模板匹配方法实现工件的识别.用形态学方法获得工件特征点的二维信息,结合双目立体视觉标定技术得到工件的三维坐标,为机器人抓取工件提供信息;在实验中,相机标定、匹配识别与三维定位程序在MATLAB环境中执行,应用MATLAB和VC++混合编程技术将获得的工件信息传递给机器人的控制程序,实现了机器人对工件的在线实时抓取.     

混合摄像机视觉伺服机器人研究与应用

针对单目视觉机器人工件抓取与放置精度不高的问题,提出了基于位置的混合摄像机视觉伺服系统,采用Eye-in-hand和Eye-to-hand摄像机结合的模式,建立混合摄像机视觉机器人系统以实现工件的精确放置.Eye-in-hand摄像机实现对工件的定位和抓取,Eye-to-hand摄像机用于确定机械手爪中心轴线与工件中线的偏差,确保工件精确放置在期望位置.实验结果表明:该混合摄像机视觉伺服机器人系统能将工件准确放置在期望位置.     

基于手势交互的机械臂轨迹示教系统

为了解决传统机械臂示教方式上手难度高、效率低、人机交互系统不友好的问题,结合机器视觉与神经网络,提出一种基于手势交互的机械臂轨迹示教系统.该系统通过机器视觉定位指尖位置,记录下指尖的运动轨迹并将其用于机械臂的轨迹示教;通过卷积神经网络识别静态手势,用于与机械臂进行如抓取、放置、开始示教等动作的人机交互.系统通过ROS(...     

基于神经网络的工业机器人视觉抓取系统设计

针对机器人示教编程方法导致的工件位置固定、抓取效率低下的问题,研究神经网络在机器人视觉识别与抓取规划中的应用,建立了视觉引导方案,通过YOLOV5神经网络模型开发视觉识别系统,识别物体的种类,同时获取待抓取物体定位点坐标。提出了机器人六点手眼标定原理并进行标定实验,提出了针对俯视图为圆形或长方形物体的定位方法。最后针对3种物体进行了180次的抓取实验,实验的综合平均抓取成功率约为92.8%,验证了视觉识别和抓取机器人系统具备实际应用的可能性,有效提高了抓取效率。     

机器视觉在工业生产线上的应用实现

以新松6轴SRH6工业机器人和GMl400千兆以太网工业相机为基础,搭建了基于机器视觉的工业生产线智能抓取实验平台。首先利用工业相机对生产线上进入到工作区的工件进行拍摄,获取数字图像;然后利用软件对采集到的数字图像进行分析处理,利用其特征对工件进行识别,计算出工件的几何中心坐标,再利用坐标变换得到工件的空间位置：最后引导机器人控制吸盘机械手来完成工件的分类与抓取工作。实验表明,抓取成功率为100％,该方法为工业生产自动化、智能化提供了解决方案。     

视觉引导的搬运机器手位置测量研究

为提高工作效率,满足搬运机器手自动化抓取汽车保险杠的需要,研究了基于结构光视觉原理的保险杠抓取点位置测量方法。该方法通过对相机拍摄图像进行图像处理,识别出投射在保险杠平坦区域的激光光斑中心点;利用透视变换原理对获取的激光光斑图像进行矫正,最后结合像素标定结果计算得到汽车保险杠抓取点沿图像X轴方向偏移量和高度信息。现场实验结果表明：该测量方法稳定性能好,测量误差小于±3mm,可以实现对汽车保险杠的非接触测量,实时引导搬运机械手准确抓取汽车保险杠,给自动化行业提供一种简单准确的定位识别系统和方法。     

基于视觉定位的数控机床智能刀柄系统

针对航天领域某大型工件人工配打孔劳动成本高、制造效率低等问题,提出了一种基于视觉定位的智能刀柄系统,利用视觉算法对大型工件的多个安装孔进行自动识别和定位,并通过基准转换方法计算出安装孔在机床下的位置,将视觉补偿后的孔位位置发送给机床,即可实现机床对安装孔位置的自主感知和自动更新轨迹加工。将研究的系统和红外测头测量结果进行实验比对,结果表明,视觉定位平均误差0.05 mm,实际工件配合误差要求不超过0.3 mm,因此,研究的系统能满足实际生产需求。     

基于机器视觉的Delta机器人分拣系统算法

针对分拣过程中视觉系统对工件的重复拍摄问题,提出一种基于时间与工件位置的图像去重复算法,以实时分拣系统的系统运行时刻作为各单元的时间基准,将预测的工件到达某一固定参考位置的时刻与工件当前位置组合成一组能唯一识别工件的坐标,经周期性比较,判断并去掉重复图像信息.同时为提高分拣效率,提出一种基于牛顿-拉夫森迭代的动态抓取算法,建立了机器人跟踪工件的数学模型,并通过牛顿-拉夫森方法求解该非线性数学模型.最后用MATLAB对动态抓取算法进行了验证.样机实验中最快分拣速度达110次/min,误抓率小于2‰,漏抓率为0,证明了算法能够满足实时性要求,同时具有较高的准确性和稳定性.     

发动机瓦盖上料机器人研究

为了提高装配质量,研究了一种基于机器视觉的发动机瓦盖上料机器人。通过分析系统的关键技术,设计了上料机器人的机械结构、电气结构、多点打光方式的图像采集系统。针对可能存在的单个工件摆放错误和整体倒置,提出了一种快速鲁棒的工件定位检测算法。测试结果表明机械和电气方案稳定可靠、图像识别算法精度高、整机性能满足客户要求。     

基于机器视觉的芯片引脚缺陷检测系统设计与实现

针对双球红外接收头芯片人工缺陷检测难度大、误判率高等问题,设计了一个基于机器视觉的引脚缺陷检测系统,对双球红外接收头芯片的引脚进行缺陷检测,达到分辨出合格品和瑕疵品的目的;首先,通过工业相机实时采集芯片图像,并对图像进行滤波、灰度化等预处理;然后利用VisionPro视觉软件的PMAlign工件进行图像特征匹配,计算引脚个数以判断引脚是否缺失,利用AnglePonitPonit工具计算引脚间距以判断引脚是否弯曲;最后将检测到的芯片位置信息和识别结果通过socket通讯协议发送给工业机器人;工业机器人根据识别结果,将合格品和瑕疵品分别抓取至不同区域,实现对芯片的分类管理;实验结果表明,该缺陷检测系统误判率为0.4%,满足工业生产的要求。     

智能获取装箱管状工件抓取位置的研究

机械手智能抓取工件时,工件抓取位置的获取是基于机器视觉精确装配的重点。针 对环境较复杂的装箱管状工件的装配抓取环节,建立合理的机器视觉系统,利用正向照明系统对 工件表面产生的反光直光条特征,提出了一种Gaussian 拟合与Hough 变换相结合的拟合算法。首 先利用Gaussian 拟合提取各光条法向上的中心坐标,然后将获取的坐标点集运用Hough 变换进行 拟合,最后根据获取的各光条中心线计算各工件的抓取位置。实验结果表明该方法能同时实现多 条光条直线的拟合,又能抑制干扰点或噪声的影响,有效实现装箱工件抓取位置的智能获取。     

基于多尺度特征注意Yolact网络的堆叠工件分拣算法

针对非结构化场景中存在的多工件堆叠遮挡等问题,提出了基于多尺度特征注意Yolact网络的堆叠工件识别定位算法。所提算法首先在Yolact网络的掩码模板生成分支中加入多尺度融合与特征注意机制,提升网络预测堆叠工件掩码的质量,并设计了基于膨胀编码的目标检测模块,增强网络对不同尺度堆叠工件的适应能力,构建了多尺度特征注意Yolact网络。其次,利用构建的多尺度特征注意Yolact网络预测堆叠工件的掩码与边界框,并对堆叠工件掩码进行最小外接矩形生成,根据掩码边界框与掩码的最小外接矩形确定目标工件的抓取点与旋转角度。最后,基于堆叠工件识别定位算法研发了视觉机器人工件分拣系统。实验结果表明,所提模型在边界框回归、掩码预测两项任务上的识别精度均有提升,机器人工件分拣系统进行堆叠工件分拣作业的成功率达到97.5%。     

基于人工智能的数字X线机自助检查系统的设计

为了实现数字X线机检查的体位识别智能化与摆位自助化，采用自主研发的基于堆叠沙漏网络的体位识别装置、应用动作相关关系模型的体位判断装置和加入语音提示功能的数字X线机“自助检查”装置，解决了如今影像摄片体位精准度不高、影像科技术人员数量不足、传统摄片耗时较长等问题。经多次实验结果表明，系统将原本人均将近6分钟的摄影时间缩短到大约三分半，将甲级片出片率的不足40%提升到将近80%，进而将误诊率减少30%，同时能够有效地减少医患接触，减低院内感染的风险，系统实现了缩短摄片时间、提高摄影质量、降低院内感染的目标。     

基于机器视觉的机械手装配系统设计

为了解决工业生产过程中料板的自动装配问题,提出了一种基于机器视觉的机械手定位装配检测系统,建立了实验平台。系统通过工业相机对料盘进行图像采集,将所采集的信息传送给工控机,借助图像处理程序,采用图像预处理实现了对图像的降噪,结合BLOB分析对图像特征进行了提取,获得了料盘上装配孔的位置信息,通过控制机械手动作,移动到装配位置,旋转相应角度,实现料板的自动定位装配。实验结果表明,该系统装配准确度高,误差小,满足了工业上的要求。     

Reflective workpiece detection and localization for flexible robotic cells

A smart vision system for industrial robotic cells is presented. It can recognize and localize a reflective workpiece, and allows for automatic adjustments of the robot program. The purpose of the study is to improve industrial robots awareness of the environment and to increase adaptability of the manufacturing processes where full control over environment is not achievable. This approach is particularly relevant to small batch robotic production, often suffering from only partial control of the process parameters, such as the order of jobs, workpiece position, or illumination conditions.A distinguishing aspect of the study is detection of workpieces made of diverse materials, including shiny metals. Reflective surfaces are common in the industrial manufacturing, but are rarely considered in the research on object recognition because they hinder many of the object recognition algorithms. The proposed solution has been qualified and tested on a selected benchmark in a realistic workshop environment with artificial light conditions. The training of the object recognition software is an automatic process and can be executed by non-expert industrial users to allow for recognition of different types of objects.