基于单目视觉的工业机器人智能抓取系统设计

针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题,将单目视觉引导技术应用到工业机器人智能抓取系统设计中。利用图像进行了模式识别,对检测定位进行了研究,建立了视觉图像与工件定位抓取之间的关系,提出了基于轮廓Hu不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理,然后利用轮廓Hu不变矩模板匹配算法进行了目标工件的识别,利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取,最后通过建立SOCKET通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于VS软件开发平台和ABB机械手,对智能抓取系统进行了搭建并试验。研究结果表明:该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高,可满足工业自动化生产的需求。     

基于单目视觉的工业机器人目标识别技术研究

为实现工业机器人能在多个目标的工作环境下自主识别指定的目标,提出了一种基于单目视觉技术的解决方法.主要采用中值滤波和最大类间方差法对初始图像分别进行滤波和分割,给出一种新的统计矩阵标记区域算法,利用目标本身的几何特征达到识别目的,选取质心标记法实现目标物体的定位.实验结果表明,该方法在较复杂的环境下能够获得较好的识别定位指定目标的效果,为工业机器人抓取目标提供了必要的信息.     

基于Labview的机械手视觉引导系统设计

机器人的使用在工业中变得越来越广泛,如何使机器人的运行更加智能化、人性化,成为许多学者研究的热门课题。机器视觉作为一种新兴的技术,也越来越受到关注。工业机器人通过机器视觉获取的图像信息特征,能够更加准确地定位引导,抓取和放置物料。以机械手的目标识别和数据通讯为研究目标,针对物料的实时匹配识别以及上位机与机械手的数据通讯进行了详细的研究,并通过Labview编程完成整个机械手视觉定位引导的软件的编写。该视觉引导系统可以实现图像的图像标定和匹配定位,最终完成抓取和放置的动作。定位误差为±0.1mm。     

基于视觉的机器人抓取系统应用研究综述

针对生产线上工业机器人的柔性和智能水平不高的问题,将日益发展的计算机视觉技术引入原有的搬运工业机器人领域,利用机器人视觉技术获取工件及其周围环境的信息,识别出了所要操作的目标工件,并能通过做出决策来引导工业机器人完成对工件的抓取和放置等操作。针对生产线上的工业机器人抓取系统中摄像机的标定、目标工件的识别匹配、机器人对目标工件的定位抓取这3个主要步骤在现阶段的研究成果进行了综述,对计算机视觉定位中涉及到的相关图像预处理方法进行了分析与归纳,并对该技术的实际应用研究和未来发展进行了讨论。研究结果表明,视觉抓取系统技术成熟,能够满足工业应用中的实时性要求,各部分算法的研究和改进对工业的发展和相关研究具有一定的参考价值。     

基于RGB-D图像的三维物体检测与抓取

提出了一种基于RGB-D图像的三维物体检测与抓取方法。该方法主要实现RGB-D图像的模板匹配,对匹配结果进行聚类、评估和非极大值抑制,物体定位,并在三维点云中分割出平滑曲面,从而计算机器人的抓取位置与姿态。实验结果表明:该方法可在杂乱环境下对目标进行定位,并引导机器人抓取,抓取成功率达到89%。     

基于Faster R-CNN的未爆弹检测

当前排爆机器人多为半自主型,排爆过程依赖于人的操控。为了实现排爆机器人的无人化智能化,本文利用目标检测与深度学习技术,实现对未爆弹的图像检测。这一技术能够使排爆机器人从获取的图像中自主识别未爆弹等目标物体,并且实时获取目标的位置信息,为排爆机器人自主抓取打下基础。     

基于双目视觉的六自由度工业机器人控制系统研究

目前机器人视觉系统正越来越广泛地应用于视觉检测、视觉引导和视觉装配领域。为了使机器人能够快速准确地识别、检测、抓取工作台上的工件,该文设计了一套双目视觉的六自由度工业机器人控制系统。文中以张正友摄像机标定法为理论依据研究双目视觉合成技术,利用MATLAB摄像机标定工具箱分别获取左右摄像机的内外参数;通过建立机器人用户坐标系、摄像机坐标系以及世界坐标系实现了空间坐标转换;由OpenCV图像处理算法获得工件坐标位置,控制系统驱动机器人实现工件抓取。     

基于深度学习的机器人最优抓取姿态检测方法

服务型机器人在抓取任务中面临的是非结构化的场景。由于物体放置方式的不固定以及其形状的不规则,难以准确计算出机器人的抓取姿态。针对此问题,提出一种双网络架构的机器人最优抓取姿态检测算法。首先,改进了YOLO V3目标检测模型,提升了模型的检测速度与小目标物体的识别性能;其次,利用卷积神经网络设计了多目标抓取检测网络,生成图像中目标物体的抓取区域。为了计算机器人的最优抓取姿态,建立了IOU区域评估算法,筛选出目标物体的最优抓取区域。实验结果表明,改进后的YOLO V3目标检测精度达到91%,多目标抓取检测精度达到86%,机器人最优抓取姿态检测精度达到90%以上。综上所述,所提方法能够高效、精确地计算出目标物体的最优抓取区域,满足抓取任务的要求。     

基于单目视觉的工业机器人智能抓取研究

针对工业装配生产线的自动装配问题,设计了一种基于单目视觉技术的机器人自动识别与智能抓取的结构.运用最大隶属度规则建立匹配关系矩阵,构建决策矩阵达到工件的模糊自主识别目的,并采用基于二阶惯性矩的轴向确定方法.在机器人装配作业平台上进行了工件识别与抓取的实验研究,实验结果表明,该方法能够获得很好的识别效果和实时性,为工业机器人智能抓取目标提供了必要的信息.     

基于视觉引导的工业机器人定位抓取系统设计

以美国国家仪器公司的视觉开发模块NI Vision为软件支撑和以ABB-IRB120型机器人,摄像机和传送带为硬件基础,对视觉识别与检测系统进行了模块化设计,构建了一个基于单目视觉的工业机器人工件自动识别和智能抓取系统,其中ABB-IRB120型工业机器人作为操作手臂,用CCD相机、运动控制器和工控机搭建了机器人视觉控制平台,通过建立抓取系统的参数化模型给出图像坐标到机器人坐标的转换算法,利用NI Vision中提供的图像处理、模式匹配等方法,在C#环境下进行开发,实现了目标定位和机器人控制两大基本功能,最终控制机器人完成目标工件的抓取。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于图像语义分割的物体位姿估计

为提高机器人在复杂场景中对物体的辨识与定位能力,提出一种基于图像语义分割技术的物体位姿估计方法。将RGBD传感器拍摄的RGB图像放入语义分割网络中,完成对图像的分割与物体分类;将分割出来的目标物体与深度图配准,得到目标物体点云图;将点云图与模型库中的模型运用ICP算法完成对物体的位姿估计。研究结果表明,该方法分割准确率可达82.26%,完成一次位姿估计时间1.35 s。     

任意位姿物体机器视觉测量视差变形补正

提出一种对机器视觉测量视场内任意位姿目标物体视差变形导致测量误差进行物体自动跟踪和变形补正的方法。在分析视差变形基础上,提出自动跟踪检测模型,得出补正参数。通过改进的序贯相似性检测算法(SSDA)模板匹配、图像的二值化处理和腐蚀、质心坐标求取和轮廓边缘搜索等计算,计算出反映目标物体位置、姿态偏移的特征参数,从而求得目标物体自动跟踪位置、姿态偏移补正量。以任意位姿M4螺母内螺纹检测为实验对象,实验结果表明,该自动跟踪补正方法可行,具有较好的跟踪一致性,取得了较好的视差变形补正效果。     

融合五自由度位姿信息的单目内窥镜目标尺寸测量

针对低分辨率、弱纹理、缺少参照物的小场景下内窥镜图像目标测量困难问题,提出了融合5自由度电磁传感器的单目内窥镜下目标尺寸测量方法。首先,分析了基于5自由度传感器的内窥镜定位原理,得到内窥镜沿主光轴方向的位移。接着,以结石目标为例分析了图像目标关键信息的导航采集方法,即通过语义分割网络获得图像目标的轮廓信息,进而与内窥镜主光轴进行重合度判定,记录符合重合条件关键帧的图像目标长度信息与对应的位姿信息。最后,基于针孔相机成像模型,将目标成像比例关系与内窥镜沿主光轴的位移结合,建立了目标尺寸测量方法。实验结果表明：所提方法的测量误差控制在10%以内;对长度1～9 mm目标的平均测量误差为0.33 mm。能够满足单目内窥镜检查中对目标尺寸测量的稳定可靠、精度高、省时省力等需求。     

基于仿射投影的飞行器识别方法

提出一种飞机识别新方法,利用飞机的几何对称特性和仿射投影的特点,获得目标图像中的飞行器在与样本图像中所示飞行器相同姿态下的仿射投影图像。通过对投影图像和目标图像的比对判断目标图像中的飞行器与样本图像中所示飞行器是否为同一类型。实验结果表明该方法快速稳定,具有较强的实用性。     

一种数码相机几何畸变的检测方法

针对数码相机普遍存在的几何畸变现象,提出了一种基于数字图像处理的畸变检测方法.在阐述数码相机畸变产生原因和检测原理的基础上,将待测数码相机拍摄目标靶板后的图片输入计算机,利用MatLab工具对图片进行数字图像处理,由像素间距获取实际像大小,由几何光学演算获得理想像大小,从而计算出相对畸变量.实验表明,该方法过程简单,易...     

采用改进尺度不变特征变换在多变背景下实现快速目标识别

提出一种改进的尺度不变特征变换(SIFT)算法,用于实现多变背景下的快速目标识别。首先,构建目标图像尺度空间,提取SIFT特征点并将其按大小分类,目标识别时只需比较同一类型的特征点。然后,由SIFT特征点子区域方向直方图计算得到4个新角度用于代表特征点的方向信息,并且在目标识别时根据角度信息限制特征点匹配范围,从而提高SIFT算法的运算速度。最后,计算目标图像和待识别图像之间的尺度因子,在尺度因子约束条件下进行目标特征点匹配,从而有效地保证正确匹配数量,提高目标识别的鲁棒性。实验结果表明:当目标在待识别图像中发生局部遮挡、旋转、尺度变化或者弱光照等情况下,改进的SIFT算法能够完成多变背景下快速目标识别任务,平均识别速度提升了40%。     

基于3-CCD显微视觉的高精度靶位姿控制

针对高功率激光物理装置中的靶自动准直实验平台,提出了一种基于三路显微视觉的高精度靶位姿控制方法。该方法采用基于图像的显微视觉控制策略,通过对送靶机构的主动运动控制,实现了图像雅可比矩阵的在线自标定;利用增量式PI控制方法对送靶机构进行控制,实现靶的快速定位及姿态调整。本文对比了基于图像的显微视觉控制和之前研究中所提出的基于位置的显微视觉控制两种方法。其中,基于图像的控制方法靶的定位误差为0.07μm,姿态调整误差为0.02μrad;而基于位置的控制方法靶的定位误差为0.16μm,姿态调整误差为0.07μrad。实验结果表明:基于图像的显微视觉控制方法对系统中的运动学误差、视觉标定误差等因素具有较好的鲁棒性,靶定位及姿态调整的精度高且稳定性好。     

基于DRGAN和支持向量机的合成孔径雷达图像目标识别

为解决SAR图像目标识别中样本缺乏和方位角敏感问题,提出了一种基于DRGAN和SVM的SAR图像目标识别算法。首先,采用多尺度分形特征对SAR图像进行增强,经过分割得到目标二值图像,基于Hu二阶矩估计目标的方位角。然后对估计得到的目标方位角进行量化编码,结合原始图像作为输入,对设计的DRGAN模型参数进行训练与优化。由于DRGAN中的深度生成模型将目标姿态与外观表示进行解耦设计,故可利用该模型将SAR图像样本变换到同一方位角区间。基于变换后的训练样本分别提取归一化灰度特征,利用SVM训练分类器。采用MSTAR数据集在多个不同操作条件下对提出的算法进行测试,实验结果表明,在带变体的标准操作条件下,能够达到97.97%的分类精度,优于部分基于CNN模型的分类精度,在4种扩展操作条件下的分类精度分别为97.83%,91.77%,97.11%和97.04%,均优于传统方法的分类精度。在SAR图像目标方位角估计存在一定误差的情况下,训练得到的GAN模型作为SAR图像目标旋转估计器,能够使得在不进行复杂样本预处理的前提下,仍然取得较高的SAR图像目标识别精度。     

基于彩色图像的高速目标单目位姿测量方法

针对风洞分离实验对于视觉测量系统的高精度、大视场、高速的测量要求,提出一种基于单目摄像机的风洞运动目标位姿测量方法。该方法利用单目摄像机进行运动目标位姿信息测量,相比于双目测量方法具有设备简单、视场大的优点。首先提出一种基于靶标特征点相互约束关系的参数优化方法,采用复合式靶标实现摄像机的快速高精度标定;针对目标运动图像处理,提出一种基于图像差叠法和标记点位置估计的图像快速分割与目标定位方法,实现图像特征的快速准确定位;针对单目测量要求及目标运动特性,提出一种基于方向估计标记点布局方式,实现合作标记点的快速识别和提取;最后利用单目视觉原理求解运动目标的位置和姿态信息,通过实验室模拟实验完成了测量系统的精度验证,在1 m×1 m视场范围内,其位移测量精度可达到0.19 mm,俯仰和偏航角测量精度可达到0.18°。