基于XTION的机器人室内三维地图实时创建

针对室内复杂环境中移动机器人三维地图创建问题,基于RGB-D相机XTION搭建机器人地图创建系统,提出一种利用视觉里程计和贝叶斯闭环检测实时创建三维地图的方法。在机器人操作系统(ROS)框架内,首先由移动机器人携带XTION获取环境三维图像经WIFI上传上位机,然后由上位机软件使用SURF算法对RGB-D相机图像进行特征点提取与匹配,接着采用视觉里程计进行机器人位姿估计,同时利用贝叶斯闭环检测消除累积误差,最后使用g2o方法对三维点云图进行优化并创建完整的三维地图。经室内环境实验验证,机器人地图创建系统创建了完整的室内环境三维地图,所描述室内物体轮廓比较清晰并与真实场景相一致,机器人位姿估计比较精确,验证了利用视觉里程计和贝叶斯闭环检测实时创建三维地图的可行性。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

视觉机器人的零件识别与抓取方法研究

为了满足视觉机器人能够精准抓取平面零件的需求,提出一种加入深度学习算法的零件识别与定位方法。首先,利用YOLOv4-tiny目标检测算法对目标物体进行识别,并提取出感兴趣区域（Region of Interest,ROI）送入PSPnet语义分割网络中进一步提取ROI。然后,将ROI区域进行亚像素级的模板匹配,并计算目标物体的深度信息。在目标物体中心坐标求解中,以ROI区域的最大内接圆的圆心作为目标物体的中心。最后,利用D-H法对机器人进行运动学解算,并进行抓取试验。实验结果表明：该方法的深度误差率大约为0.72%,视觉机器人抓取零件成功率达到91%,具有较高的定位精度和抓取成功率,可以满足实际工业分拣搬运需求。     

结合图像内容匹配的机器人视觉导航定位与全局地图构建系统

为了解决机器人室内定位时的绑架问题和相似物体的干扰,设计了一种具有图像内容匹配功能的视觉系统,从而使机器人能有效提取关键帧序列构建室内全局地图并实现自主定位。考虑影响图像内容匹配的主要干扰是机器人视角和位移造成的图像畸变,本文通过对室内物体的图像畸变建模与特征分析,设计了一种图像内容匹配方法。该方法以图像重叠区提取、基于子块分解匹配的重叠区重建两部分为核心,可将待匹配的两帧图像畸变调整为一致后再进行内容匹配并准确解算它们的相似度。其能有效利用各个房间内不同的景物和布局信息来消除相似物体的影响,从机器人学习环境时采集的视频中提取空间间距大且重叠相连的关键帧序列建立整栋建筑内部的全局导航地图。机器人工作时,实时视觉的图像内容与地图关键帧序列匹配,提取出与每个时刻视觉图像最相似的关键帧对机器人实施定位。在由3个房间和2条走廊组成的实验区进行了实验测试,结果表明:机器人可有效消除相似物体的干扰,绑架发生时仍可通过与全局地图匹配实施准确自主定位,匹配准确率≥93%,定位精度误差(RMSE)0.5m。     

零件的双目视觉识别定位与抓取系统研究

针对生产制造过程中零件的自动定位、识别与分类等问题,构建了基于双目立体视觉的零件识别定位与抓取系统,对每个零件应用SIFT算法进行特征提取和匹配识别,应用双目视觉实现零件的三维定位,运用MATLAB和VC++混合编程技术,实现零件自动识别定位系统的软件开发.经实验验证,结合机器人控制软件,本系统能够快速准确地得到物体三维位置信息进而完成抓取任务.     

基于SFPM的遥操作工程机器人双目视觉定位

为解决遥操作工程机器人作业过程中视频图像传输的时延问题,建立了基于双目视觉的遥操作工程机器人定位系统,提出一种基于单特征点匹配(SFPM)的双目立体视觉定位方法。通过对机器人抓手和抓取物上的单特征点的特征检测和立体匹配,实现特征点的三维信息恢复,并将获取的二者空间坐标和相对距离实时反馈给操作者,为远程遥控机器人逼近并抓取目标物提供判断依据。实验表明:该方法能够对目标物实现快速准确定位,定位精度满足工程作业要求,可为遥操作工程机器人的视觉提示系统设计提供技术参考。     

基于单目视觉的工业机器人智能抓取系统设计

针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题,将单目视觉引导技术应用到工业机器人智能抓取系统设计中。利用图像进行了模式识别,对检测定位进行了研究,建立了视觉图像与工件定位抓取之间的关系,提出了基于轮廓Hu不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理,然后利用轮廓Hu不变矩模板匹配算法进行了目标工件的识别,利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取,最后通过建立SOCKET通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于VS软件开发平台和ABB机械手,对智能抓取系统进行了搭建并试验。研究结果表明:该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高,可满足工业自动化生产的需求。     

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。     

基于视觉的机械臂目标抓取研究

工业机器人通常在工作位置已知的情况下工作,一旦位置发生改变便无法继续工作,为适应这种改变,提出将视觉传感器与工业机器人相结合。建立图像与三维空间的转换关系,对相机光路进行分析建立相机模型,并对镜头畸变引起的误差进行修正;通过相机获得物体的图像数据,对图像数据进行处理获得二值图像;对物体在图像中的质心位置进行计算,分析质心位置偏差产生的原因并进行修正,完成对物体的定位。最后对物体进行了定位精度测试和抓取实验。     

家庭服务机器人手眼协调系统设计

针对目前智能家庭场景下,家居服务机器人对不同物品位姿的识别准确度与操作性差等问题,进行机器人手眼协调识别技术与物品灵巧操作规划方法的研究,提出了视觉前馈目标定位与视觉反馈位姿匹配相结合的识别与多位姿抓取方法。首先,基于SSD深度神经网络模型识别待抓取物品,并进行三维测定,以得到物品粗略坐标位置;其次,根据所得三维坐标预设深度相机与物品的相对位姿,采集物品与障碍物的深度信息,并基于Linemod算法与内置三维模型进行位姿匹配,完成对物品精确位姿的测定;最后,依据所得物品与障碍物的位置与姿态,规范臂手系统的抓取位姿,实现灵巧抓取物品。由以上原理,设计手眼协调测试实验进行不同桌面高度的物品抓取成功率与抓取误差测试,实验抓取总成功率高,且误差满足实际精度要求;该研究有利于提高家居服务机器人物品操作的灵巧性与适应性,对于家居服务机器人产业的发展具有重要意义。     

基于双目视觉的机械手识别、定位、抓取系统研究

针对多类堆叠工件分类和提取三维位姿困难的问题,对随机摆放规则物体的机器识别、三维定位和自动抓取等方面进行了研究,采用一种基于MLP分类器的视觉算法实现了工件识别。利用识别结果选取合适的透视可变形模板匹配将堆叠工件与背景分离,结合双目视觉中的立体匹配、深度计算和坐标变换完成了三维位姿估计,通过Halcon和Visual Studio联合编程的方式,进行了工件识别定位抓取实验系统的软件开发,设计了实验平台,对矩形工件和圆柱体对象进行了位姿提取和抓取实验。实验结果表明:该系统具有较好的分类效果和较高的识别定位精度,可以满足机器人对工件的在线抓取需求。     

基于Labview的机械手视觉引导系统设计

机器人的使用在工业中变得越来越广泛,如何使机器人的运行更加智能化、人性化,成为许多学者研究的热门课题。机器视觉作为一种新兴的技术,也越来越受到关注。工业机器人通过机器视觉获取的图像信息特征,能够更加准确地定位引导,抓取和放置物料。以机械手的目标识别和数据通讯为研究目标,针对物料的实时匹配识别以及上位机与机械手的数据通讯进行了详细的研究,并通过Labview编程完成整个机械手视觉定位引导的软件的编写。该视觉引导系统可以实现图像的图像标定和匹配定位,最终完成抓取和放置的动作。定位误差为±0.1mm。     

基于视觉的机器人抓取系统应用研究综述

针对生产线上工业机器人的柔性和智能水平不高的问题,将日益发展的计算机视觉技术引入原有的搬运工业机器人领域,利用机器人视觉技术获取工件及其周围环境的信息,识别出了所要操作的目标工件,并能通过做出决策来引导工业机器人完成对工件的抓取和放置等操作。针对生产线上的工业机器人抓取系统中摄像机的标定、目标工件的识别匹配、机器人对目标工件的定位抓取这3个主要步骤在现阶段的研究成果进行了综述,对计算机视觉定位中涉及到的相关图像预处理方法进行了分析与归纳,并对该技术的实际应用研究和未来发展进行了讨论。研究结果表明,视觉抓取系统技术成熟,能够满足工业应用中的实时性要求,各部分算法的研究和改进对工业的发展和相关研究具有一定的参考价值。     

基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

MTi姿态测量系统在机器手抓取中的姿态测量及分析

为了实现对仿人机器人手臂的三维运动姿态进行测量分析,利用MTi姿态测量系统对机器手抓取物体运动姿态的测量,通过对MTi输出的姿态数据进行分析,观察抓取过程中不同的运动姿态,机器手的加速度、角加速度以及在磁场坐标中的位置变化,实现对仿人机器人手臂的抓取物体的三维运动姿态进行测量分析,获取准确的运动姿态方位角。为机器手抓取物体的轨迹规划和提高抓取成功率提供试验基础。     

基于RGB-D图像的物体识别与位置估计方法

在RGB-D图像包含物体颜色信息与深度信息的基础上,提出了一种物体识别与位置估计方法。采用二维加速稳健特征算法快速从场景图像中识别出模型图像所处的目标区域,进而从场景点云中分割出待搜索的目标点云,减小了三维物体识别的计算量。采用三维霍夫变换从目标点云中识别出模型点云所处的空间位置,从而精确估计出物体位置。在构建日常生活场景常见物品RGB-D图像库的基础上,进行物体识别与位置估计试验,结果表明所提出的方法适应性和稳定性好,具有识别速度快、识别精度与准确率高等优点。     

三维点云特征的工件识别与位姿估计

针对工业机器人在抓取工件过程中需要识别和定位工件的问题,提出了一种基于改进法矢计算的点云局部描述符SHOT的三维物体识别与位姿估计的方法.首先,对三维扫描仪获取工件表面点云进行预处理和分割,得到用于匹配的工件点云模板数据集;其次,采用均匀采样算法提取特征点集,通过SHOT特征描述符对场景点云与模板点云提取的特征点进行点...     

基于双目视觉的工件抓取系统研究

现代化工业流水线上,双目视觉技术利用视差原理能够恢复目标物体空间信息,将机械手与其相结合,可以解决传统生产线对机器人通过离线示教方式进行抓取的弊端,对于提高生产效率和自动化程度有着重要意义。该系统利用双目视觉技术,使用改进的SURF算法对工件图像进行特征提取,同时以距离测度作为相似性度量技术进行左右图像特征点匹配,实现对工件中心识别;并将识别结果转化为机械臂控制信息,完成工件抓取。     

一种用于机器人抓取的单目实时三维重建系统

为支持家庭用服务机器人抓取任务,设计了一种针对家庭环境中常见物体的实时三维重建系统.系统假设相机在围绕物体运动的同时采集图像.首先借助从运动恢复结构算法求解相机在采集图像序列时的运动轨迹.根据运动轨迹中的位置信息,基于几何约束为相机运动轨迹中的每一帧选择最合适的配对图像.提出基于虚拟双目的 立体匹配方法恢复每组配对中两帧图像共视区域的三维结构.利用L-R检查和抛物线拟合等后处理方法剔除误差较大的测点.最后用不同的图像配对计算出的三维结构生成最终的物体模型.实验结果表明生成的物体模型中位数相对误差在1.0％左右,满足机器人抓取任务中对物体模型的精度要求.同时系统平均运行速度超过25帧/秒,满足家庭用物体快速建模的要求.