基于深度学习的单目视觉水下机器人目标跟踪方法研究

介绍了一种基于深度学习的单目视觉水下机器人目标跟踪新方法,采用该方法能够使自主水下机器人(AUV)在水下复杂环境中实现图像增强处理与目标识别跟踪,对于视频图像中的每个图像,使用预先经过训练的深度卷积神经网络计算图像传输图,图像传输图提供了图像深度信息的相关估计,该方法能够识别水下目标区域,并标明水下目标运动及跟踪方向。实验表明:该方法能够更精确、更稳定地获取水下环境中的定位数据。     

基于二维码的单目视觉测距移动机器人定位研究

为了提高移动机器人在未知环境下定位精度,使用里程计结合高清摄像机单目视觉测距对移动机器人定位技术进行了研究,针对编码器短距离定位精确,长距离定位存在积累误差的问题,提出非接触式的基于二维码单目视觉测距的方法实现移动机器人的定位。在二维码世界坐标已知的情况下,移动机器人向前运动,高清摄像机通过识别二维码,得知二维码的世界坐标,由此推导出机器人相对于二维码的世界坐标,得出的机器人坐标是基于二维码的绝对坐标值,故消除了编码器存在的累计误差,从而使移动机器人定位更加准确。与传统的里程计定位方式相比,该定位算法定位成功率提升30%~50%。     

基于视觉的工业机器人装配演示示教研究

针对工业机器人编程效率低下、智能化程度不高和人机交互性能弱等问题，提出一种基于视觉的工业机器人装配演示示教系统，该系统包括目标检测与中心点定位模块、装配动作分类识别模块和机器人动作执行模块。在目标检测与中心点定位模块中,提出一种目标物体中心点定位和机器人抓取方法，使用实例分割算法识别物体类别，通过掩码均值化处理和坐标转换计算物体3D姿态信息；在装配动作分类识别模块中，建立基于深度学习网络的动作分类识别模型，该模型的输入为装配动作视频帧，输出为动作分类标签；最后，机器人动作执行模块根据物体类别、物体3D姿态和动作分类标签等信息规划机器人装配动作，控制机器人执行装配任务。以轴孔装配为例，验证了上述方法的有效性，实现了基于视觉演示的机器人装配模仿编程，对机器人演示示教研究具有一定的参考价值。     

机器人视觉技术在活塞在线识别与分选中的应用研究

提出一种机器人手-眼视觉分步动态目标定位方法,实验中保持摄像机图像平面与工作台平面平行并对摄像机的拍摄高度进行设定,最终将目标定位在图像的中心位置。在目标类型识别过程中,采用BP神经网络技术识别目标表面的字符,实现对目标类别的判定。这两种方法相结合,用于活塞的在线识别与分选,由活塞表面的字符信息及活塞定位信息引导末端执行器完成对活塞的准确分选。     

机器人智能抓取系统视觉模块的研究与开发

以ABB机器人、快换手爪、双目相机为硬件基础,搭建了基于双目立体视觉的工业机器人智能抓取系统,旨在实现随机放置物体的识别定位和自动抓取。基于视觉模块,研究了图像处理、立体匹配和深度计算以及坐标转换,以C++为开发平台,结合Open CV图像开发库和Triclops库,开发了视觉识别与定位算法,实现对圆柱体和长方体薄板对象的分类和位姿识别。最后,通过实验验证,表明该视觉算法有较高的识别定位精度,满足抓取系统的要求。     

基于单目视觉的工业机器人拆垛系统设计与实验

基于单目视觉提出了工业机器人拆垛系统构想。为实现工业机器人视觉拆垛系统中机器人精确运动控制与工件位姿识别,运用D-H位移矩阵法建立了机器人运动学模型,得到机器人末端相对机器人坐标系的位姿信息。基于形状模板匹配法提出目标图像识别算法,得到各个目标图像在相机坐标系下的位姿信息;将三维视觉模型与机器人运动学模型进行信息融合,建立机器人视觉拆垛控制系统数学模型。基于CCD工业相机、4-DOF工业机器人搭建视觉定位抓取实验系统。通过对空间目标进行抓取的实验,验证基于单目视觉的工业机器人拆垛系统的正确性、精确性、鲁棒性。     

摄像机静标定技术在机器人视觉目标定位中的应用研究

利用机器人视觉技术对目标进行定位与分检中,视觉系统对目标的精确定位是其关键技术之一。利用基于线段斜率的摄像机静标定技术对摄像机镜头进行了标定,将标定的镜头径向畸变系数应用于目标位置坐标计算中。经标定后的目标坐标位置数据引导机器人末端执行器完成对目标的定位,实验结果表明了该方法的有效性。     

双目视觉引导机器人定位抓取技术的研究

目前大部分工业装配生产线中机器人抓取待装件都是预先将固定类型的工件进行机械定位。为了提高机器人柔性抓取能力,实现了双目视觉引导机器人的抓取系统。文章通过定位工装板来间接定位工件的方法来完成双目视觉引导机器人抓取,首先通过双目视觉系统拍摄的图像识别工装板上6个定位孔,计算孔中心在相机坐标系下的位置,利用这6个定位孔中心空间位置用最小二乘法拟合出最优的工装板平面,由于工件相对于工装板的位置固定,可求得工件相对于相机坐标系的位置,进而通过标定参数转化为在机器人基坐标系下位置和姿态,供机器人抓取工件。经过多次工件抓取实验,分析数据得出,系统距离定位误差小于0.5mm,满足工业生产要求且适应于多种类型工件的抓取,具有通用性。     

基于图像的机器人视觉伺服系统仿真

以四自由度GRB-400工业机器人为研究对象，采用CORECO图像采集系统，构建了基于图像的视觉伺服控制系统。建立了机器人视觉伺服系统的数学模型，推导了GRB-400机器人系统图像雅克比矩阵。应用Matlab和Simulink，对GRB-400机器人图像视觉伺服系统进行仿真实验。结果表明，本文构建的机器人视觉伺服系统对静态目标定位、对直线运动目标及曲线运动目标进行跟踪，可以达到较快的响应和较高的精度。     

基于SURF+RANSAC的双目立体视觉目标识别与抓取

针对单目视觉处理简单、无法获取获取三维维空间数据的问题,提出一种双目立体视觉目标识别和抓取方法。结合SUR算法和RANSAC算法对图像进行匹配,以滤除图像中的"外点";利用仿射变换获取关键点信息及形心坐标,根据立体重建原理实现目标测距与定位,最终完成抓取任务。实验结果表明:采用距离辅助坐标定位法可以准确识别目标物体并获得距离信息,实现准确定位。     

基于CAD三维匹配的机器人定位与抓取

基于CAD三维模型匹配的方法测量了单相机下目标工件的机器人定位精度。该方法是一种利用几何形状检索CAD三维数据模型,对图像信息中相关特征进行交互,能够快速和高效地从背景中分离出目标物体,对轮廓明显且具有反光特性的目标具有高效的识别能力。通过迭代算法将三维模型与图像中目标物体的边缘进行不断拟合,以三维模型的位移及旋转量估算出目标当前的姿态。通过机器人"手眼"标定确定目标与机器人之间位置及方向,实现对目标定位抓取精度测量。将目标绕xy平面旋转0°、45°、90°后,3个位姿下平均定位误差分别为3.012、2.856、4.983 mm。实验结果表明:用这种方法定位目标,定位误差会随着摆放角度增大而增大。     

面向柔性导线涂覆作业的机器人视觉检测与定位方法

架空裸导线没有绝缘外皮的保护，容易发生安全事故，利用涂覆机器人开展裸导线绝缘化作业能够减少对人身安全的威胁。针对柔索环境下涂覆机器人运动导致柔索发生变形致使目标发生变化，提出一种面向柔性导线涂覆作业的机器人视觉检测与定位方法，利用机械臂末端相机采集涂覆机器人的标记位置图像，实现对涂覆柔性导线作业的检测与定位。针对柔索环境下目标会随柔索的变形而发生变化的现象，基于相机标定开展图像雅可比矩阵与观察臂雅可比矩阵计算涂覆机器人的空间位置坐标，对动态变化的目标实时定位与跟踪。实验结果表明：该方法可有效对目标进行定位与跟踪，具备外部环境适应能力。     

基于OpenCV的焊缝图像识别算法研究

针对自动焊机器人的视觉引导问题,提出了一种基于OpenCV计算机视觉库的焊缝识别算法。焊缝边缘是焊接图像识别中的重要特征,文中使用分水岭算法进行前景检测与图像分割,Canny算法进行边缘提取,Hough直线检测算法提取焊缝边缘特征,实现对焊缝的图像识别,并加入自动阈值提高算法适用性。识别程序通过Python语言实现,结果表明,该算法计算效率高、适用性强,可以满足机器视觉引导系统中的要求。     

面向装配机器人的作业目标视觉识别与定位方法

针对装配机器人在作业过程中所面临的工件形状多样性等因素对工件的识别、定位造成的扰动,提出利用BRIEF描述子对SURF算法提取的作业目标特征点进行描述,采用最近邻汉明距离融合PROSAC算法进行两步骤的匹配,去除无效匹配点对,提高识别精度;通过模板图像与作业目标图像的转换关系建立4参数的仿射变换模型,求解装配作业目标的形心坐标,结合装配机器人视觉系统的标定参数得到目标形心的世界坐标。实验结果表明该方法在不考虑几何畸变的情况下,实现了对装配作业目标的快速识别与定位,定位误差不超过1. 0mm。     

基于视觉引导的FANUC机器人抓取系统研究

针对目前工业机器人上料时大都采用预先示教的方式,一旦工作条件发生变化就会导致抓取失败的问题,研究了一种基于视觉引导FANUC机器人的抓取系统,提高了机器人柔性化抓取能力。系统采用单目视觉定位方法:将图像中的特征点通过相机标定参数、Eye-in-Hand手眼标定参数转换为机器人基坐标系下的位姿,利用FANUC Robot Interface实现上位机与机器人通信并把定位结果发送到机器人位置寄存器,引导机器人运动到相应位置并通过末端执行器完成对空心圆柱体工件的抓取。经过多次抓取实验数据分析,该系统定位误差在0.5mm以内,具有很好的实际应用价值。     

基于视觉的工业机器人自动焊接引导研究

通过构建视觉空间坐标进行视觉图像坐标系的转换,实现了视觉像素点在图像坐标系的重构,并对图像目标点在不同视觉空间中进行标定。研究了使图像增强的方法,并在此基础上对视觉图像进行了焊缝边缘检测、特征提取与匹配,实现了焊件图像有效数据的输出。对有效视觉数据进行提取,并驱动工业机器人及外围部件引导焊枪沿目标路径或目标焊件运动,从而实现了焊接视觉引导的自动化。     

一种移动码垛机器人视觉控制与定位

对移动码垛机器人视觉控制与定位的需求进行了研究,设计了一种摄像头支架,提出了基于DSP控制3轴联动的方案。利用TMS320F28335DSP增强型控制器的局域网通信接口e CAN模块实现上位机与DSP实时通信;选用了3个增强型脉宽调制e PWM模块,产生3路周期和频率可调的PWM波用来驱动3个电机。通过该视觉系统对目标物识别与三维定位,数据分析显示定位结果均在目标物的有效区域,表明摄像头位姿控制准确,证明了开发的摄像头控制系统可满足移动码垛机器人视觉系统的要求。     

RBF神经网络在机器人视觉伺服控制中的应用

传统的机器人视觉伺服控制是由系统雅可比矩阵的计算得到图像空间与机器人空间的非线性关系,这种方法不仅计算量大、系统结构复杂,而且对系统模型误差敏感。针对此问题,在分析视觉伺服数学模型的基础上,设计了RBF径向基函数神经网络来实现机器人视觉伺服系统手眼协调功能,从而简化控制算法。通过仿真实验证明所设计的径向基函数神经网络控制系统具有良好的目标定位效果和泛化能力,并且极大地缩短了视觉伺服所需时间,很好地保证了控制系统的实时性。     

一种基于DSP服务机器人的单目立体视觉跟踪算法

介绍了一种基于DSP服务机器人的单目立体视觉跟踪算法。该算法通过中值滤波、帧差分,运用圆盘型腐蚀获得运动的图像,并通过运动目标在图像中的质心坐标来计算运动轨迹。避免了使用复杂算法来计算移动目标的位置。该算法实现简单且运算量较低,适合于运算能力不强的处理器。本文通过MATLAB仿真验证了这种算法。     

图像处理耦合PLC的视觉引导与测量系统应用研究

电视显示器组装工作量大,且精度要求高,如果依靠手工或者单纯机器来完成组装作业,往往不能保证产品质量。对此,文章提出了基于图像处理与PLC的视觉引导与测量系统来完成零部件panel的PBA压合作业。首先,对标定板进行目标识别,得出标准点的坐标和物理距离换算比例;随后,对panel目标进行识别,计算出偏移,并基于ModBus通信协议实现PC端软件与PLC交互,完成PLC补正,即视觉引导。在完成压合作业后,进行整体视觉检测,完成目标距离测量。实验测试结果表明:根据作业速度和准确度,与当前技术相比,文中机制具有更好的引导和测量效果,高效的完成压合作业,提高了效率和准确度。