基于信息融合的移动机器人目标识别与定位

针对单目摄像头工作的双足机器人的视觉定位问题,设计了一种视觉传感器与超声波传感器相结合的信息融合方法,进行目标的识别和定位。对拍摄的图像进行HSV颜色空间的阈值分割得到二值图像,并对其进行形态学滤波处理和Hu轮廓不变矩匹配,以此识别到目标和其重心点图像坐标;建立单目定位模型,用机器人自身的超声波传感器得到与目标物之间的距离,采用Zhang标定法得到摄像机参数,把这些已知数据带入坐标转换,得到目标物在世界坐标系下的坐标,实现定位。借助NAO机器人的平台,将基于信息融合的定位方法和一般单帧图像定位方法进行对比实验。实验结果表明上述方法的误差相对较小,且能得到目标物的三维信息,验证了该定位方法的实际可行性。     

基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

基于OpenCV的物料分拣搬运机器人的设计

针对当今制造业中物料分拣搬运任务的自动化问题,设计出一套新型物料分拣机器人,结合2019年广东省工科大学生实验综合技能竞赛的机器人设计要求,提出了一种基于OpenCV的物料分拣搬运机器人的设计。以结构、控制、识别及通讯四方面对机器人的设计进行介绍。在基于STM32芯片的主控制系统的控制下,以树莓派4B为核心的图像识别系统运行OpenCV对摄像头采集的图像数据进行处理,通过CAMshift跟踪算法对目标进行跟踪,得到目标在图像中的位置,机器人根据该位置对物料进行抓取并搬运至物料投放点,在机器人运动同时通过Wi-Fi和Flask框架可在浏览器网页上对机器人的识别情况进行监视。实验及竞赛结果充分证明机器人在物料分拣搬运任务的完成上具有极大的高效性、准确性及稳定性,对制造业自动化的技术推进具有极大的前景。     

基于机器视觉的锯条自动化装盒系统设计

以VS2010为软件平台,以Staubli TP80机器人,康耐视摄像机和传送带为硬件基础,对锯条进行识别,定位和动态抓取,搭建了一个基于机器视觉的工业机器人智能抓取系统,其中Staubli-TP80机器人为操作手臂,利用康耐视摄像机和工控机搭建视觉检测平台,通过抓取系统的参数化建模实现图像坐标到机器人坐标的转换,利用OpenCV函数库实现锯条的图像处理和模式匹配,最后控制机器人对动态目标进行抓取。     

煤矿带式输送机分拣机器人异物识别与定位系统设计

机器视觉已在煤矿带式输送机分拣机器人目标检测与识别方面具有一定的理论基础,但目前煤矿带式输送机分拣机器人目标识别主要针对煤矸石识别,对造成输送带穿透、撕裂等的异物目标识别的研究较少,且在目标异物精确定位方面的研究也较少。针对上述问题,设计了一种基于机器视觉的煤矿带式输送机分拣机器人异物识别与定位系统,可对输送带上存在的不同类型和不同形状的异物进行识别与定位。采用双目视觉实时获取输送带上异物图像信息,并对图像进行预处理,基于Canny算子进行图像信息增强,通过灰度拉伸方法改进图像边缘信息,突出煤矿带式输送机上异物的边缘特征;利用形态学方法提取异物形状特征,建立异物图像特征样本库,通过图像特征匹配的方式解算出异物存在区域,实现异物类型的检测、分类与识别;在异物类型成功识别的基础上,以目标异物边缘特征值为基础,建立目标异物的感兴趣区域(ROI),构建相机、输送带与目标异物坐标转换关系,利用多目标质心快速计算方法求取目标异物质心坐标,实现对目标异物的定位。系统样机实验结果表明：煤矿带式输送机分拣机器人异物识别与定位系统异物识别率不受尺寸、材质和颜色等因素影响,能够实现输送带目标异物图像的采集、...     

基于深度学习的工业分拣机器人快速视觉识别与定位算法

针对工业分拣机器人识别复杂工件慢、精确度低以及定位不准等问题,提出一种基于深度学习的快速识别定位算法.通过工业高精度相机获取目标图像信息,经过图像灰度化、图像滤波、Otsu二值化处理,再经边界像素检测算法定位并分割目标图像.运用已训练的深度卷积神经网络(CNN)对目标进行识别,得到目标所在的位置坐标以及所属类别,实现工业机器人分拣.实验测试中以纹路复杂的象棋为例进行定位识别,结果表明定位算法误差小于0.8 mm,最快识别速度达0.049秒/个,在实验环境中识别精度能保持在98%以上,表明算法具备良好的准确性和稳定性.     

基于机器视觉的机器人物料分拣系统的设计

随着生产技术发展和产业转型升级,机器人代替人工劳动是大势所趋,而视觉是机器人的“眼睛”。分拣是工业生产过程的关键环节,但传统分拣工作多以人工分拣为主,这降低了生产效率,且难以保证产品质量。运用基于机器视觉的机器人物料分拣系统,能对不同颜色的物料进行准确识别和精准定位。本文阐述了机器视觉应用的意义、基于机器视觉的机器人物料分拣系统组成,设计了基于机器视觉的机器人物料分拣系统软件,分析了系统的应用优势。通过实践,实现了基于机器视觉的机器人物料分拣系统功能,提高分拣安全性、可靠性和工作效率,从而提高工业生产的智能化,适应产业发展需要。     

缺陷药片智能识别与分拣机器人研究

针对药片表面质量检测主要依靠人工肉眼判断、检测效率低和漏检等问题,开展了缺陷药片智能识别定位与分拣机器人技术研究,进行了机器人系统总体设计和结构设计,采用Halcon机器视觉开发平台编写了图像识别与处理软件对缺陷药片进行识别和定位,对机器人进行了正运动学和逆运动学分析,编写了药片位置信息解算软件,通过指令驱动机器人各关节运动对缺陷药片进行准确抓取,实现了缺陷药片的智能化分拣。通过所设计的缩比机器人系统对药片进行分拣,验证了缺陷药片智能识别定位与分拣的功能,该机器人系统具有成本低、工作范围大、智能识别定位准确、通用性好的优势。     

基于嵌入式系统的机器人视觉定位系统的研究

采用嵌入式EPXA10为核心,以污水车自动泄放机器人为应用对象,本文介绍一种双目视觉定位系统。提出一种利用模糊算法进行目标图像的边缘检测,并结合双目视觉定位的算法实现机器视觉定位的方法。针对污水泄放机器人的工作特点,采用主动寻找特殊图的方法,达到快速准确对目标跟踪定位的目的,完成对污水车泄放口的三维定位,机器人根据定位坐标可以准确地接通污水泄放管,快速把污水泄放到池中。     

基于单目视觉的机器人目标定位测距方法研究

为实现具有单目视觉的双足机器人对目标物体的定位测距,根据针孔成像和几何坐标变换原理,提出一种基于单目视觉系统自身固定参数计算目标物体深度信息的几何测距方法;该方法利用双足机器人自带的单目视觉系统的固定参数,通过几何映射关系求解目标物体在三维空间内的坐标位置及相对于机器人的距离,克服了由于外界环境变化以及对参照物识别时所产生的误差影响测距定位精度的问题,从而实现基于单目视觉的目标物体精确跟踪定位;并对所提出方法进行了实验,得到比理论结果误差较小的实验数据,证明了方法的可行性。     

自平衡跟随机器人的目标识别及预测重拾策略

为使用更简单有效的方式实现双轮自平衡机器人的自适应跟随控制，采用单目视觉目标识别的Apriltag算法，可被动式地反解三维坐标中相机的相对位置，以此对目标进行定位。在目标识别的跟踪与选择中利用判别法、门限法以及滑窗法进行限定，同时使用多项式曲线拟合方法对目标移动的下一状态进行跟踪预测，判断出运动趋势，使在丢失目标的情况下，根据设计的寻找方案，补偿跟随重拾目标。实验表明，本文方法在目标识别与预测及丢失后重拾目标方面有显著效果。     

分拣扫描设备不规则物料分类自动控制方法研究

为了提高分拣扫描设备不规则物料的分类能力,提出基于粒子群进化寻优的分拣扫描设备不规则物料分类自动控制方法。构建不规则物料分类自动控制的图像扫描模型,采用网格分类方法对扫描的不规则物料图像大数据进行自适应分类,在邻域内采用超像素特征分解方法进行不规则物料分拣扫描图像区域融合滤波处理,进行不规则物料分拣扫描图像的颜色分量合并和模板匹配,挖掘不规则物料扫描图像的边缘轮廓特征量,根据不规则物料的边缘轮廓特征扫描结果进行大数据信息融合和分类,采用粒子群寻优算法,根据不规则物料的边缘轮廓特征量,更新粒子群中每个粒子的空间位置,进行不规则物料分拣过程中的外观匹配,实现对不规则物料分拣扫描分类的自动控制。仿真结果表明,采用该方法进行分拣扫描设备不规则物料分类自动控制的收敛性较好,分类结果准确可靠,提高了不规则物料分拣的效率。     

单目视觉智能车的伺服规律研究

通过分析单目视觉智能车的运动特征,建立其空间约束模型以及与运动控制密切相关的图像坐标系和运动平面坐标系,在此基础上根据摄像头相对位姿的不同推导出2种不同的坐标映射关系,讨论将其应用在单目标跟踪和连续目标跟踪时的车体运动控制规律,形成一个有较强针对性和实用价值的手眼机器人视觉伺服框架。实验验证了单目视觉智能车伺服规律的有效性。     

Research on Application of Location Technology in 3D Virtual Environment Modeling System for Substation Switch Indicator

Substation inspection work plays a very important role in ensuring the normal production and the safe operation of a transformer substation. Use of a substation inspection robot can effectively solve the omission problems of a manual inspection. It can further improve the unmanned and automation of substation and improve security of station. A substation inspection system requires the establishment of a spatial position relation between the robot and the inspection object in the monitoring station. Key technology is the spatial location of the object being detected in the substation. The position of inspection object is unknown. This paper gives technical route of monocular vision positioning system based on switch indicator sign cooperative target. The knife switch indicator is one of the most important objects in the substation inspection. Usually the switch indicator lies in the middle or top of the substation equipment and conventional method can’t measure. This paper presents a substation label measurement method based on monocular vision. In this method, the label frame of knife switch indicator is as a cooperative target. The 3D coordinates and attitude of the label frame can be calculated in a camera coordinates system. At the same time, this paper introduces an extraction process of knife brake indicator label with multi-features under complex background. At last, we do simulation experiment for positioning technology of 3D virtual environment modeling system for substation switch indicator. Simulation results show that the method introduced in this paper can realize positioning of substation switch indicator label.     

纯方位角目标跟踪及移动平台可观性控制方法

为了解决未知环境下的单目视觉移动机器人目标跟踪问题,提出了一种将目标状态估计与机器人可观性控制相结合的机器人同时定位、地图构建与目标跟踪方法。在状态估计方面,以机器人单目视觉同时定位与地图构建为基础,设计了扩展式卡尔曼滤波框架下的目标跟踪算法;在机器人可观性控制方面,设计了基于目标协方差阵更新最大化的优化控制方法。该方法能够实现机器人在单目视觉条件下对自身状态、环境状态、目标状态的同步估计以及目标跟随。仿真和原型样机实验验证了目标状态估计和机器人控制之间的耦合关系,证明了方法的准确性和有效性,结果表明:机器人将产生螺旋状机动运动轨迹,同时,目标跟踪和机器人定位精度与机器人机动能力成正比例关系。     

基于强化学习的煤矸石分拣机械臂智能控制算法研究

针对传统煤矸石分拣机械臂控制算法如抓取函数法、基于费拉里法的动态目标抓取算法等依赖于精确的环境模型、且控制过程缺乏自适应性,传统深度确定性策略梯度(DDPG)等智能控制算法存在输出动作过大及稀疏奖励容易被淹没等问题,对传统DDPG算法中的神经网络结构和奖励函数进行了改进,提出了一种适合处理六自由度煤矸石分拣机械臂的基于强化学习的改进DDPG算法。煤矸石进入机械臂工作空间后,改进DDPG算法可根据相应传感器返回的煤矸石位置及机械臂状态进行决策,并向相应运动控制器输出一组关节角状态控制量,根据煤矸石位置及关节角状态控制量控制机械臂运动,使机械臂运动到煤矸石附近,实现煤矸石分拣。仿真实验结果表明:改进DDPG算法相较于传统DDPG算法具有无模型通用性强及在与环境交互中可自适应学习抓取姿态的优势,可率先收敛于探索过程中所遇的最大奖励值,利用改进DDPG算法控制的机械臂所学策略泛化性更好、输出的关节角状态控制量更小、煤矸石分拣效率更高。     

基于SURF算法的单目转双目视觉定位

针对三维空间中目标物体定位的问题,提出了一种结构简单、操作方便、性价比较高的单摄像机实现双目立体视觉定位的方法.在对目标物体的识别和定位中,利用各方面性能和指标都比较好的SURF算法对所获取的图像进行特征点的提取和匹配.实验结果表明,文中使用的基于SURF算法的单目转双目视觉定位的方法,不论是在定位的精度,还是在时间速度方面都表现出了很好的可行性与实用性,具有一定的现实利用价值.     

基于人机交互的机械臂位姿自动监视系统设计

为了提高机械臂位姿自动监视和控制能力,提出一种基于人机交互的机械臂位姿自动监视系统设计方法,系统设计包括机械臂的位姿自动控制算法设计和系统硬件设计两部分,采用粒子滤波位姿跟踪方法进行机械臂的动态定位位姿参数信息采集和融合处理,在动态和静态环境下,结合加速全局定位方法进行机械臂位姿自动监视的人机交互设计,构建机械臂人机交互的动态定位控制模型,采用自适应位姿跟踪方法实现对机械臂的位姿自动监视,通过捕捉未知目标的质量特性参数,实现机械臂的位姿自动监视和人机交互设计。通过DSP和嵌入式ARM实现对机械臂位姿自动监视系统的硬件设计。测试结果表明,采用该方法进行机械臂位姿自动监视的自动化水平较高,智能性较好,提高了机械臂的位姿自动监视和控制能力。     

基于OpenCV的遥操作工程机器人双目视觉定位技术

针对当前遥操作工程机器人双目视觉定位技术匹配精准度低,导致定位误差过大的问题,提出种基于OpenCV改进的遥操作工程机器人双目视觉定位技术。在分析HSV色彩空间后,建立适合工程机器人的颜色特征识别空间体系,通过分析图像特征及运动坐标确定圆形光点,利用提供的靶点目标,创建模板后通过双目视觉获取具有靶点特征的其他图像,将图像代入OpenCV技术函数库中。在OpenCV技术函数库中通过光流法对图像进行函数匹配,应用将目标的背景模型与图像的处理方式分割开来,提取背景与干扰因素的全部信息,利用二值化阈值处理运动目标的形态,实现无干扰图像显示,确保定位结果的准确性。实验结果表明,基于OpenCV的遥操作工程机器人双目视觉定位技术能够有效提高匹配精度,降低定位误差,具有一定的实际应用价值。