基于语义ORB-SLAM2算法的移动机器人自主导航方法研究

提出了一种基于单目视觉和激光雷达的同步定位与制图融合语义信息的新方法,该方法利用从单目视觉中提取的特征和在激光雷达深度地图中的对应关系来获得相对于关键帧的姿态数据,同时对图像进行语义分割;通过从深度卷积神经网络CNN获得的语义特征来细化语义信息,地图中的每个点都与一个语义特征相关联,以执行语义引导的本地和全局姿态优化。提出的语义标记和SLAM的耦合具有更好的鲁棒性和准确性。在室内环境中对装备单目视觉和激光雷达的移动机器人进行验证实验,实验结果表明:该方法可以提高机器人导航精度,实现机器人智能自主导航,同时也可以提供语义信息的图像数据。     

基于语义分析的设计实体智能搜索

本文提出了在设计联盟组织过程中实现互联网上设计实体智能搜索的方法。根据对互联网上设计实体搜索问题的分析建立了设计实体智能搜索策略；定义了提取设计实体查询向量和描述向量的语义分析规则；提出了基于语义分析的设计实体智能搜索算法；最后编程实现了各项功能。     

动态场景下移动机器人视觉SLAM

为实现动态场景下移动机器人自主定位和建图,解决传统视觉里程计方法跟踪效果差及累积误差问题,提升闭环检测的准确性和鲁棒性,提出融合深度学习的同时定位与地图构建方法。采用四叉树算法均匀化特征分布,解决动态场景特征聚集问题;通过优化的目标检测网络识别场景动态语义信息,剔除动态物体对位姿估计的干扰;充分提取场景空间结构信息,结合点特征和线特征实现位姿跟踪及回环检测,构建全局一致的环境地图。TUM数据集和真实场景实验结果表明：改进方法提升了移动机器人定位和建图的准确性和鲁棒性。     

语义地图中语义物体免疫遮挡定位算法

针对语义物体被遮挡而导致语义定位失效或存在多区域多位置定位位姿的问题，提出了一种在语义地图中免疫语义物体被遮挡的定位算法。首先，利用已经建立的二维语义地图生成语义链，当有障碍物遮挡语义物体时，对当前帧与构建语义地图时保存的关键帧进行基于词袋模型相似度匹配和关键帧语义链检验，确定正确相似帧；其次，进行帧间语义向量链加权求差值，根据差值确定被遮挡的语义物体类别；最后，根据当前帧包含的语义物体种类查语义地图的语义链来确定机器人所处的区域，并依据该区域的高置信度语义信息完成语义定位。通过在搭建的移动机器人平台进行定位实验验证，能快速和精确的进行重定位，相对AMCL算法迭代收敛速度提高了60%,证明本文所提算法的真实有效性。     

基于视觉的工业机器人装配演示示教研究

针对工业机器人编程效率低下、智能化程度不高和人机交互性能弱等问题，提出一种基于视觉的工业机器人装配演示示教系统，该系统包括目标检测与中心点定位模块、装配动作分类识别模块和机器人动作执行模块。在目标检测与中心点定位模块中,提出一种目标物体中心点定位和机器人抓取方法，使用实例分割算法识别物体类别，通过掩码均值化处理和坐标转换计算物体3D姿态信息；在装配动作分类识别模块中，建立基于深度学习网络的动作分类识别模型，该模型的输入为装配动作视频帧，输出为动作分类标签；最后，机器人动作执行模块根据物体类别、物体3D姿态和动作分类标签等信息规划机器人装配动作，控制机器人执行装配任务。以轴孔装配为例，验证了上述方法的有效性，实现了基于视觉演示的机器人装配模仿编程，对机器人演示示教研究具有一定的参考价值。     

基于YOLOv7-mask和ORB-SLAM2的语义八叉树地图构建

针对传统视觉SLAM构建的地图不具有语义信息的问题，提出一种基于深度学习算法的八叉树地图构建方法。该方法采用YOLOv7-mask对图像进行实例分割，得到像素所属类别信息，生成语义灰度图，并结合ORB-SLAM2,将新关键帧投影生成语义点云地图，最终将语义点云地图转换成语义八叉树地图进行存储。通过搭建实验平台，构建了不同状况下实验室场景的语义八叉树地图，验证了所提方法的可行性。     

基于ORB特征和里程计信息的机器人视觉导航

提出一种基于ORB(oriented FAST and rotated BRIEF)特征和里程计信息的移动机器人视觉导航方法。该方法提取输入场景的ORB特征作为显著路标,同时提取机器人里程计信息计算行为模式,将显著路标和行为模式作为状态节点进行机器人环境拓扑地图的构建。基于特征匹配技术进行机器人的状态定位,并选择状态中对应的行为模式实现机器人的路径跟踪导航,且在导航过程中有防止偏移既定路线的调整机制。实验表明:文中的方法能够较好的完成机器人的导航任务,并且对环境中的动态信息具有一定的鲁棒性。     

基于单目视觉的工业机器人拆垛系统设计与实验

基于单目视觉提出了工业机器人拆垛系统构想。为实现工业机器人视觉拆垛系统中机器人精确运动控制与工件位姿识别,运用D-H位移矩阵法建立了机器人运动学模型,得到机器人末端相对机器人坐标系的位姿信息。基于形状模板匹配法提出目标图像识别算法,得到各个目标图像在相机坐标系下的位姿信息;将三维视觉模型与机器人运动学模型进行信息融合,建立机器人视觉拆垛控制系统数学模型。基于CCD工业相机、4-DOF工业机器人搭建视觉定位抓取实验系统。通过对空间目标进行抓取的实验,验证基于单目视觉的工业机器人拆垛系统的正确性、精确性、鲁棒性。     

人类行为模式启发的人机物体传递

针对目前人到机器人的物体传递过程中,机器人难以像人类一样理解给予者的意图并配合完成传递任务的问题,提出了一种人类行为模式启发的人机物体传递方法.通过观察人类物体传递过程总结了人类的物体传递行为模式,使用骨骼信息与RGB-D信息融合构建传递意图判别模型;控制机器人在识别到传递意图后迅速配合完成传递任务;通过相关实验验证了...     

基于视觉的机器人目标抓取研究

为了减少机械臂在产品分类和抓取过程中的执行时间,减少定位误差,提高生产效率,提出基于视觉反馈机制的机器人控制方法。针对传统机器人只根据待抓物体特征点进行识别的局限性,根据机械臂系统可同时检测对象颜色和形状属性,提出基于RGB颜色空间和surf算法结合的目标对象特征提取方法;结合机械臂空间移动过程方法的研究,从机械臂逆运动学的角度出发,对以完成位姿定位的物体进行抓取;使用众为创造科技有限公司生产的xArm机器人验证所提方法的有效性和鲁棒性,结果表明该视觉识别方法有效提高了机器人抓取的精准性。     

应用于视觉环境探索的移动机器人反应式控制器设计

在移动机器人的视觉环境探索研发中,在视觉定位不精确的条件下,如何保证移动机器人可靠地运动,是目前移动机器人视觉环境探索与视觉导航中有待解决的问题。提出一种基于单帧图像语义分割的运动控制算法,利用深度卷积神经网络高鲁棒性的语义分割结果,在图像像素空间进行运动目标点规划。仅以当前观测图像为基础,以最大化探索可能运动方向为规划代价函数,在脱离全局视觉定位结果的情况下,实现移动机器人在视觉环境探索中的可靠运动控制以及避障。实验和仿真结果表明:所提出方法可满足环境探索问题中对环境覆盖以及避障的运动控制需要。     

卷积神经网络算法在工件抓取中的应用

为提高机械手臂夹取物件的准确率,提出基于深度学习法的3D视觉辨识与抓取系统。该视觉系统结合GPU和深度影像Open CV等函数库,分别进行影像拾取、深度数据运算、坐标转换、影像轮廓搜寻和卷积类神经网络模型训练等。采用YOLOv2算法判别目标物体的种类和中心点,并利用轮廓搜寻方法找出物体的角度信息,作为机械手臂操作目标点;通过坐标转换将相机坐标转为机械手臂坐标,由TCP/IP通信传至运动控制系统进行物件夹取。实验结果表明:不同位置的所有零件辨识准确率均在82%以上,抓取误差在1～4 mm内,符合工业生产的要求。     

Word sense disambiguation in evolutionary manner

The task of assigning proper meaning to an ambiguous word in a particular context is termed word sense disambiguation (WSD). We propose a genetic algorithm, improved by local search techniques, to maximise the overall semantic similarity or relatedness of a given text. Local search is used because of the inefficiency of population-based algorithms (e.g. genetic algorithm) in exploiting the search space. Firstly, the proposed method assigns all potential senses for each word using a WordNet sense inventory. Then, the improved genetic algorithm is applied to determine a coherent set of senses that carries maximum similarity or relatedness score based on information content and gloss overlap methods, namely extended Lesk algorithm and Jiang and Conrath (jcn). The obtained results outperformed other unsupervised methods, which are related to the proposed method, when tested on the same benchmark dataset. It can be concluded that the proposed method is an effective solution for unsupervised WSD.     

基于姿态辨识的遥操作液压工程机器人视觉提示

针对遥操作液压工程机器人视频传输时延问题,提出一种基于姿态辨识的遥操作液压工程机器人视觉提示方法.利用摄像机获取遥操作液压工程机器人图像,通过关键点识别堆叠沙漏网络(KPR-SHN)模型和姿态辨识神经网络(AR-NN)模型,获取遥操作液压工程机器人液压缸的位移,依此驱动虚拟工程机器人实现对操作者的视觉提示.实验结果表明...     

基于GRETA正则表达式的机器人解释器的研究

为了解决传统解释器编译过程复杂,效率低的问题,提出了一种基于GRETA正则表达式的工业机器人解释器的实现方法。利用GRETA正则表达式建立字符匹配表和语法规则后,该解释器即可方便地对指令代码进行解释处理,包括:词法分析、语法分析、语义分析和信息提取。实验表明,该解释器可实现对机器人指令集的正确解释和信息提取,并为机器人控制的开放性和高效性奠定基础。     

基于激光SLAM的移动机器人导航算法研究

定位技术是机器人技术中导航控制和路径规划的关键问题,传统定位方式采用全球定位系统(GPS),难以完成精准的定位导航功能,不依赖于GPS的定位导航方法是目前机器人领域的研究热点。提出一种基于激光雷达采集的点云信息帧间匹配方法,根据改进式激光点云数据的位姿估计算法,结合非线性优化进行了校正和优化,完成移动机器人对未知环境的精确定位。通过ROS机器人操作系统搭建实验平台,对改进算法进行验证,证明改进后帧间匹配算法的建图和定位效果对应的鲁棒性与定位精度效果更佳,可满足工程要求。