基于多空间混合约束的NAO机器人抓取轨迹规划

为提高NAO机器人手臂抓取物体的可靠性,本论文提出关节空间和笛卡尔空间控制相结合的方法,设计NAO机器人手臂的轨迹进行目标抓取。由于目标大小已知,利用关节空间控制可以预先设定NAO机器人抓取的最佳姿态,即NAO机器人手臂各个关节角度。运用正运动学,计算手臂移动位置。在设定姿态后的位置与目标点之间,利用笛卡尔空间控制进行轨迹规划。实验表明,在NAO坐标系下,手臂抓取范围内该算法能够在给定范围内准确地完成空间抓取目标任务。     

基于NAO机器人的目标识别与运动控制

为了让NAO机器人能准确行走至目标位置,针对NAO机器人在目标识别中存在的坐标精度问题,搭建了基于NAO机器人的目标识别行走系统。在NAO机器人目标定位与行走实验中,采用单目视觉定位算法来确定目标位置,并在改变NAO机器人与目标的相对位置后进行了多次测量;通过坐标的误差补偿,使目标位置的坐标误差缩小至2cm左右,满足了精度要求。     

搬运机器人多目标识别系统的研究

机器视觉与工业机器人相结合,构建用于多种目标识别的搬运机器人系统实验平台。在完成机器人坐标系与相机坐标系转换的基础上,以4种不同形状的等高工件为对象,通过CCD相机连续不断地获取运动中的工件图像信息,对采集到的图像进行处理,以识别目标工件、提取工件中心坐标点,然后将工件中心坐标信息传输给机器人,最终实现机器人对工件的定点抓取。实验表明,该系统具备较好的目标识别和定位效果,有助于改善流水线上输送工件单一的状况,提高生产效率。     

一种基于NAO机器人的单目视觉目标定位方法

单目视觉定位在机器人视觉中具有重要的应用价值。结合光学成像原理、几何坐标变换以及相关的图像处理技术能够实现单目视觉目标定位。提出了一种基于RGB颜色空间的匹配滤波轮廓提取算法,进行特定目标的轮廓提取。该算法能精确、快速地计算出摄像机与目标物体之间的距离和角度信息,实现对特定目标的定位。基于NAO机器人平台的实际实验结果验证了该算法的有效性。     

基于嵌入式的单目视觉工业机器人定位系统设计

为解决传统工业机器人定位不精确、不灵活的问题,对机器视觉引导的工业机器人定位进行研究,提出以KUKA机械臂和嵌入式ZYNQ开发板为硬件平台的低成本系统方案。首先对工业机器人视觉定位抓取过程建立数学模型;然后研究基于机器视觉的图像处理技术,采用轮廓特征参数为辨识条件对预处理后的工件轮廓进行识别和定位;最后,经过坐标转换,将工件真实位姿发送给工业机器人控制系统进行抓取引导。实验结果表明,该系统对目标工件能够实现有效、精准的定位。     

基于Kinect传感器的机器人室内环境检测方法

针对移动机器人室内环境检测问题,提出了一种基于Kinect传感器的目标物体检测方法.利用Kinect传感器采集的视频图像和深度数据来实现对机器人工作环境中已知特征目标物体和完全未知目标物体的检测及定位.对于已知特征目标通过颜色特征分析来完成检测,而对于完全未知的物体则通过深度地面消除算法和提取深度图像的轮廓来进行检测.利用传感器成像模型对检测出的目标区域进行三维空间定位,从而获取目标物相对于机器人的空间位置信息.基于移动机器人平台进行实验,结果表明,该方法能够有效地实现室内环境信息的检测及定位.     

#br# NAO机器人的视觉伺服物品抓取操作

针对家庭环境中服务机器人物品的抓取问题,提出一种改进的基于位置的视觉伺服抓取算法。首先,利用Naomark标签完成对物体的快速识别,并通过世界平面单应矩阵分解对物体的位姿进行估计;然后,对NAO机器人的机械臂进行运动学建模,并分别设计单臂和双臂抓取的视觉伺服控制律;最后,为进一步提高抓取的稳定性和鲁棒性,对末端执行器进行路径规划。实验结果表明,本方法能够快速、稳定地抓取目标物品。     

仿人足球机器人视觉系统快速识别与精确定位

针对仿人足球机器人视觉需求,提出一种同时进行色块分割和特征提取的目标识别算法和一种基于仿人机器人物理模型的单目定位方法.目标识别算法采用八邻域法对图像进行边缘跟踪完成色块分割,同时计算边缘点几何信息得到图形特征,并应用辐射对称算法提高物体识别准确度,其处理效率比普通方法提高近一倍.目标定位算法结合摄像机小孔成像模型和仿人机器人三连杆模型,可以精确定位视觉范围内的目标.在自主仿人足球机器人系统中的成功应用表明,所提的目标识别算法和定位模型具有较好的效果.     

配置机械手的轮式移动机器人目标物体跟踪与抓取

针对配置机械手的室内轮式移动机器人目标物体识别、跟踪和抓取问题,采用一种目标物体识别和机器人定位的方法,利用一种基于模糊控制的轮式移动机器人视觉伺服跟踪控制的方法。针对机器人目标识别跟踪及抓取过程中受环境条件变化的影响,采用HSI颜色模型和基于阈值的区域分割的图像处理方法可以完成目标颜色物体的快速准确识别。基于云台摄像机角度信息的机器人小车目标定位方法和模糊控制理论,设计了模糊跟踪控制器,使机器人输出合适的线速度和角速度,能够实现机器人目标跟踪,使移动机器人趋近目标物体位置,并完成机械手目标物体抓取任务。仿真和实时实验结果表明：所设计的系统具有良好的目标物体识别、跟踪和准确抓取目标的能力。     

基于LSTM神经网络的仿人机器人循环步态的生成方法

为了解决Kinect视野限制仿人机器人不能对人体步行动作进行长时间模仿的问题,提出基于长短期记忆(long short-term memory,LSTM)神经网络预测模型生成仿人机器人的循环步态的方法.通过Kinect多次采集人体步行时各个关节角度的一维时间序列,经仿人机器人步态平衡模型得到仿人机器人的关节角度驱动序列.使用C-C方法确定时间序列的时间延迟和嵌入维数,对关节角度序列进行相空间重构,获取时间序列的更多特征值对基于LSTM神经网络搭建的关节角度预测模型训练,并通过其生成多个步态周期的关节角度序列.使用生成的序列在WEBOTS平台中驱动仿人机器人NAO完成多个步态周期的步行动作.该方法有效解决体感摄影机视野限制问题,使仿人机器人能完成多个步态周期的步行模仿动作.     

基于3D视觉的机器人分拣实验系统研究与设计

针对智能制造工程专业多学科交叉融合特点,开展了基于3D视觉的工业机器人分拣实验系统研究与设计.采用Kinect相机、工业机器人、PC机、末端执行器搭建了系统硬件实验平台;采用支持向量机算法识别目标物体,提出了将中值滤波预处理和最近邻插值修复相融合的空洞毛刺修复方法;针对待识别物体是否重叠相互遮挡设计了基于霍夫变换计算物体中心点位置及基于点云配准的位姿估计定位策略;在上位机交互界面引导下完成机器人分拣系列实验.实验结果表明：该系统能够准确识别快速稳定分拣出特定形状和颜色的目标物体,实验内容涉及机器人、机器学习、图像处理、软硬件设计等多门课程知识与技术,综合性强、开放性好,为智能制造工程专业实验室建设提供了一种综合性创新型实践平台.     

堆叠散乱目标的6D位姿估计和无序分拣

针对目标散乱堆叠场景下的机器人分拣问题,建立一种从目标筛选、识别到6D位姿估计的无序分拣系统。利用局部凸性连接方法将Kinect V2相机采集的堆叠散乱目标点云数据分割成单独的点云子集,定义抓取分数从中筛选出最上层未被遮挡的目标作为待抓取目标,保证机器人分拣目标时能从上至下进行抓取;针对不同种类目标的分拣需求,基于匹配相似度函数对三维目标进行识别并定位抓取点;融合截断最小二乘-半定松弛算法和最近点迭代算法,建立目标6D位姿估计模型,保证目标点云和模型点云重合率低情况下的精确配准。在自采数据上进行目标6D位姿估计实验以及机器人无序分拣实验,结果表明：提出的6D位姿估计方法相较于流行的几种方法,可以更快速、精确地获取目标的6D位姿,均方根距离误差<3.3 mm,均方根角度误差<5.6°;视觉处理时间远小于机械臂运动的时间,在实际场景中实现了机器人实时抓取的全过程。     

仿人机器人多传感器定位系统

为了提高仿人机器人SHFR-Ⅲ人机交互系统的定位精度和定位可靠性,设计多传感器定位系统,包括基于热释电红外传感器垂直阵列的红外定位系统、基于听觉传感器三角形阵列的听觉定位系统和基于立体双目视觉的视觉定位系统.提出权重随目标位置和外部环境可变的加权平均融合算法,将3种定位数据的融合结果作为最终定位结果.实验结果证明：多传感器定位系统的限制条件比单传感器定位系统更少,环境适应性更强,有效提高了交互系统的整体定位精度和可靠性.     

基于混合进化算法的仿人机器人步态规划

针对仿人机器人的结构特点,设计一种仿人机器人上楼梯的在线步态规划系统.使用7连杆模型对仿人机器人的上楼梯运动过程进行建模,根据神经网络在拟合非线性系统上的优越性,使用2个BP神经网络对仿人机器人上楼梯过程中的双腿支撑周期和单腿支撑周期分别进行离线训练.为了加速训练时间和避免陷入局部最小值,采用基于混合粒子群的神经网络控制方式对网络的权值进行优化.在加速训练过程的同时,生成稳定性最优的步态,通过嵌入式单目视觉采集现场环境信息作为神经网络的输入,实时控制输出步态所需的关节轨迹进行运动.实验结果表明通过Matlab仿真和实物机器人上所提方法有效.     

一种新的双目立体视觉伺服控制模型及实验研究

针对目前手眼视觉伺服系统模型中普遍存在深度信息估计的问题,提出了一种用于双目视觉伺服控制的模型,该模型避免了深度值的测量与估计,提高了系统的控制性能,从而解决了未知物点的深度信息估计的问题。本文应用此模型,单独考虑机器人的运动学特性,设计了机器人末端执行器进行定位控制的控制器,仿真结果验证了该模型与控制算法的有效性;进一步提出了模型使用的改进算法,使该模型更具有宽泛的实用性;并且,进行了基于MOTOMAN UP6型机器人的双目视觉伺服控制实验,实验结果验证了该模型在实际控制工程中的有效性、可行性。     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.