一种非结构环境下目标识别和3D位姿估计方法

为提高非结构环境下目标识别准确率和位姿估计精度,提出一种利用Kinect V2 RGB-D传感器并基于目标的CAD模型进行不同类型目标自动识别和3D位姿估计的新方法.利用虚拟相机获取目标CAD模型的深度图像,并将目标的模型转化为点云图,采用体素栅格滤波减少场景点云中的点数;利用点对特征描述子(PPF)作为CAD模型的全局描述子,并将相似的PPF划分成一组放进一个hash表,用于识别和定位目标,所有目标的hash表组成了3D模型数据库;利用基于投票策略的方法对不同类型目标进行检测识别和3D位姿估计,并采用位姿聚类的方法和ICP配准进行位姿修正,再通过奇异值滤波剔除误匹配位姿,从而提高位姿估计精度.在虚拟机器人实验平台仿真环境中分析了3种管接头的识别率和位姿估计误差,结果表明:3种管接头平均识别率96%,位置误差4 mm,姿态误差2°,能够满足机械臂抓取要求.将提出的方法与两种主流位姿估计方法进行了对比实验,结果表明,提出的方法无论是识别率还是F1分数都要优于其他两种方法.     

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于"固定安装的全局Kinect深度相机"与"安装在机械臂末端执行器上的移动相机(手眼相机)"相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软Kinect V2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48 mm,姿态精度0.62°,平均识别时间1.85 s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.     

面向未知环境的理鞋机器人系统设计与实现

近年来机器人和人工智能技术发展迅速，但实现机器人在家居环境中的接触式操作仍然是一个具有挑战性的问题．为实现机器人自主整理鞋子的功能，提出利用实例分割网络和最小外接矩形识别鞋子和其朝向的方法，借助深度相机的点云信息，估计机器人的抓取位姿和放置位姿，并利用卷积神经网络和余弦相似度对同一双鞋子进行配对，设计了一套基于三维视觉的机器人自主理鞋系统．对系统中鞋子朝向识别的准确率和鞋子匹配的准确率进行评估，并进行真实机器人的自主整理测试．结果显示，所提方法对鞋子朝向识别的准确率达到96.2%，加入VGG16网络后，鞋子匹配算法的匹配准确率从62.6%提升到87.4%．该方法能准确实现机器人对鞋子及其朝向的识别进而对鞋子进行匹配，提升了机器人鞋子整理的稳定性．     

基于于滚动时域优化的移动舞台机器人位姿估计

为了解决舞台文化发展背景下移动舞台机器人的位姿估计问题,提出了一种基于滚动时域优化的移动舞台机器人位姿估计算法。结合移动舞台机器人的运动学模型和预设的参考位姿,采用ＰＤ控制实现了机器人对参考位姿的跟踪,建立了移动舞台机器人闭环误差系统模型。在此基础上,采用滚动时域估计算法实时估计机器人的跟踪误差,该算法在一个固定时域窗口内利用误差系统参数和测量数据进行迭代估计,结合参考位姿实现了对移动舞台机器人位姿的实时估计。以移动舞台机器人进行曲线运动为测试场景,仿真验证了该算法的有效性。     

基于3D视觉的机器人分拣实验系统研究与设计

针对智能制造工程专业多学科交叉融合特点,开展了基于3D视觉的工业机器人分拣实验系统研究与设计.采用Kinect相机、工业机器人、PC机、末端执行器搭建了系统硬件实验平台;采用支持向量机算法识别目标物体,提出了将中值滤波预处理和最近邻插值修复相融合的空洞毛刺修复方法;针对待识别物体是否重叠相互遮挡设计了基于霍夫变换计算物体中心点位置及基于点云配准的位姿估计定位策略;在上位机交互界面引导下完成机器人分拣系列实验.实验结果表明：该系统能够准确识别快速稳定分拣出特定形状和颜色的目标物体,实验内容涉及机器人、机器学习、图像处理、软硬件设计等多门课程知识与技术,综合性强、开放性好,为智能制造工程专业实验室建设提供了一种综合性创新型实践平台.     

#br# NAO机器人的视觉伺服物品抓取操作

针对家庭环境中服务机器人物品的抓取问题,提出一种改进的基于位置的视觉伺服抓取算法。首先,利用Naomark标签完成对物体的快速识别,并通过世界平面单应矩阵分解对物体的位姿进行估计;然后,对NAO机器人的机械臂进行运动学建模,并分别设计单臂和双臂抓取的视觉伺服控制律;最后,为进一步提高抓取的稳定性和鲁棒性,对末端执行器进行路径规划。实验结果表明,本方法能够快速、稳定地抓取目标物品。     

误差融合技术的移动机器人SLAM算法研究

即时定位与地图构建是移动机器人自主导航的关键技术,利用单一激光雷达提取的原始特征点云求解帧间运动会产生位姿估计失准。将IMU预积分信息通过线性插值的方法对失真激光点云进行运动补偿,矫正移动机器人自身位姿;采用基于线面特征的点云提取与匹配,提高定位精度;增加回环检测模块,利用ICP算法对存在回环的两关键帧建立约束,以减少系统长期运行造成的累计误差;构建整体代价函数,对全局系统误差进行优化。回环检测插值算法降低了位姿估计失准对系统性能的影响,提高了移动机器人的定位精度,绝对位姿误差更小,保证了构建地图的全局一致性。     

NAO机器人的视觉伺服物品抓取操作

针对家庭环境中服务机器人物品的抓取问题,提出一种改进的基于位置的视觉伺服抓取算法。首先,利用Naomark标签完成对物体的快速识别,并通过世界平面单应矩阵分解对物体的位姿进行估计;然后,对NAO机器人的机械臂进行运动学建模,并分别设计单臂和双臂抓取的视觉伺服控制律;最后,为进一步提高抓取的稳定性和鲁棒性,对末端执行器进行路径规划。实验结果表明,本方法能够快速、稳定地抓取目标物品。     

基于粒子优化算法的并联机器人误差建模分析

以6?PTRT并联机器人为研究对象,建立其位姿误差模型,利用单支链闭环矢量法,依据输入输出关系,建立误差方程。依据6?PTRT并联机器人的位姿误差模型,将机构误差转化为驱动杆误差,利用MATLAB软件分析各个驱动杆杆长误差参数对其输出位姿误差的影响;建立并联机器人位姿误差修正的目标函数,利用基于带收缩因子的自适应权重粒子群算法寻优各个驱动杆误差参数,修正末端位姿、提高运动学精度,为6?PTRT并联机器人动力学、位姿标定以及轨迹规划和控制等问题提供理论依据。     

V－SLAM中点云配准算法改进及移动机器人实验

针对移动机器人视觉同时定位与地图构建(visual simultaneous location and mapping,V-SLAM)中,存在帧间配准误差大造成重建精度低、位姿轨迹丢失的问题,提出一种三阶段改进点云配准的ICP算法.首先通过RANSAC(随机采样一致性)采样策略对RGB图进行点对的筛选从而获得内点完成预处理;然后采用基于刚体变换一致性的对应点双重距离阈值法完成点云初配准;在得到良好的初始位姿下,引入一种动态迭代角度因子的ICP精配准方法.在后端部分引入滑动窗口法和随机采样法相结合的关键帧筛选机制,结合g2o(general graph optimization)图优化算法优化机器人位姿轨迹,实现全局一致的VSLAM系统.采用标准点云模型对本文算法与文献算法进行点云配准实验对比,在配准精度上有明显提高;通过移动机器人在真实环境下的地图重建实验,验证了本文算法的有效性;最后基于TUM数据集的实验表明了本文算法能有效估计出机器人运行轨迹.     

基于Kinect的仿人机器人抓取目标定位

目标定位是仿人机器人实现抓取操作的前提。针对机器人单目视觉容易丢失深度信息,双目视觉难以对缺乏纹理特征的物体获得有效深度信息的问题,提供一种基于Kinect的仿人机器人抓取目标定位系统。首先建立Kinect和机器人坐标系,构建布尔沙坐标转换模型;然后利用线性总体最小二乘(LTLS)算法求解该模型;最后依据Kinect获取的抓取点坐标信息,通过坐标转换将其转换到机器人坐标系:从而实现机器人对目标物体的定位。在仿人机器人NAO平台上对该系统进行实验验证,其结果表明:利用该方法,机器人在一定空间范围内能够可靠的定位目标物体,并且较其单目视觉定位更准确;根据所提供的目标定位系统,NAO机器人实现了对不同物体的抓取操作。     

基于kinect的物体抓取场景认知

针对RoboCup竞赛家庭组比赛对物体抓取的要求,研究了物体抓取场景认知问题。设计了一种基于kinect的物体抓取场景认知系统。先将kinect传感器得到的深度图像转换为3维(3D)点云图,然后计算每个3D点所在曲面的局部法向量,再根据法向量和距离特征分割提取出水平桌面;采用3D点与水平桌面的位置关系分离出潜在的抓取物体目标点,选择随机抽样一致(RANSAC,Random Sample Consensus)算法完成圆柱形抓取物体的定位。使用实验室采集的场景深度图对认知系统进行测试。结果表明,设计的系统可以可靠提取水平桌面和桌面上的圆柱形物体,可以达到物体抓取比赛的要求。     

Tracking and grasping of moving target based on accelerated geometric particle filter on colored image

Visual tracking and grasping of moving object is a challenging task in the field of robotic manipulation, which also has great potential in applications such as human-robot collaboration. Based on the particle filtering framework and position-based visual servoing, this paper proposes a new method for visual tracking and grasping of randomly moving objects. A geometric particle filter tracker is established for visual tracking. In order to deal with the tracking efficiency issue for particle filter, edge detection and morphological dilation are employed to reduce the computation burden of geometric particle filtering. Meanwhile, the HSV image feature is employed instead of the grayscale feature to improve the tracking algorithm's robustness to illumination change.A grasping strategy combining tracking and interception is adopted along with the position-based visual servoing(PBVS)method to achieve stable grasp of the target. Comprehensive comparisons on open source dataset and a large number of experiments on real robot system are conducted, which demonstrate the proposed method has competitive performance in random moving object tracking and grasping.     

点云目标检测残差投票网络

高精度的三维目标检测是实现物体感知的关键技术,对自动驾驶、机器人控制等应用的落地具有重要意义.为提高三维目标检测的精度,对算法VoteNet改进,提出了一种基于残差网络的端到端的高精度三维点云目标检测网络ResVoteNet.具体来说,设计了适用于点云数据的残差网络骨架,提出了残差特征提取模块以及残差上采样模块,并集成...     

基于RTM的自主服务机器人智能化分散控制

为提高智能服务机器人的服务质量及智能化水平,基于机器人技术中间件(robot technology middleware,RTM),对室内环境下的机器人定点物体传送任务及其相关技术进行了深入研究.首先,为了提高系统的稳定性及开发效率,建立功能模块集,并结合模糊树图与DS(Dempster-Shafer)证据理论实现模块的粒度划分;对于机器人定点物体传送过程中所面临的即时定位与地图创建问题,采用Rao-Blackwellized粒子滤波算法完成底层栅格地图的创建,进而构造动态精简式混合地图,并利用记忆循迹规则实现机器人定点导航;通过改进的显著性区域提取算法实现对空间物体坐标的提取,并利用智能机械臂平台完成对物体的抓取及传送任务.以机器人移动平台和UR5机械臂为基础对设计系统进行实际测试,结果验证了所提分散控制方法的有效性和可行性.     

面向任务的机器人灵巧手控制系统及多指空间协调阻抗控制

为提高多指灵巧手的控制和操作性能,提出了基于集中控制-分层处理的DLR/HIT Ⅱ机器人灵巧手实时控制系统结构,并建立了基于Simulink/QNX的实时控制平台和嵌入式驱动控制层,极大地简化了高集成度机电一体化灵巧手的控制器设计过程,并实现灵巧手在多自由度仿机器人上的无缝连接,进行了多指灵巧手空间协调阻抗控制的研究,基于手指指尖位置建立了适用于任意手指数目n的机器人灵巧手物体空间坐标系,并基于六维空间虚拟弹簧的阻抗思想和关节力矩反馈实现了以被抓取物体位置和姿态为控制目标的多指灵巧手空间协调阻抗控制.在基于Simulink/QNX的实时控制平台上对DLR/HIT Ⅱ灵巧手进行了空间协调阻抗控制实验,实验结果表明了灵巧手控制软硬件系统和控制策略的有效性和稳定性.在未降低灵巧手自由度的前提下,将DLR/HIT Ⅱ多指灵巧手协调抓取操作的控制输入量由30个减为6个,为提高抓取规划算法效率提供了稳定高效的新型控制策略.