基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。     

基于深度学习的物体点云六维位姿估计方法

物体位姿估计是机器人在散乱环境中实现三维物体拾取的关键技术,然而目前多数用于物体位姿估计的深度学习方法严重依赖场景的RGB信息,从而限制了其应用范围。提出基于深度学习的六维位姿估计方法,在物理仿真环境下生成针对工业零件的数据集,将三维点云映射到二维平面生成深度特征图和法线特征图,并使用特征融合网络对散乱场景中的工业零件进行六维位姿估计。在仿真数据集和真实数据集上的实验结果表明,该方法相比传统点云位姿估计方法准确率更高、计算时间更短,且对于疏密程度不一致的点云以及噪声均具有更强的鲁棒性。     

基于时域编码结构光的高精度三维视觉引导抓取系统研究

在许多自动化应用场合中,如分拣和上、下料等过程中,机械臂抓取是非常重要的一个环 节。在有遮挡或物体杂乱放置的情况下,对物体进行可靠、快速和精确计算位姿是机械臂抓取的难题之一。该文提出一种针对非规则目标的 3D 视觉引导抓取系统。首先,该系统运用面结构光系统对目标进行高精度三维重建,并建立离线 3D 点云模板库;然后,将标准模板与点云预处理后的场景点云进行匹配,得到匹配参数后,由坐标系之间的转换矩阵计算机器手抓取位姿;最后,引导机器手完成对目标物体的抓取。实验结果表明,所开发的机械臂抓取系统能够对非规则目标进行可靠、快速和精确的 抓取。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于GPR和KRR组合模型的机械臂抓取研究

为了避免机械臂自主抓取方法中普遍存在的运动学求逆耗时和视觉系统标定计算复杂度高的问题,提出一种基于高斯过程回归(GPR)和核岭回归(KRR)组合模型的机械臂抓取方法。在学习阶段,训练基于Mask-RCNN的目标检测和实例分割算法及GPR和KRR的机械臂抓取策略;在抓取阶段,首先使用目标检测和实例分割算法获取目标物体的位姿,然后根据目标物体位姿和机械臂关节角的映射关系,结合GPR和KRR的组合模型预测出机械臂关节角并控制机械臂完成抓取任务。实验结果表明:所提出的方法无需视觉系统的标定和机械臂运动学求逆,能够准确地获取目标物体的位姿,AUBO i5机械臂验证,本方法能够实现对目标物体较为准确的抓取。     

散乱堆叠药盒三维视觉抓取系统设计

针对药物生产线上药品分拣、包装等繁重的工作任务,设计了基于三维视觉的散乱堆叠药盒抓取系统。根据药盒点云数据均为特征均匀的矩形或方形平面这一特征,基于点云预处理与区域生长算法设计了堆叠药盒场景点云的分割算法,并提出了通过计算药盒上表面点云质心以及质心点表面法线获取药盒位姿的方法。实验结果表明：系统能够准确地完成场景点云分割,准确地获取位姿信息,精度高,鲁棒性好,适用于散乱堆叠药盒的抓取。     

基于多层级特征的机械臂单阶段抓取位姿检测

针对机械臂对尺寸变换、形状各异、任意位姿的未知物体抓取,提出一种基于多层级特征的单阶段抓取位姿检测算法,将物体抓取位姿检测问题视为抓取角度分类和抓取位置回归进行处理,对抓取角度和抓取位置执行单次预测.首先,利用深度数据替换RGB图像的B通道,生成RGD图像,采用轻量型特征提取器VGG16作为主干网络;其次,针对VGG16特征提取能力较弱的问题,利用Inception模块设计一种特征提取能力更强的网络模型;再次,在不同层级的特征图上,利用先验框的方法进行抓取位置采样,通过浅层特征与深层特征的混合使用提高模型对尺寸多变的物体的适应能力;最后,输出置信度最高的检测结果作为最优抓取位姿.在image-wise数据集和object-wise数据集上,所提出算法的评估结果分别为$95.71$%和$94.01$%,检测速度为58.8FPS,与现有方法相比,在精度和速度上均有明显的提升.     

基于机械臂的Kinect车辆轮廓点云配准

车辆轮廓的三维点云模型在汽车智能化制造及维保过程中具有重要作用。为提高点云配准的精度和效率,以汽车维保机器人为研究对象,提出一种基于点云数据处理技术的车辆轮廓扫描定位及点云数据配准方法。在机械臂末端安装Kinect深度传感器实现精准移动,在汽车四周采集点云数据并进行预处理,根据机械臂运动学方程计算传感器采样位姿,完成初步配准。在此基础上,使用迭代最近点算法完成车辆轮廓点云的精确配准。实验结果表明,该方法可完成各视角点云数据的准确、快速配准,得到完整的三维点云数字模型。     

杂乱场景下小物体抓取检测研究

目的 杂乱场景下的物体抓取姿态检测是智能机器人的一项基本技能。尽管六自由度抓取学习取得了进展,但先前的方法在采样和学习中忽略了物体尺寸差异,导致在小物体上抓取表现较差。方法 提出了一种物体掩码辅助采样方法,在所有物体上采样相同的点以平衡抓取分布,解决了采样点分布不均匀问题。此外,学习时采用多尺度学习策略,在物体部分点云上使用多尺度圆柱分组以提升局部几何表示能力,解决了由物体尺度差异导致的学习抓取操作参数困难问题。通过设计一个端到端的抓取网络,嵌入了提出的采样和学习方法,能够有效提升物体抓取检测性能。结果 在大型基准数据集GraspNet-1Billion上进行评估,本文方法取得对比方法中的最优性能,其中在小物体上的抓取指标平均提升了7%,大量的真实机器人实验也表明该方法具有抓取未知物体的良好泛化性能。结论 本文聚焦于小物体上的抓取,提出了一种掩码辅助采样方法嵌入到提出的端到端学习网络中,并引入了多尺度分组学习策略提高物体的局部几何表示,能够有效提升在小尺寸物体上的抓取质量,并在所有物体上的抓取评估结果都超过了对比方法。     

Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking

3D object pose estimation for robotic grasping and manipulation is a crucial task in the manufacturing industry. In cluttered and occluded scenes, the 6D pose estimation of the low-textured or textureless industrial object is a challenging problem due to the lack of color information. Thus, point cloud that is hardly affected by the lighting conditions is gaining popularity as an alternative solution for pose estimation. This article proposes a deep learning-based pose estimation using point cloud as input, which consists of instance segmentation and instance point cloud pose estimation. The instance segmentation divides the scene point cloud into multiple instance point clouds, and each instance point cloud pose is accurately predicted by fusing the depth and normal feature maps. In order to reduce the time consumption of the dataset acquisition and annotation, a physically-simulated engine is constructed to generate the synthetic dataset. Finally, several experiments are conducted on the public, synthetic and real datasets to verify the effectiveness of the pose estimation network. The experimental results show that the point cloud based pose estimation network can effectively and robustly predict the poses of objects in cluttered and occluded scenes.     

机器人抓取检测技术的研究现状

作为机器人在工厂、家居等环境中最常用的基础动作,机器人自主抓取有着广泛的应用前景,近十年来研究人员对其给予了较高的关注,然而,在非结构环境下任意物体任意姿态的准确抓取仍然是一项具有挑战性和复杂性的研究.机器人抓取涉及3个主要方面:检测、规划和控制.作为第1步,检测物体并生成抓取位姿是成功抓取的前提,有助于后续抓取路径的规划和整个抓取动作的实现.鉴于此,以检测为主进行文献综述,从分析法和经验法两大方面介绍抓取检测技术,从是否具有抓取物体先验知识的角度出发,将经验法分成已知物体和未知物体的抓取,并详细描述未知物体抓取中每种分类所包含的典型抓取检测方法及其相关特点.最后展望机器人抓取检测技术的发展方向,为相关研究提供一定的参考.     

一种基于抓取簇和碰撞体素的工业零件抓取姿态检测算法

针对工业上常见的散乱堆叠零件的抓取问题,提出一种基于抓取簇和碰撞体素的抓取姿态检测算法。所提出的抓取簇是定义在零件上的连续抓取姿态集合,解决了传统方法中因采用离散固定抓取点而导致可抓取点丢失、筛选效率低的问题。先对料箱和场景点云进行体素化;然后把包含料箱或点云的体素标记为碰撞体素,并把与碰撞体素相邻的体素标记为风险体素,从而建立体素化的碰撞模型;接下来,根据抓取簇的几何性质计算出候选的抓取姿态及其对应的抓取路径;最后,通过检测抓取路径所经过的体素类型来完成快速的碰撞检测,从而筛选出最优抓取姿态。基于所提算法搭建了完整的Bin-Picking系统,并对多种实际工业场景中常见的零件进行仿真实验和实际抓取实验,结果表明：该算法能够快速、准确地检测出安全的抓取姿态,实际抓取的平均成功率达92.2%,料箱平均清空率达87.2%,较传统方法有明显提升,且抓取过程均未发生碰撞,可满足实际工业应用的要求。     

基于级联卷积神经网络的机器人平面抓取位姿快速检测

针对任意姿态的未知不规则物体,提出一种基于级联卷积神经网络的机器人平面抓取位姿快速检测方法．建立了一种位置-姿态由粗到细的级联式两阶段卷积神经网络模型,利用迁移学习机制在小规模数据集上训练模型,以R-FCN（基于区域的全卷积网络）模型为基础提取抓取位置候选框进行筛选及角度粗估计,并针对以往方法在姿态检测上的精度不足,提出一种Angle-Net模型来精细估计抓取角度．在Cornell数据集上的测试及机器人在线抓取实验结果表明,该方法能够对任意姿态、不同形状的不规则物体快速计算最优抓取点及姿态,其识别准确性和快速性相比以往方法有所提高,鲁棒性和稳定性强,且能够泛化适应未训练过的新物体．     

多尺度Transformer激光雷达点云3D物体检测

激光雷达点云3D物体检测,对于小物体如行人、自行车的检测精度较低,容易漏检误检,提出一种多尺度Transformer激光雷达点云3D物体检测方法MSPT-RCNN(multi-scale point transformer-RCNN),提高点云3D物体检测精度.该方法包含两个阶段,即第一阶段(RPN)和第二阶段(RCN...     

Semantic part segmentation method based 3D object pose estimation with RGB-D images for bin-picking

3D object pose estimation for grasping and manipulation is a crucial task in robotic and industrial applications. Robustness and efficiency for robotic manipulation are desirable properties that are still very challenging in complex and cluttered scenes, because 3D objects have different appearances, illumination and occlusion when seen from different viewpoints. This article proposes a Semantic Point Pair Feature (PPF) method for 3D object pose estimation, which combines the semantic image segmentation using deep learning with the voting-based 3D object pose estimation. The Part Mask RCNN ispresented to obtain the semantic object-part segmentation related to the point cloud of object, which is combined with the PPF method for 3D object pose estimation. In order to reduce the cost of collecting datasets in cluttered scenes, a physically-simulated environment is constructed to generate labeled synthetic semantic datasets. Finally, two robotic bin-picking experiments are demonstrated and the Part Mask RCNN for scene segmentation is evaluated through the constructed 3D object datasets. The experimental results show that the proposed Semantic PPF methodimproves the robustness and efficiency of 3D object pose estimation in cluttered scenes with partial occlusions.     

基于视觉语义与激光点云交融构建的SLAM算法

激光雷达作为同时定位与地图构建(SLAM)传感器之一,因精度高、性能稳定等特点而被广泛研究使用.但其获得的点云数据较稀疏,包含特征信息少,会导致误匹配、位姿估计误差大等问题,影响SLAM的定位和建图精度.对此,提出一种将视觉语义信息与激光点云数据融合的SLAM算法(VSIL-SLAM).首先,基于投影思想将聚类后的点云映射到语义检测框内,生成语义物体,解决原始激光点云特征稀缺问题;然后,在形状特征的基础上引入拓扑特征对语义物体进行表述,提出基于匹配的拓扑相似性度量方法,解决单一特征造成的误匹配问题,提高匹配准确度;最后,加入语义物体点到点的几何约束,基于几何特征和语义物体构建前端里程计,并完成后端回环检测和位姿图优化设计.实验结果表明,所提出算法在定位和建图效果上都有显著提高,改善了激光SLAM算法的性能.