基于点云采样权重估计的未知物体抓取位姿生成方法

针对机械臂在非结构环境中对未知物体抓取位姿生成困难及抓取稳定性差的问题,提出一种基于点云采样权重估计的抓取位姿生成方法.首先通过移动深度相机的方式拼接得到较完整的物体点云信息,并对物体的几何特性进行分析,有效避开物体不宜抓取的位置进行抓取位姿样本生成;然后结合几何约束条件实现抓取位姿搜索,并利用力封闭条件对样本稳定性进行评估;最后为了对实际的抓取位姿进行评价,根据其稳定性、夹取深度、夹取角度等设定抓取可行性指标,据此在工作空间输出最佳抓取位姿并完成指定的抓取任务.实验结果表明,采用所提方法能够高效生成大量且稳定的抓取位姿,并在仿真环境中有效实现机械臂对单个或多个随机摆放的未知物体的抓取任务.     

基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

基于结构光相机的钢筋骨架整体点云获取算法

为了获取钢筋骨架质量自动检查所需的高精度钢筋骨架整体点云,建立了基于结构光相机的钢筋骨架整体点云获取算法。首先,对结构光相机采集得到的多幅钢筋骨架图像进行三维重建,得到结构光相机的无量纲位姿。其次,根据无量纲位姿获取有量纲位姿。然后,计算这些有量纲位姿间精确的转换矩阵。接着,基于这些有量纲位姿及其两两之间的精确转换矩阵,使用图优化对这些有量纲位姿进行优化,以得到高精度的有量纲位姿。最后,基于高精度的有量纲位姿对齐结构光相机采集的所有点云,获取钢筋骨架整体点云。实验结果表明,该算法获取实际预制钢筋混凝土构件钢筋骨架整体点云的耗时约 10 min,且点云的误差约为 5 mm。钢筋骨架整体点云获取算法可以快速获取钢筋骨架整体点云,而且所得点云的精度较高,可以满足钢筋骨架质量自动检查的要求。     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

基于半直接法SLAM的大场景稠密三维重建系统

当前三维重建系统大多基于特征点法和直接法的同时定位与地图重建(SLAM)系统,特征点法SLAM难以在特征点缺失的地方具有较好的重建结果,直接法SLAM在相机运动过快时难以进行位姿估计,从而造成重建效果不理想.针对上述问题,文中提出基于半直接法SLAM的大场景稠密三维重建系统.通过深度相机(RGB-D相机)扫描,在特征点丰富的区域使用特征点法进行相机位姿估计,在特征点缺失区域使用直接法进行位姿估计,减小光度误差,优化相机位姿.然后使用优化后较准确的相机位姿进行地图构建,采用面元模型,应用构建变形图的方法进行点云的位姿估计和融合,最终获得较理想的三维重建模型.实验表明,文中系统可适用于各个场合的三维重建,得到较理想的三维重建模型.     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

未标定相机的高精度位姿估计方法

针对未标定相机的位姿估计问题,提出了一种焦距和位姿同时迭代的高精度位姿估计算法。现有的未标定相机的位姿估计算法是焦距和相机位姿单独求解,焦距估计精度较差。提出的算法首先通过现有算法得到相机焦距和位姿的初始参数;然后在正交迭代的基础上推导了焦距和位姿最小化函数,将焦距和位姿同时作为初始值进行迭代计算;最后得到高精度的焦距和位姿参数。仿真实验表明提出的算法在点数为10,噪声标准差为2的情况下,角度相对误差小于1%,平移相对误差小于4%,焦距相对误差小于3%;真实实验表明提出的算法与棋盘标定方法的精度相当。与现有算法相比,能够对未标定相机进行高精度的焦距和位姿估计。     

基于迭代最近点的井下无人机实时位姿估计

针对煤矿井下无GPS信号、低照度、结构化环境等特点,提出了一种基于迭代最近点(ICP)的井下无人机实时位姿估计方法。通过建立四旋翼无人机运动模型与机载激光雷达观测模型,将煤矿井下四旋翼无人机位姿估计问题转换为机载激光点云数据的扫描匹配问题。用三维激光雷达作为四旋翼无人机机载环境测量传感器,得到无人机当前位姿下的观测点云数据;以第1帧位置为初始位,通过ICP方法得到连续2帧点云数据之间的相对变换矩阵,迭代求解连续关键帧点云数据,得到煤矿井下四旋翼无人机实时位姿估计结果。采用滤波与下采样方法对点云数据进行优化,加速变换矩阵的求解,满足四旋翼无人机位姿估计实时性需求。实验结果表明,基于ICP的井下无人机实时位姿估计方法能够快速、有效地求解四旋翼无人机位姿,相比于正态分布变换方法,ICP方法更适用于煤矿井下四旋翼无人机的实时位姿估计。     

基于全局点云地图的煤矿井下无人机定位方法

即时定位与建图（SLAM）技术应用于煤矿井下无人机自主定位时,由于采用特征点构建地图,易出现退化问题,导致定位不准确,且因其以机体作为参考坐标系,无法实现全局定位。针对该问题,提出了一种基于全局点云地图的煤矿井下无人机定位方法。以Fast-LIO2算法作为激光SLAM算法,获得无人机位姿估计;采用迭代最近邻算法,对获取的激光雷达实时点云和全局点云地图进行两步匹配,实现无人机位姿校正;针对因点云数量过多导致点云匹配速度无法保证定位实时性的问题,设计了基于时间的位姿输出策略,提高了无人机位姿数据输出频率。在1 000 m煤矿井下巷道中测试无人机定位方法的SLAM精度和位姿校正效果,结果表明：在长距离巷道环境中,Fast-LIO2算法的定位累计误差小于1 m,在600 m以上范围内小于0.3m,明显小于LOAM-Livox算法和LIO-Livox算法;Fast-LIO2算法输出的位姿估计经校正算法校正后,飞行路径全部位于全局点云地图中,验证了位姿校正算法有效;单次SLAM算法运行耗时14.83 ms,单次位姿校正耗时883 ms,位姿数据输出频率为10 Hz,满足无人机定位实时性要求。