散乱堆叠药盒三维视觉抓取系统设计

针对药物生产线上药品分拣、包装等繁重的工作任务,设计了基于三维视觉的散乱堆叠药盒抓取系统。根据药盒点云数据均为特征均匀的矩形或方形平面这一特征,基于点云预处理与区域生长算法设计了堆叠药盒场景点云的分割算法,并提出了通过计算药盒上表面点云质心以及质心点表面法线获取药盒位姿的方法。实验结果表明：系统能够准确地完成场景点云分割,准确地获取位姿信息,精度高,鲁棒性好,适用于散乱堆叠药盒的抓取。     

基于未知物体三维点云特征的机器人六自由度抓取

针对非结构化环境中任意位姿的未知物体,提出了一种基于点云特征的机器人六自由度抓取位姿检测方法,以解决直接从点云中获取目标抓取位姿的难题.首先,根据点云的基本几何信息生成抓取候选,并通过力平衡等方法优化这些候选;然后,利用可直接处理点云的卷积神经网络ConvPoint评估样本,得分最高的抓取将被执行,其中抓取位姿采样和评估网络都是以原始点云作为输入;最后,利用仿真和实际抓取实验进行测试.结果表明,该方法在常用对象上实现了88.33%的抓取成功率,并可以有效地拓展到抓取其他形状的未知物体.     

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。     

机器人视觉智能识别与无序抓取实验系统设计

本文针对复杂汽车生产制造环境中,多种类、多目标散乱堆叠场景下的机器人抓取问题,建立对油气分离器等四种不同配件的智能识别无序抓取系统;利用Photoneo公司的3D Scanner-M面结构光传感器采集目标的三维点云数据、大族机器人Elfin-E10为机械操作手臂,设计了6D位姿估计深度学习网络模型,并利用实例分割网络将点云的前景点和背景点解耦,进而将实例聚类,生成统一的点云切片,送入后续网络进行位姿估计。实验是通过在实际精确抓装项目任务中的应用,分别在MFC和ROS-QT软件架构中搭建了基于传统点云位姿估计方法和深度网络位姿估计方法的软件平台,并在实际场景中完成了对油气分离器等工件的全过程抓取,对6D位姿估计的深度网络的有效性进行了对比实验与验证。结果表明,本文提出的位姿估计识别方法在完成对目标工件的抓取上拥有较高的成功率。     

基于点云采样权重估计的未知物体抓取位姿生成方法

针对机械臂在非结构环境中对未知物体抓取位姿生成困难及抓取稳定性差的问题,提出一种基于点云采样权重估计的抓取位姿生成方法.首先通过移动深度相机的方式拼接得到较完整的物体点云信息,并对物体的几何特性进行分析,有效避开物体不宜抓取的位置进行抓取位姿样本生成;然后结合几何约束条件实现抓取位姿搜索,并利用力封闭条件对样本稳定性进行评估;最后为了对实际的抓取位姿进行评价,根据其稳定性、夹取深度、夹取角度等设定抓取可行性指标,据此在工作空间输出最佳抓取位姿并完成指定的抓取任务.实验结果表明,采用所提方法能够高效生成大量且稳定的抓取位姿,并在仿真环境中有效实现机械臂对单个或多个随机摆放的未知物体的抓取任务.     

基于深度学习的物体点云六维位姿估计方法

物体位姿估计是机器人在散乱环境中实现三维物体拾取的关键技术,然而目前多数用于物体位姿估计的深度学习方法严重依赖场景的RGB信息,从而限制了其应用范围。提出基于深度学习的六维位姿估计方法,在物理仿真环境下生成针对工业零件的数据集,将三维点云映射到二维平面生成深度特征图和法线特征图,并使用特征融合网络对散乱场景中的工业零件进行六维位姿估计。在仿真数据集和真实数据集上的实验结果表明,该方法相比传统点云位姿估计方法准确率更高、计算时间更短,且对于疏密程度不一致的点云以及噪声均具有更强的鲁棒性。     

融入注意力机制的多模特征机械臂抓取位姿检测

针对机械臂抓取检测任务中对未知物体抓取位姿检测精度低、耗时长等问题,提出一种融入注意力机制多模特征抓取位姿检测网络.首先,设计多模态特征融合模块,在融合多模态特征同时对其赋权加强;然后,针对较浅层残差网络提取重点特征能力较弱的问题,引入卷积注意力模块,进一步提升网络特征提取能力;最后,通过全连接层对提取特征直接进行回归拟合,得到最优抓取检测位姿.实验结果表明,在Cornell公开抓取数据集上,所提出算法的图像拆分检测精度为98.9%,对象拆分检测精度为98.7%,检测速度为51FPS,对10类物体的100次真实抓取实验中,成功率为95%.     

基于三维点云地图和ESKF的无人车融合定位方法

基于地图匹配的无人车定位方法的精度取决于已创建地图的精度,受外界的影响较小,适用于复杂场景下的无人车定位。然而目前采用的激光雷达点云匹配算法是以单一的特征为核心进行匹配,对于大规模点云匹配准确率较低,导致三维点云地图与实际环境偏差较大,造成基于地图匹配的无人车定位方法精度不高的问题。针对上述问题,提出了一种基于三维点云地图和误差状态卡尔曼滤波（ESKF）的无人车融合定位方法。该方法由三维点云地图构建和ESKF融合定位2个部分组成。在三维点云地图构建部分,通过正态分布变换（NDT）算法进行帧间点云匹配,提高大规模点云匹配准确率,并在根据激光里程计数据建立的位姿图顶点和约束边的基础上添加闭环约束构建图优化问题,采用列文伯格-马夸尔特（LM）算法进行求解,以减少位姿的累计漂移,提高三维点云地图精度。在ESKF融合定位部分,采用ESKF融合惯性测量单元（IMU）数据和三维点云地图数据,实现对无人车先验位姿（位置、姿态和速度）的修正并输出后验位姿。实验结果表明,与基于地图匹配的定位方法相比,该方法定位轨迹相对位姿误差最大值减小了0.176 9 m,平均误差减小了0.027 1 m,均方根误差减小...     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

基于多重几何约束的未知物体抓取位姿估计

针对机器人在非结构化环境下面临的未知物体难以快速稳定抓取的问题,提出一种基于多重几何约束的未知物体抓取位姿估计方法.通过深度相机获取场景的几何点云信息,对点云进行预处理得到目标物体,利用简化的夹持器几何形状约束生成抓取位姿样本.然后,利用简化的力封闭约束对样本进行快速粗筛选.对抓取位姿的抓取几何轮廓进行力平衡约束分析,将稳定的位姿传送至机器人执行抓取.采用深度相机与6自由度机械臂组成实验平台,对不同姿态形状的物体进行抓取实验.实验结果表明,本文方法能够有效应对物体种类繁多、缺乏3维模型的情况,在单目标和多目标场景均具有良好的适用性.     

动态场景下基于语义和光流约束的视觉同步定位与地图构建

针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建（SLAM）算法,以降低动态物体对定位与建图的影响。首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图。最后,基于静态点云与语义分割创建稀疏语义地图。公共TUM数据集上的测试结果表明,高动态场景下,所提算法与ORB-SLAM2相比,在绝对轨迹误差和相对位姿误差上能取得95%以上的性能提升,与DS-SLAM、DynaSLAM相比分别减小了41%和11%的绝对轨迹误差,验证了该算法在高动态场景中具有较好的定位精度和鲁棒性。地图构建的实验结果表明,所提算法创建了静态语义地图,与点云地图相比,稀疏语义地图的存储空间需求量降低了99%。     

基于点对特征的三维点云匹配算法

针对现有的基于全局特征的三维物体识别方法和基于局部特征的三维物体识别方法在有遮挡和混叠场景中识别效果均不理想的问题,提出了一种基于点对特征的三维点云匹配算法。利用模型上的所有点对特征来完成全局模型描述构建,并在减少的二维空间上,利用快速投票方案,在局部对模型点云和场景点云进行匹配,从而恢复模型在场景中的全局姿态。实验结果表明:该算法在有遮挡和混叠的场景中识别效果比较理想。     

基于弱随机相机位姿图像的三维场景恢复

随着深度学习的快速发展,基于多视图的三维场景恢复研究和应用越来越广泛。许多研究者关注通过优化深度学习网络提高三维场景恢复效果,深度学习使用的训练数据集的相机位姿分布具有规范度高的内在特点。然而在实际应用中,普通用户拍摄目标场景时,相机位姿分布具有较大的随机性,难以保证获取到和训练数据集质量等同或接近的目标场景图像数据,从而影响恢复效果。为了缓解这一问题,该文提出了基于弱随机相机位姿图像的三维场景恢复方法,通过给用户提供目标场景拍摄建议,降低所获取目标场景图像相机位姿分布的随机性,提高场景的三维恢复效果。首先,用户在目标场景拍摄指导下,获得同一场景下不同视角的二维图像数据,然后通过SFM (Structure From Motion)恢复场景的三维稀疏点云和相机位姿,最后在MVS(Multi-View Stereo)网络模型中进行三维点云的稠密重建。实验结果表明,相比拍摄建议前,该方法有效降低了所获取目标场景图像相机位姿分布的随机性,三维场景恢复成功率提高了52.95%。     

Kinect v2的三维物体重建系统设计

三维物体重建一直是计算机图形学领域研究的热点。设计并实现一套基于Kinect v2的三维物体重建系统。使用Kinect v2获取包含物体所在场景的点云,去除离群点,并用三维包围盒将特定的物体点云从场景中分离出来;利用SAC-IA算法对相邻两片点云进行粗配准,将两两配准的ICP算法扩展到多片点云,提出一种从两边向中间逼近的策略,减少累积误差,提高物体点云还原度;实现一套低成本,精确的针对单个物体的三维重建系统。实验结果表明,与传统的只使用ICP算法配准相比,该算法配准的精度更高,重建还原度更好。     

杂乱场景中多尺度注意力特征融合抓取检测网络

GSNet使用抓取度区分杂乱场景的可抓取区域, 显著地提高了杂乱场景中机器人抓取位姿检测准确性, 但是GSNet仅使用一个固定大小的圆柱体来确定抓取位姿参数, 而忽略了不同大小尺度的特征对抓取位姿估计的影响. 针对这一问题, 本文提出了一个多尺度圆柱体注意力特征融合模块(Ms-CAFF), 包含注意力融合模块和门控单元两个核心模块, 替代了GSNet中原始的特征提取方法, 使用注意力机制有效地融合4个不同大小圆柱体空间内部的几何特征, 从而增强了网络对不同尺度几何特征的感知能力. 在大规模杂乱场景抓取位姿检测数据集GraspNet-1Billion的实验结果表明, 在引入模块后将网络生成抓取位姿的精度最多提高了10.30%和6.65%. 同时本文将网络应用于实际实验, 验证了方法在真实场景当中的有效性.     

视觉伺服机械臂手机抓取最佳位姿检测

针对下水道、勾缝等狭窄位置的手机拾取的问题, 本文提出一种基于机器视觉的伺服机械臂抓取方法. 首先对机械臂eye-in-hand上的相机进行标定, 图像预处理及目标检测等, 在位姿检测中提出一种基于二维坐标系下手机位姿解算算法, 得出解算的最佳位姿角只与夹持点的像素坐标的差值有关, 其位姿角的大小决定了手抓旋转的角度. 实验用Matlab软件对位姿检测进行仿真分析, 其包括SURF不变特征点的目标检测实验和位姿解算实验, 最后用Rethink双臂机器人的右臂对手机进行抓取验证. 实验表明, 在误差允许范围内, 提出的算法具有一定的有效性, 其结果为伺服机械臂抓取手机提供良好的准确性.     

三维点云中的二维标记检测

特征检测在物体识别、数据配准等应用中具有至关重要的作用。同一场景中不同采集数据的配准和融合,必须已知或者估算不同数据中的共同特征对应点。然而,许多场景缺少有效对应特征点。解决该问题的一种有效的方法是在场景中添加标记以增加特征。文章提出一种在只含有位置信息的三维点云中自动检测二维标记的方法。该方法首先在三维场景添加黑色圆形薄纸片作为二维标记,利用区域增长法将获取的三维场景的点云数据分割成不同类别,然后基于随机抽样一致性算法的扩展方法依次对分割后的点云进行形状拟合,最后通过检测形状检测该二维标记。该方法能够有效地检测出三维场景中的二维标记,并避免了遮挡、形变等问题,为缺少特征的场景提供了简单可行的特征,可广泛应用于数据配准、物体识别、物体追踪、三维重建等领域。     

基于非结构基本组成分析的自主抓取方法

针对现实生活中的非结构化抓取环境,提出一种基于非规则物体基本形体组成的自主抓取方法.机器人自主抓取的关键不仅仅在于对物体类型的识别,更大一部分在于对物体形状(例如形状基元的组成)判断后的良好抓取.将不规则的复杂物体简化为一些简单物体的组合,利用基于特征点和核心提取的网格分割(MFC)算法将被抓取物体3D数据点分割为主体和分支部分,依据最优拟合算法将各部分拟合为球体、椭球体、圆柱体、平行六面体中的一种,并依据简化结果对抓取位姿进行约束,再对简化后物体进行抓取训练,获取最优抓取框,从而实现对未知物体的自主抓取.本文方法最终在Baxter机器人上实现了93.3%的抓取准确率.实验结果表明,该方法可应用于不同形状、不同位姿的未知非规则物体,鲁棒性较强.     

用于多视点云拼接的改进ICP算法

点云拼接在三维物体重建中有着广泛的应用,由于扫描设备会受到光照、遮挡或物体尺寸等的影响,使得扫描设备不能在同一视角下获取待测物体的全部点云信息. 针对迭代最近点算法（ICP）受点云初始位姿影响较大,鲁棒性差的特点,提出一种将多视点云数据作为研究对象,基于改进ICP算法的点云拼接算法. 该算法在选取特征点时,将坐标轴与阈值相结合,设定一个阈值约束候选点的搜索范围,然后得到欧氏距离最近的点集,并使用ICP算法进行点云拼接. 实验结果表明使用本文算法较传统ICP算法在迭代耗时、拼接精度上有明显的优势.     

一种基于抓取簇和碰撞体素的工业零件抓取姿态检测算法

针对工业上常见的散乱堆叠零件的抓取问题,提出一种基于抓取簇和碰撞体素的抓取姿态检测算法。所提出的抓取簇是定义在零件上的连续抓取姿态集合,解决了传统方法中因采用离散固定抓取点而导致可抓取点丢失、筛选效率低的问题。先对料箱和场景点云进行体素化;然后把包含料箱或点云的体素标记为碰撞体素,并把与碰撞体素相邻的体素标记为风险体素,从而建立体素化的碰撞模型;接下来,根据抓取簇的几何性质计算出候选的抓取姿态及其对应的抓取路径;最后,通过检测抓取路径所经过的体素类型来完成快速的碰撞检测,从而筛选出最优抓取姿态。基于所提算法搭建了完整的Bin-Picking系统,并对多种实际工业场景中常见的零件进行仿真实验和实际抓取实验,结果表明：该算法能够快速、准确地检测出安全的抓取姿态,实际抓取的平均成功率达92.2%,料箱平均清空率达87.2%,较传统方法有明显提升,且抓取过程均未发生碰撞,可满足实际工业应用的要求。