基于点云实例分割的鲁棒多目标位姿估计

针对多目标位姿估计过程中点云局部特征存在类间错误匹配的问题，提出了基于点云实例分割的鲁棒多目标位姿估计算法。首先，基于密度聚类对场景点云进行分割得到点云簇，并用快速点特征直方图（FPFH）描述子对分割后的点云簇进行局部特征提取；然后利用随机森林算法对聚合后的点云簇的局部特征进行分类，完成点云实例分割；之后对于场景中每一个分割后的实例，采用近似近邻快速库（FLANN）匹配算法对场景实例和模型进行特征匹配，得到实例分割后的点在对应类别模型上的匹配点，利用随机采样一致（RANSAC）算法以及最小二乘算法计算初始位姿；最后经过点到平面迭代闭合点（ICP）算法得到每个实例的精确位姿。在CV-Lab 3D合成数据集以及UWA真实采集数据集下的实验结果表明，相比直接匹配模型和全部场景点的局部特征进行多目标位姿估计，所提算法能够有效提升局部特征匹配阶段的内点概率，从而提升复杂场景下位姿估计的鲁棒性和准确率，尤其适用于场景中具有多个实例的位姿估计应用。     

基于伪孪生神经网络的低纹理工业零件6D位姿估计

从单帧RGB图像中获取目标物体的6D位姿信息在机器人抓取、虚拟现实、自动驾驶等领域应用广泛.本文针对低纹理物体位姿估计精度不足的问题,提出一种基于伪孪生神经网络的位姿估计方法 .首先,通过渲染CAD模型的方式,获取不同观察角度下的RGB图作为训练样本,解决了深度学习中数据集获取与标注较为繁琐的问题.其次,利用伪孪生神经网络结构学习二维图像特征和物体的三维网格模型特征之间的相似性,即分别采用全卷积网络和三维点云语义分割网络构成伪孪生神经网络,提取二维图像和三维模型的高维深层特征,使用网络推断密集的二维-三维对应关系.最后,通过PnP-RANSAC方法恢复物体的位姿.仿真数据集的实验结果表明,本文提出的方法具有较高的准确性和鲁棒性.     

基于双边对称约束的复杂点云分割

针对室内三维物体识别研究中复杂点云分割不完 全或过分割的问题,基于生活中物体具有一定结构 对称性假设,提出了一种利用物体对称性约束的复杂点云分割算法。通过提取和匹配待分割 点云中的曲面 法线边界曲线,检测场景中的3D双边对称,建立对称假设集合,基于对称点属性判断完成室 内生活环境复 杂点云分割。借助Maryland大学生活场景复杂点云数据库,对算法进行了实验验证。结果表 明:相比于区 域生长算法和LCCP算法,基于双边对称约束的复杂点云分割算法的平均分数评价参数WOv,t p,fp,fn最优,分割效果好,分割完全。     

LSFP下的机器人视觉定位技术研究

针对当前点云的定位算法中,多平面分割效果差、误匹配以及定位精度不够高等问题,提出LSFP的定位思想和C-S分割算法,对目标物体进行定位。在深度相机场景下,利用点云处理算法初步获取目标的位姿,经手眼标定后,进行初步引导;再使用3D扫描仪进一步定位目标物体。结果表明：(1)C-S分割算法对多平面分割效果良好,能更准确地去除多余平面,减少点云数量。(2)在垂直于Z轴且Z轴坐标值为171 mm和-10 mm的平面上,仅PrimeSense的定位距离的均方根误差为7.3 mm和8.2 mm, LSFP下的定位距离的均方根误差为2.6 mm和3.2 mm。(3)LSFP定位思想能扩大场景定位的范围,提高物体的定位精度,具有良好的准确性。     

一种优化的机器人抓取位姿检测方法

针对传统的机器人抓取检测方法存在准确率低、实时性差的问题,提出了基于深度学习的机器人抓取位姿检测方法。在康奈尔抓取数据集上,设计一种端到端的抓取检测网络模型并训练,输出目标物体的抓取位姿表示参数。针对现有的抓取姿态表示方法的不足,结合YOLOv5目标检测算法生成目标物体的点云图,采用PCA方法生成抓取姿态,并提出一种优化的姿态提取方法。实验结果表明,利用端到端的网络模型和优化的PCA方法提高了机器人抓取位姿检测的准确性、实时性。     

基于视点特征直方图的激光点云模型的位姿估计

提出一种基于视点特征直方图的点云模型位姿估计 算法。首先在目标物体周围采 集三维点云,拼接后获得物体的完整点云模型;然后对点云模型计算其视点特征直方图, 构建特征数据 库;对待估计点云同样计算其特征直方图,使用KNN算法在数据库中搜索与之最接近的位 姿作为初始位 姿估计值;最后使用迭代最近点(ICP)算法将待估计点云精确配准到模型点云,从而获得坐 标系之间的相 对位姿。实验表明,这种方法对于物体位姿识别有很强的稳健性,能很好实现目标物体的 三维位姿计算。     

随机工件的点云场景CAD模型的快速识别与定位

工业机器人精准抓取工件的前提是能够获取到目标工件的位置与位姿的信息。提出一种在三维点云场景对随机摆放目标工件的快速、精准的识别与定位的方法。在复杂点云场景中随机采样并提取关键点组成随机点对表征局部特征,再与由物体CAD模型建立的三维匹配模板进行配准,获得一系列候选位姿。利用表面相似点占比多次优化位姿,确定目标工件最佳位姿。最后利用虚拟相机投影二维视图到图像坐标系直观呈现结果。选择汽车座椅连接件作为验证实验的实验对象,实验结果表明:目标工件平移方向上拟合误差可以达到0.3 mm左右,旋转的拟合误差可以达到0.8°左右,具有较高的稳定与高效性能。     

基于深度学习的机器视觉在机械臂中应用

本文研究了基于深度学习的机器视觉在机械臂中的应用。传统的基于程序控制的离线抓取方法仅适用于大批量的加工流程,无法实现对部分小规模产品的高效抓取。近年来,随着计算机视觉技术的发展,人们对随机放置对象的抓取问题有了更多的要求。为解决上述问题,本项目拟研究一种基于深度学习的机器人视觉抓取新方法,实现对目标的目标识别、姿态测量和抓取与放置,进而提升抓取效率。针对上述问题,本项目将从相机标定、双目测距、物体检测、物体语义分割、物体位姿估计等方面开展系统的研究。     

基于三维激光扫描仪的无序工件精准定位北大核心CSCD

为了获取生产线上无序且被遮挡的工件的准确位姿,为后续机械臂对工件特定部位的抓取提供支持,本文使用高精度三维激光扫描仪扫描生产线上无序摆放的工件,然后对原始点云先后采用Voxel-Grid降采样、平面分割和DBSCAN聚类,分割出单个工件点云,再用K-4PCS粗配准和kd-tree加速的GICP精配准方法,将工件实际点云与标准的点云模板(由工件的机械设计图转化而来)进行配准,最终得到了两者之间精确的位姿变换矩阵,进而获得工件摆放的准确位姿。为了验证论文提出方法的有效性,对生产线上3组形状不同工件的摆放位姿进行了测试。结果表明,该方法对于不同形状的工件摆放位姿都有很好的求解精度(误差≤3 mm)。     

基于扫摆式多相机跟踪的六自由度测量方法

目前视觉测量技术针对工业目标的六自由度测量，存在难以兼顾测量效率、精度与范围的问题。为此，本文提出了一种基于扫摆式多相机跟踪的六自由度测量方法，通过同站位不同角度多图像观测联合构成大尺寸坐标计算的冗余约束量，来实现高效率、高精度、大范围位姿测量。首先，提出相机旋转扫摆运动模型，快速估计相机位姿，并作为先验信息进行图像匹配与空间后方交会，得到精确相机位姿，进行空间前方交会；然后，提出了基于像点平差的位姿估计方法，直接利用物体移动前后的像点信息作为观测值，进行物体位姿的最优化估计。实验结果表明，测量效率提高了4倍，单点精度的最大误差不超过0.2 mm，姿态精度的最大误差不超过0.043°，证实提出方法能有效测量物体的六自由度位姿，一定程度上平衡了测量效率、精度与范围的矛盾。     

面向室内动态场景的VSLAM

传统VSLAM算法基于静态场景实现,其在室内动态场景下定位精度退化,三维稀疏点云地图也会出现动态特征点误匹配等问题.文中在ORB-SLAM2框架上进行改进,结合Mask R-CNN进行图像的语义分割,剔除位于动态物体上的动态特征点,优化了相机位姿,得到了静态的三维稀疏点云地图.在公开的TUM数据集上的实验结果表明,结合...     

基于C-TOF成像的位姿测量与地物目标识别技术研究

深空探测器的功耗和体积有限,任务工况多样,与低轨道地球探测器相比,深空探测器对导航敏感器的任务能力提出了更高的需求。提出了一种基于飞行时间成像的快速位姿测量和地物目标识别技术。为了在保证位姿测量精度的前提下满足对位姿测量时间性能的需求,提出了一种基于深度信息的动态尺度估计方法。该方法提升了物方多尺度变化条件下点云配准的时间稳定性,平均配准时间缩短60%以上,平均配准精度约为0.04 m。为了满足多尺度、多形态地物目标识别的需求,使用了基于轻量化深度神经网络,可根据场景深度信息进行地物检测。结果表明,该方法可对地物特征进行快速感知,在真实场景中的准确率达到70%以上。     

Learning latent geometric consistency for 6D object pose estimation in heavily cluttered scenes

6D object pose (3D rotation and translation) estimation from RGB-D image is an important and challenging task in computer vision and has been widely applied in a variety of applications such as robotic manipulation, autonomous driving, augmented reality etc. Prior works extract global feature or reason about local appearance from an individual frame, which neglect the spatial geometric relevance between two frames, limiting their performance for occluded or truncated objects in heavily cluttered scenes. In this paper, we present a dual-stream network for estimating 6D pose of a set of known objects from RGB-D images. Our novelty stands in contrast to prior work that learns latent geometric consistency in pairwise dense feature representations from multiple observations of the same objects in a self-supervised manner. We show in experiments that our method outperforms state-of-the-art approaches on 6D object pose estimation in two challenging datasets, YCB-Video and LineMOD.     

融合深度卷积网络与点云网络的三维车辆检测方法分析

在常规的车辆目标检测中,YOLO,SSD,RCNN等深度模型都获得了较好的检测效果,但是在无人驾驶系统中,车辆的速度、方向、相对距离等因素对于系统来说十分重要,所以采用二维车辆检测对于驾驶场景的理解还远远不够。激光点云数据蕴含着丰富的三维环境信息,融合点云数据和深度网络的三维车辆检测已成为未来的发展方向。文章给出了一种基于点云网络与卷积神经网络的三维车辆检测方法,首先,使用CRC和输入尺寸有关的SDP技术来提高车辆检测的准确性;其次,采用点云网络结构(Pointnet)来处理点云数据,实现三维目标检测,研究表明设计网络结构在检测精度上有着较大的优势。     

融合注意力门控机制的大场景点云语义分割

室外大场景激光点云语义分割已成为3D场景理解、环境感知的关键性技术,在自动驾驶、智能机器人和增强现实(AR)等领域应用广泛。然而大场景的激光点云具有多目标、几何结构复杂,不同地物尺度变化大等特点,使得在稀疏的小目标点云(例如行人、摩托车等)上的分割性能较低。针对上述问题,本文提出一种融合注意力门控机制的室外点云语义分割算法,设计由注意力机制和多尺度上下文特征融合组成的注意力门控单元,提高对激光点云细粒度特征的表达,降低随机降采样过程中点云几何结构特征丢失程度,从而增强了网络对弱小目标的特征获取能力;同时设计基于共享MLP的平均池化单元,进一步简化自注意力局部特征聚合模块,有效地加速网络收敛,能高效地实现大场景点云的语义分割。本文方法在自动驾驶场景室外激光点云数据集SemanticKITTI上的实验表明,与文献RandLA Net相比,收敛速度提升483,平均交并比(mIoU)由539提升至545,提高06,尤其是在小目标上交并比(IoU)均有明显提高,person类和motorcycle类的交并比分别提高08和54。     

结合反卷积和扩张卷积的信道估计算法

信道估计作为无线通信的关键,近年来成为相关领域的研究热点。本文针对正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）系统下传统信道估计算法性能难以满足复杂场景的通信需求、受噪声影响大等问题,提出了一种基于反卷积网络及扩张卷积网络信道估计的深度学习方法。该方法利用信道的相关性构建了一个轻量级的反卷积网络,利用少数几层反卷积操作来逐步实现信道插值与估计,在较低的复杂度下较好地实现了信道估计。为改善估计性能,进一步构建了一个扩张卷积网络来抑制信道噪声,提高信道估计的准确度。仿真结果表明,在不同信噪比条件下,本文提出的基于反卷积及扩张卷积的深度学习方法比传统方法具有更低的估计误差,且复杂度较低。      

激光雷达场景三维姿态点法向量估计方法

激光成像雷达能够获取反映目标三维空间位置的点云数据,可直接估计目标三维姿态角,是完成特征提取、目标配准等工作的重要参数。实现场景的三维姿态估计,借鉴基于点法向量的三维姿态估计算法（PDVA）,针对真实场景中表征场景坐标系（SCS）坐标轴的正方向向量偏差较大的问题,提出了一种优化的三维姿态估计算法（OPDVA）。该方法利用场景点云存在大面积近似平面区域的特点,通过随机抽样一致算法（RANdom SAmple Consensus,RANSAC）的平面模型对聚类中其他方向的点法向量进行滤除,得到最优拟合平面对应的法向量即为修正后的SCS坐标轴。利用旋转变换和重采样等技术手段,分别采用矩形包围盒法、PDVA和OPDVA对3组真实场景距离像进行实验。实验结果表明:OPDVA方法对场景的姿态估计明显优于其他两种方法,姿态估计误差不超过4°,对存在遮挡的场景也同样适用。     

YOLO-NKLT视觉SLAM回环检测方法

针对存在明显光照变化或遮挡物等室外复杂场景下,现有基于深度学习的视觉即时定位与地图构建(visual simultaneous localization and mapping,视觉SLAM)回环检测方法没有很好地利用图像的语义信息、场景细节且实时性差等问题,本文提出了一种YOLO-NKLT视觉SLAM回环检测方法。采用改进损失函数的YOLOv5网络模型获取具有语义信息的图像特征,构建训练集,对网络重训练,使提取的特征更加适用于复杂场景下的回环检测。为了进一步提高闭环检测的实时性,提出了一种基于非支配排序的KLT降维方法。通过在New College数据集和光照等变化更复杂的Nordland数据集上进行实验,结果表明：室外复杂场景下,相较于其他传统和基于深度学习的方法,所提方法具有更高的鲁棒性,可以取得更佳的准确率和实时性表现。     

空间非合作目标点云聚类配准方法

空间非合作目标的相对位姿测量问题成为空间在轨操作任务的重难点,通过对激光雷达获取的目标三维点云进行聚类,得到小规模、特征明显的聚类点云,有效提高了配准效率和精度。针对基于区域生长的聚类算法在对可视点云进行聚类时,特征相似部分无法聚类识别的问题,提出了二维图像优化三维点云聚类的方法。该方法将深度值信息和RGB颜色值建立数学映射关系,点云降维后,利用颜色梯度突变进行边界提取,将边界内的点逆向恢复到原始点云,最后将各个类的点云进行合并,得到易于识别的显著特征点云。实验结果表明,在配准角度误差为±5°的条件下,可有效地缩减点云规模并保留了显著特征,提高ICP配准算法的计算效率,为解决空间非合作目标相对位姿实时测量提供技术支持和解决思路。