基于视点特征直方图的激光点云模型的位姿估计

提出一种基于视点特征直方图的点云模型位姿估计 算法。首先在目标物体周围采 集三维点云,拼接后获得物体的完整点云模型;然后对点云模型计算其视点特征直方图, 构建特征数据 库;对待估计点云同样计算其特征直方图,使用KNN算法在数据库中搜索与之最接近的位 姿作为初始位 姿估计值;最后使用迭代最近点(ICP)算法将待估计点云精确配准到模型点云,从而获得坐 标系之间的相 对位姿。实验表明,这种方法对于物体位姿识别有很强的稳健性,能很好实现目标物体的 三维位姿计算。     

基于点云实例分割的鲁棒多目标位姿估计

针对多目标位姿估计过程中点云局部特征存在类间错误匹配的问题,提出了基于点云实例分割的鲁棒多目标位姿估计算法。首先,基于密度聚类对场景点云进行分割得到点云簇,并用快速点特征直方图（FPFH）描述子对分割后的点云簇进行局部特征提取;然后利用随机森林算法对聚合后的点云簇的局部特征进行分类,完成点云实例分割;之后对于场景中每一个分割后的实例,采用近似近邻快速库（FLANN）匹配算法对场景实例和模型进行特征匹配,得到实例分割后的点在对应类别模型上的匹配点,利用随机采样一致（RANSAC）算法以及最小二乘算法计算初始位姿;最后经过点到平面迭代闭合点（ICP）算法得到每个实例的精确位姿。在CV-Lab 3D合成数据集以及UWA真实采集数据集下的实验结果表明,相比直接匹配模型和全部场景点的局部特征进行多目标位姿估计,所提算法能够有效提升局部特征匹配阶段的内点概率,从而提升复杂场景下位姿估计的鲁棒性和准确率,尤其适用于场景中具有多个实例的位姿估计应用。     

基于伪孪生神经网络的低纹理工业零件6D位姿估计

从单帧RGB图像中获取目标物体的6D位姿信息在机器人抓取、虚拟现实、自动驾驶等领域应用广泛.本文针对低纹理物体位姿估计精度不足的问题,提出一种基于伪孪生神经网络的位姿估计方法 .首先,通过渲染CAD模型的方式,获取不同观察角度下的RGB图作为训练样本,解决了深度学习中数据集获取与标注较为繁琐的问题.其次,利用伪孪生神经网络结构学习二维图像特征和物体的三维网格模型特征之间的相似性,即分别采用全卷积网络和三维点云语义分割网络构成伪孪生神经网络,提取二维图像和三维模型的高维深层特征,使用网络推断密集的二维-三维对应关系.最后,通过PnP-RANSAC方法恢复物体的位姿.仿真数据集的实验结果表明,本文提出的方法具有较高的准确性和鲁棒性.     

基于关键点距离表征网络的物体位姿估计方法

提出一种新型的关键点距离表征学习网络,该网络利用位姿变换过程的几何不变性信息,在网络中引入距离量的估计,进而推导出稳健关键点,以此来提升基于深度学习的六自由度物体位姿估计方法的精度。所提方法包含两个阶段。首先,设计了关键点距离表征网络,通过一种骨干网络模块和特征融合结构实现RGB-D图像特征提取,并结合多层感知机预测物体逐点相对于关键点的距离量、语义和置信度。其次,根据可视点投票法及四点距离定位法,利用网络输出的多维信息推理计算关键点坐标,并最终通过最小二乘拟合算法得到物体位姿。为了证明所提方法的有效性,在公开数据集LineMOD和YCB-Video上进行了测试,实验结果表明,所提方法相比于原PSPNet框架中的ResNet参数量减少一半且精度有所提升,在两个数据集上精度分别提升了1.1个百分点和5.8个百分点。     

一种非迭代的位姿估计方法

针对深度相机运动中的位姿估计问题,提出了一种无需迭代的估计方法。首先,在二维图像上应用图像特征点提取和描述方法,完成不同视点的初始匹配。其次,选择初始匹配度量距离最小的2个特征点作为种子点。以三维空间中欧式距离与坐标系的建立无关为准则,对初始匹配进行筛选。剔除误匹配点对,进而计算运动位姿参数。最后,采用nyuv2图像数据库进行实验,验证了本文算法的可行性和正确性。实验结果表明:与传统算法相比,该方法计算效率平均提高了8倍以上,特别适用于大型场景中的同步定位和地图构建SLAM(Simultaneous Localization and Mapping)问题。     

基于点云深度学习的3D目标检测

针对目前利用点云进行3D目标检测的研究较少和检测精度不高的问题,利用Frustum-Pointnets模型实现基于点云的3D目标检测,并在该模型的基础上进行改进,选用不同的激活函数和参数初始化方法进行组合对比,进一步提高模型的精度。实验表明:在选用Swish激活函数和He参数初始化方法时汽车平均检测精度提高了0.31 %,行人平均检测精度提高了0.41 %,骑车人平均检测精度提高了5.5 %。因此改进后的模型能有效提高检测的精度,使得模型能够应用在复杂的场景中。     

基于视觉的非合作空间目标三维姿态估计方法

基于视觉的非合作空间目标3维姿态估计,关键在于建立观测图像与目标模型的特征关联。当前方法往往通过采用复杂的多维特征、产生候选关联结果的方式确保特征关联的准确性,难以兼顾算法效率。为解决以上问题,该文提出一种结合深度学习技术的姿态估计方法,首先通过深度神经网络得到姿态初值,然后基于姿态初值建立图像和目标模型之间的特征关联,进而求解目标姿态。所提方法中,深度神经网络提供了稳定的姿态初值,缩小了特征关联的候选空间;在姿态初值的支撑下采取了更为高效的特征提取与匹配方法。仿真实验表明,该文方法相比于现有方法更好地兼顾了算法准确率和效率。     

基于深度学习的点云分割研究进展分析

深度传感器及激光扫描技术的快速发展使人们可以轻易地采集到大量的点云数据。点云数据可以提供丰富的场景及对象信息,现已成为自动驾驶、虚拟现实、机器人导航等应用的首选研究对象。作为点云处理的有效手段,点云分割技术受到了各界的广泛关注。尤其是在深度学习的推动下,点云分割的精度和鲁棒性有了很大的提升。该文首先介绍了点云分割存在的问题与挑战,接着从间接、直接处理点云的角度对点云分割近年来的工作进行了对比分析,其中,间接的方法有基于多视图、基于体素的方法两类,对于直接的方法,该文将其归纳为5类,分别为基于点处理、基于优化卷积神经网络、基于图卷积、基于时序和基于无监督学习的方法。然后介绍了每个类别中具有代表性的方法的基本思想,并阐述了每个方法的优缺点。此外,该文还介绍了点云分割的常用数据集以及评价指标。最后对点云分类、分割技术的未来进行了展望。     

基于多核稀疏编码的三维人体姿态估计

为了准确有效的重构多视角图像中的三维人体姿态,该文提出一种基于多核稀疏编码的人体姿态估计算法.首先,针对连续帧姿态估计的歧义问题,该文设计了一种用于表达多视角图像的HA-SIFT描述子,其中,人体局部拓扑、肢体相对位置及外观信息被同时编码;然后,在多核学习框架下建立同时考虑特征空间内在流形结构与姿态空间几何信息的目标函数,并在希尔伯特空间优化目标函数以更新稀疏编码、过完备字典与多核权值;最后,利用姿态字典原子的线性组合来估计对应未知输入的三维人体姿态.实验结果表明,与核稀疏编码、Laplace稀疏编码及Bayesian稀疏编码相比,文本方法具有更高的估计精度.     

Point cloud-based scene flow estimation on realistically deformable objects: A benchmark of deep learning-based methods

Flow estimation on 3D point clouds is a challenging problem in the field of computer vision, which has great significance in many areas, such as autonomous driving and human interaction applications. Within the last years, the field of motion analysis has made great progress. The evaluation of the existing approaches mostly focuses on scenarios where objects are affected by rigid transformations. However, in many application areas such as gesture recognition or pose tracking, the detection of shape changes is essential and breaking them down to local rigid transformations is accompanied by loss of information. One component of our contributions is that we specifically prepared existing datasets for scene flow estimation on deformable objects. Additionally, we benchmark existing methods and analyze their behavior on various subtasks. The results show that already close to 80% of correct correspondences can be found on synthetic hand data, while only around 50% are found on real hand data. Our experimental validation and analysis help to build an understanding of new possibilities in broader areas. Furthermore, they should help to inspire possible further research directions.     

基于信息论的KL-Reg点云配准算法

针对含有高噪声、体外点及不完整点云数据的配准失效问题,该文提出以信息论为理论基础,相对熵度量点云相似度的KL-Reg算法。该算法不需要显式地建立对应关系,首先将点云数据建模为高斯混合模型,然后用相对熵度量高斯混合模型间的分布距离,最后通过最小化分布距离计算模型变换。实验结果表明所提的KL-Reg算法配准精度高、稳定性强。     

LPPM-Net: Local-aware point processing module based 3D hand pose estimation for point cloud

3D hand pose estimation by taking point cloud as input has been paid more and more attention recently. In this paper, a new module for point cloud processing, named Local-aware Point Processing Module (LPPM), is designed. With the ability to extract local information, it is permutation invariant w.r.t. neighboring points in input point cloud and is an independent module that is easy to be implemented and flexible to construct point cloud network. Based on this module, a LPPM-Net is constructed to estimate 3D hand pose. In order to normalize orientations of the point cloud as well as to maintain diversity properly in a controllable manner, we transform point cloud into an oriented bounding box coordinate system (OBB C.S.) and then rotate it randomly around the principal axis when training. In addition, a simple but effective technique called sampling ensemble is used in the test stage, which compensates for the resolution degradation caused by downsampling and improves the performance without extra parameters. We evaluate the proposed method on three public hand datasets: NYU, ICVL, and MSRA. Results show that our approach has a competitive performance on the three datasets.     

多视角下结合形状和运动信息的三维人体姿态估计

该文以多视角同步视频为输入,提出综合利用形状和运动信息的3维人体姿态估计方法。该方法将人体分为头、躯干和四肢等3部分,每部分利用运动信息来预测当前的状态,并以形状信息作为检测器来确定姿态。这种在姿态估计中使用互补信息的方式极大地解决了漂移和收敛到局部极小的问题,也使系统能自动初始化和失败后重初始化。同时,多视角数据的使用也解决了自遮挡问题和运动歧义性。在包含多种运动类型的序列上的测试结果说明了该方法的有效性,对比实验结果也优于Condensation算法和退火粒子滤波。     

基于几何图像表示的点云曲面网络渐进传输

由于数据量大，直接传输点云曲面需耗费大量传输时间。文章提出了基于几何图像表示的点云曲面网络渐进传输方法。基于几何图像表示的点云曲面减小了点云曲面的存储代价，大大节约了网络传输时间。为了实现渐进传输，对平均金字塔层次结构图像进行了改进，通过几何图像的渐进传输来实现点云曲面的网络渐进传输。     

超分辨率面阵激光雷达的动目标姿态估计

提出一种基于新型成像传感器——电子倍增电荷耦合器件的超分辨率偏振调制三维成像系统。利用低带宽电光调制器作为亚纳秒级高速快门,实现三维成像系统时间(距离)分辨能力。该系统只需要采集一帧原始数据,就可以从灰度图像中重建深度信息,实现动态成像。基于该系统结构提出多维数据融合求解目标位姿的方法,并通过试验验证了方法的可行性。实验结果表明,对距离激光雷达1km外的目标进行测量,其位移精度小于3cm,位姿角误差小于3°。     

SAF-Nets: Shape-Adaptive Filter Networks for 3D point cloud processing

A deep learning framework for 3D point cloud processing is proposed in this work. In a point cloud, local neighborhoods have various shapes, and the semantic meaning of each point is determined within the local shape context. Thus, we propose shape-adaptive filters (SAFs), which are dynamically generated from the distributions of local points. The proposed SAFs can extract robust features against noise or outliers, by employing local shape contexts to suppress them. Also, we develop the SAF-Nets for classification and segmentation using multiple SAF layers. Extensive experimental results demonstrate that the proposed SAF-Nets significantly outperform the state-of-the-art conventional algorithms on several benchmark datasets. Moreover, it is shown that SAFs can improve scene flow estimation performance as well.