基于相对几何不变性的点云粗配准算法研究

针对目前点云在大数据量下的自动配准算法计算效率低下,粗配准初值匹配稳定性差,参数难以设置等问题,提出一种基于匹配对间相对几何不变性特点的快速粗配准算法。通过点云邻域特征值筛选一定量的关键点,利用快速点特征直方图（fast point feature histogram,FPFH）描述子初步获取最邻近匹配对;通过点云特征的对称候选寻点策略及两组正确匹配对在源点云与目标点云对应边的2-范数比例不变的特性获取精确的匹配对;利用奇异值分解算法（singular value decomposition,SVD）求解配准目标函数。实验表明,算法策略合理可靠,参数设置相对简易,具有显著的效率及稳定性优势,能够为后续精配准提供稳定精确的初始参数。     

自适应邻域选择的FPFH特征提取算法

在使用点云FPFH(Fast Point Feature Histograms)特征进行三维物体识别或配准时,人为主观调整邻域半径计算FPFH特征描述符具有随意性、低效性,整个过程不能自动化完成。针对该问题,提出了自适应邻域选择的FPFH特征提取算法。首先,对多对点云估算点云密度;然后,计算多个邻域半径以提取FPFH特征用于SAC-IA配准,统计配准性能最优时的半径与点云密度值,使用三次样条插值拟合法求出函数表达式,形成自适应邻域选择的FPFH特征提取算法。实验结果表明,该算法根据点云密度自适应选择合适的邻域半径,提升了FPFH特征匹配的性能,同时 加快了运算速度,具有指导价值。     

基于多核并行和动态阈值的点云配准算法

针对点云配准中存在错误匹配点对、精度不高等问题,提出一种基于多核并行和动态阈值的点云配准算法。该算法采用改进的SAC-IA算法进行点云粗配准,利用OpenMP实现点云查询点的法向量、FPFH等特征的并行加速提取以及对应点对的并行查找,从而使整个配准算法的速度得到保持甚至提升。在点云精配准阶段,使用改进的ICP算法进行精配准,改进点着眼于错误对应点对的剔除及其阈值的动态确定,即以配准点重心作为参照点,按照动态阈值,使用点对距离约束剔除错误对应点对。实验结果表明,本文算法在提升配准精度的情况下,配准速度也得到了提升。     

逐步求精的多视角点云配准方法

针对多视角点云配准问题,本文设计了一个合理的目标函数,便于将多视角配准问题分解成多个双视角配准问题,并考虑了两个要素:1）各帧点云均具有其他所有点云所未覆盖的区域;2）基准帧点云的重要程度高于其他点云.为了求解该目标函数,本文提出了逐步求精的解决策略:根据给定的配准初值构造初始模型,依次取出基准帧以外的每帧点云,利用所提出的双视角配准算法计算该帧点云的配准参数,并修正模型,以便进一步计算后续点云的配准参数.遍历完全部点云构成一次完整的循环,多次循环后可获得精确的多视角配准结果.公开数据集上的实验结果表明,本文所提出的方法能够精确、可靠地实现多视角点云配准.     

基于双向随机KD树的点云配准

在三维跟踪及逆向工程三维重建的过程中,需要采集大量物体表面的特征点（点云）数据,为达到更好的重建结果,采用多视角采集点云方式。多片点云数据的配准（Registration）是目前的研究热点之一。对点云快速配准方面传统采用的ICP算法加以改进,提出基于相机标定和双向随机KD树的ICP改进算法,提高了ICP在应对小型点云时的匹配精度。     

基于弧长密度的自动邻域半径鉴别FPFH提取算法

在快速点特征直方图(FPFH)的特征计算过程中,需要人工多次选择邻域半径,计算过程复杂且效率较低。针对该问题,提出基于弧长密度的自动邻域半径鉴别FPFH特征提取算法。给出点云弧长密度的计算方法,依据弧长密度估算多对点云的邻域半径,以提取FPFH特征并完成采样一致性初始配准,确定配准性能最优的半径与弧长密度值。在此基础上,使用最小二乘法拟合邻域半径与弧长密度之间的函数表达式,并与FPFH特征提取算法结合得到自动邻域半径鉴别FPFH特征提取算法。实验结果表明,该算法可根据点云弧长密度自动鉴别出合适的邻域半径,运算速度较快。     

大型工件部分点云与整体点云的配准方法

部分点云与整体点云的高效、高精度配准是完成大型工件尺寸快速评价工作的基础,但由于部分点云和整体点云全局特征的差异性,使用现有的局部特征描述符进行点对匹配搜索计算量大,点云配准耗时长.为此,针对部分点云与全局点云的几何特征,提出一种基于区域均值特征描述符的部分点云与整体点云配准方法.首先提出一种区域均值特征描述符,能够有效地描述点云中关键点的邻域几何特征;然后通过评价点云区域均值特征描述符的特征度选择数据点作为待配准关键点,搜索与之匹配的描述符,完成部分点云与整体点云的关键点匹配;最后使用奇异值分解法计算点云之间的转换矩阵,基于迭代最近点算法完成部分点云与整体点云的配准.利用斯坦福公共数据库点云集和大型发动机舱段的三维扫描点云数据,对配准算法的配准准确度和配准速度进行实验的结果表明,与现有的几种基于局部特征描述符(PFH,HoPPF,PPFH,FPFH)的点云配准方法相比,所提方法配准准确度平均提高56.75%,配准速度平均提高45.57%,验证了该方法的有效性.     

利用混合特征的多视角遥感图像配准

目的 多视角遥感图像配准是遥感图像处理领域的一项关键技术,其目的是精确获取图像间被测区域发生的几何变换关系。由于航拍视角变化以及地物的空间分布和几何形状的复杂度,多视角遥感图像间会产生非刚性畸变问题,增加了图像配准的难度,为此本文提出一种利用遥感图像SIFT（scale-invariant feature transform）特征点阵的全局和局部几何结构特征进行多视角遥感图像配准的算法。方法 通过增加对SIFT点阵的几何结构特征描述以及利用SIFT点阵间全局与局部几何结构特征的互补关系,提升存在非刚性畸变的多视角遥感图像配准精度。 结果 实验使用谷歌地球的卫星影像数据以及无人机航拍遥感数据对本文算法进行了测试,并与3种同类算法（SIFT、SURF（speeded-up robust features）、CPD（coherent point drift））进行对比实验,本文算法在存在非刚性畸变的多视角遥感图像配准中能够有效地提升SIFT特征点阵的配准精度,从而获得更加准确的多视角遥感图像配准结果。结论 本文实现了一种结合SIFT特征点阵的全局和局部几何结构特征进行多视角遥感图像配准的算法,实验结果表明了该方法对存在非刚性畸变的多视角遥感图像能够有效地进行配准,可适用于同源多视角情况下的遥感图像配准问题。     

基于3D-Harris 与FPFH 改进的3D-NDT 配准算法

针对传统点云配准三维正态分布变换(3D-NDT)、迭代最近点(ICP)算法在未给定初 始配准估计的情况下配准效果不佳、配准时间长、误差较大的缺陷,提出了精准且相对高效的 点云匹配算法。首先,运用3D-Harris 算法识别每一幅点云的关键点,并以此为基本点建立局 部参考框架,计算快速点特征直方图(FPFH)描述子;之后,使用最小中值法(LMeds)中的对应 估计算法排除不准确的点对应关系,得到含有对应三维特征关系的特征点对。计算粗配准所需 的变换矩阵,完成初步匹配。随后,根据3D-NDT 算法将点云数据空间体素化,运用概率分布 函数完成最终的点云进行精确地匹配。使用改进配准将3 组分别从网络下载的较少噪声、大规 模与Kinect V2.0 采集的较多噪声、大规模的2 组重叠度不同的点云数据匹配到同一个空间参考 框架中,并通过精度分析对比经典3D-NDT,ICP 等算法。实验结果证明,该算法在迭代次数 较低时,可使室内场景点云数据完成精度较高的配准且受噪声影响较小,但如何将算法的复杂 度适当降低,缩短配准时间需要更进一步的研究。     

颅骨点云模型的局部特征配准方法

目的 点云配准是计算机视觉领域里的一个研究热点,其应用领域涉及3维重建、目标识别、颅面复原等多个方面。颅骨配准是颅面复原的一个重要步骤,其配准的正确与否将直接影响到颅面复原的结果。为了提高颅骨配准的精度和收敛速度,提出一种基于局部特征的颅骨点云模型配准方法。方法 首先提取颅骨点云模型的局部深度、法线偏角和点云密度等局部特征;然后计算局部特征点集的相关性,得到相关候选点集,并通过删减外点实现颅骨点云的粗配准;最后采用基于高斯概率模型和动态迭代系数的改进迭代最近点 （ICP） 算法实现颅骨的细配准。结果 通过对公共点云数据模型以及颅骨点云数据模型分别进行配准实验,结果表明,基于局部特征的点云配准算法可以完成点云模型的精确配准,特别是对颅骨点云模型具有较好的配准效果。在颅骨细配准阶段,跟ICP算法相比,改进ICP算法的配准精度和收敛速度分别提高了约30%和60%;跟概率迭代最近点 （PCP） 算法相比,其配准精度差异不大,收敛速度提高了约50%。结论 基于局部特征的点云配准算法不仅可以用于公共点云数据模型的精确配准,而且更适用于颅骨点云数据模型的配准,是一种精度高、速度快的颅骨点云模型配准方法。     

改进的基于FPFH特征配准点云的方法

ICP(Iterative Closest Point)算法是点云配准中最常用的算法,而点云的FPFH(Fast Point Feature Histograms)特征可在点云配准中为其提供初始匹配信息。针对该方法的初始匹配中距离测度等问题,提出一种改进的基于FPFH特征配准点云的方法。点云配准时首先计算2个点云的点的FPFH特征之间的巴氏距离,以k-d树检索巴氏距离最小的对应点,然后利用奇异值分解计算初始转换矩阵,进行ICP算法精细匹配,求得最终变换矩阵。实验结果表明,改进的基于FPFH特征配准点云的方法能为ICP算法提供良好的初始变换矩阵,在同等迭代次数下该方法具有更高的精度。     

Intuitive robot teleoperation for civil engineering operations with virtual reality and deep learning scene reconstruction

Robotic teleoperation, i.e., manipulating remote robotic systems at a distance, has gained its popularity in various industrial applications, including construction operations. The key to a successful teleoperation robot system is the delicate design of the human-robot interface that helps strengthen the human operator’s situational awareness. Traditional human-robot interface for robotic teleoperation is usually based on imagery data (e.g., video streaming), causing the limited field of view (FOV) and increased cognitive burden for processing additional spatial information. As a result, 3D scene reconstruction methods based on point cloud models captured by scanning technologies (e.g., depth camera and LiDAR) have been explored to provide immersive and intuitive feedback to the human operator. Despite the added benefits of applying reconstructed 3D scenes in telerobotic systems, challenges still present. Most 3D reconstruction methods utilize raw point cloud data due to the difficulty of real-time model rendering. The significant size of point cloud data makes the processing and transfer between robots and human operators difficult and slow. In addition, most reconstructed point cloud models do not contain physical properties such as weight and colliders. A more enriched control mechanism based on physics engine simulations is impossible. This paper presents an intelligent robot teleoperation interface that collects, processes, transfers, and reconstructs the immersive scene model of the workspace in Virtual Reality (VR) and enables intuitive robot controls accordingly. The proposed system, Telerobotic Operation based on Auto-reconstructed Remote Scene (TOARS), utilizes a deep learning algorithm to automatically detect objects in the captured scene, along with their physical properties, based on the point cloud data. The processed information is then transferred to the game engine where rendered virtual objects replace the original point cloud models in the VR environment. TOARS is expected to significantly improve the efficiency of 3D scene reconstruction and situational awareness of human operators in robotic teleoperation.     

基于K-means++的多视图点云配准技术

针对大规模点集可能存在噪声、离群点及遮挡等情况,提出一种基于K-means+〖KG-*3〗+的多视图点云配准方法。首先,利用K-means+〖KG-*3〗+算法的随机播种技术对下采样后的多视图点集选取初始化的质心,并根据算法的基本原理完成聚类;其次,将点云数据存入K-D树结构,并利用最近邻搜索算法建立点集间的对应关系,从而提升对应点集的搜索效率;最后,通过迭代最近点算法依照扫描顺序计算各视图聚类得到的点云数据与所有视图间的刚性变换参数,将成对配准造成的误差均匀扩散到每个视图中,直至获得最终配准结果。在Stanford三维点云数据集上进行实验的结果表明,本文提出的方法比近年的部分多视图配准算法具有更高的配准精度及鲁棒性。     

A marker-less assembly stage recognition method based on corner feature

Fast and robust product assembly stage recognition is a key step in human–machine cooperative assembly. To solve the recognition problem of similar adjacent assembly stages, a marker-less assembly stage recognition method is proposed based on corner feature between an assembling product and a digital model. Considering the geometric features of mechanical products, a corner identification method is proposed based on the circumferential angle difference (CADF). Then a corner matching method based on distance constraint is studied for ICP registration to realize the point cloud registration between the product and digital model. Based on the registration relationship, a similarity algorithm based on proximity point proportion is used to calculate the similarity between models and the input assembling product. The model with the greatest similarity is taken as the stage recognition result. In experiments on four group assembling products, the average stage recognition accuracy is 96.15%, which indicates that the proposed method can solve the stage recognition problem. The corner identification method based on the CADF outperforms the Harris-3D corner detection method in the efficiency of assembly stage recognition.     

基于多尺度特征多对抗网络的雾天图像识别

目的 当前的大型数据集,例如ImageNet,以及一些主流的网络模型,如ResNet等能直接高效地应用于正常场景的分类,但在雾天场景下则会出现较大的精度损失。雾天场景复杂多样,大量标注雾天数据成本过高,在现有条件下,高效地利用大量已有场景的标注数据和网络模型完成雾天场景下的分类识别任务至关重要。方法 本文使用了一种低成本的数据增强方法,有效减小图像在像素域上的差异。基于特征多样性和特征对抗的思想,提出多尺度特征多对抗网络,通过提取数据的多尺度特征,增强特征在特征域分布的代表性,利用对抗机制,在多个特征上减少特征域上的分布差异。通过缩小像素域和特征域分布差异,进一步减小领域偏移,提升雾天场景的分类识别精度。结果 在真实的多样性雾天场景数据上,通过消融实验,使用像素域数据增强方法后,带有标签的清晰图像数据在风格上更趋向于带雾图像,总的分类精度提升了8.2%,相比其他的数据增强方法,至少提升了6.3%,同时在特征域上使用多尺度特征多对抗网络,相比其他的网络,准确率至少提升了8.0%。结论 像素域数据增强以及多尺度特征多对抗网络结合的雾天图像识别方法,综合考虑了像素域和特征域的领域分布差异,结合了多尺度的丰富特征信息,同时使用多对抗来缩小雾天数据的领域偏移,在真实多样性雾天数据集上获得了更好的图像分类识别效果。     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。