基于渲染技术改进的一套点云配准流程

配准是两个点云之间的刚体变换估计问题，近年来有众多深度学习方法被提出以解决该问题。然而，这些方法的训练集往往来自费时费力且数据量不足的真实采集和人工标定。该问题有望通过渲染技术解决。立足于6D位姿估计应用场景，设计了一套基于Point Transformer深度学习点云特征提取网络的点云配准算法流程。应用渲染技术将ShapeNet数据集模型在不同视角生成大量局部投影，构建训练集。使用InfoNCE作为损失函数，以对比学习的方法使Point Transformer网络学习点云的逐点特征描述。开发了Rendering-ICP算法以优化精配准环节，作为最终位姿估计结果。在Linemod数据集上验证本套算法流程，使用VSD回归作为评价指标，与现存方法对比，获得了7%的性能提升。     

基于局部特征的位姿求解算法北大核心

为提高点云数据配准精度,更准确获取目标物体位姿信息,提出一种基于局部特征的多源数据匹配位姿求解方法。首先,通过3D深度相机获取模型三维点云数据,并根据梯度阈值算法从大量点云数据中得到物体表面梯度值;其次,使用L+边界提取算法提取物体边缘轮廓特征信息,再遍历实体大量点云数据求解二维轮廓特征值,从而对输出的轮廓特征数据建立特征数据库;最后,对获取的点云数据特征进行数据处理,通过Hu矩匹配算法找到相对应的数据源后再由F-ICP匹配算法获取模型位姿。结果表明基于局部特征的多源数据匹配算法可以有效对点云数据进行位姿计算,匹配精度得到提升。     

视觉引导下机器人拆垛场景识别定位抓取方法

针对2D图像识别缺乏3D姿态信息，而传统的3D视觉需要处理大量点云，运算时间较长等问题，提出一种基于改进Mask R-CNN与局部点云迭代优化相结合的机器人拆垛、分拣及码垛策略。对Mask R-CNN网络进行改进，在其ROIAlign结构之后加入空间变换网络模块，提升识别准确率；利用改进的Mask R-CNN网络对目标进行实例分割，结合场景点云分割得到物体感兴趣区(ROI)场景局部点云；采用加入K维树邻域搜索的迭代最近点算法将物体ROI场景局部点云与模板点云进行配准，最终得到位姿估计的结果。UR5协作机器人根据此结果解决拆垛、分拣及码垛问题，实验结果表明：利用改进的Mask R-CNN网络提升了目标识别的准确率，使用ROI局部点云法减少了场景点云与模板点云配准的迭代次数，提高了工业机器人的拆垛、分拣及码垛效率。     

基于深度相机的汽车转向节位姿估计研究

针对汽车转向节自动化加工需求，研究转向节位姿估计实现方法。构建转向节检测整体方案，对相机畸变进行标定，并根据标定结果产生点云；针对转向节中心孔尺寸存在偏差，无法直接利用点云配准技术实现3D坐标间接定位问题，利用2D图像处理确定像素坐标配合深度相机索引深度值确定抓取点3D坐标；对转向节不同姿态估计问题，利用SAC-IA算法将待检测转向节点云与模板转向节点云进行初始配准，再利用NDT算法进行细配准；开发软件进行测试。结果表明：用所提算法细配准，匹配得分为27 mm2，验证了转向节姿态估计的精度。     

基于工业机器人的图像引导圆孔定位方法

在图像引导的圆孔金属工件自动化装配中,由于圆孔金属工件的图像存在弱纹理甚至无纹理的情况,从而导致对圆孔位姿的定位精度低。针对此问题,通过工业机器人带着单目工业相机水平移动构建一个平行双目结构,获取双目图像;通过对双目图像中的圆孔轮廓提取的特征点粗匹配,得到图像的基础矩阵,再通过基于弧段的椭圆检测对双目图像中的圆孔轮廓进行提取,最后通过上述信息进行基于极线约束的双目精立体匹配并求得相关点三维坐标与位姿。实验结果表明：孔位与孔心距精度保持在1 mm内,孔姿态精度保持在0.3°内。     

基于概率匹配的栅格地图拼接算法北大核心

栅格地图拼接是栅格地图扩展和多地图合并成大地图的一项关键技术,现有拼接方法主要是基于图像的特征提取和匹配,应用在彩色图像中的效果较好,但在栅格地图中却存在着匹配可靠性差和精度不高的问题。针对现有不足,提出了一个基于自适应分支定界匹配和双向概率残差优化匹配的栅格地图拼接算法。首先,从源地图和目标地图中提取源点云和目标点云;其次,将目标点云和源地图进行分支定界匹配,获取目标点云在源地图中的初始位姿;然后,将目标点云通过初始位姿投影到源地图,构建概率残差的第一个约束,再将源点云通过初始位姿的逆变换投影到目标地图,构建概率残差的第二个约束;之后,构建两个约束的代价函数,通过非线性优化得到目标地图在源地图中的最优位姿;最后,通过占据概率融合得到拼接后的栅格地图。结果表明,该算法匹配效果好、迭代收敛速度快、匹配精度高,满足工业场景的可靠性和精度要求,对于工业场景下的地图构建和AGV导航具有重要意义。     

动态场景下移动机器人视觉SLAM

为实现动态场景下移动机器人自主定位和建图,解决传统视觉里程计方法跟踪效果差及累积误差问题,提升闭环检测的准确性和鲁棒性,提出融合深度学习的同时定位与地图构建方法。采用四叉树算法均匀化特征分布,解决动态场景特征聚集问题;通过优化的目标检测网络识别场景动态语义信息,剔除动态物体对位姿估计的干扰;充分提取场景空间结构信息,结合点特征和线特征实现位姿跟踪及回环检测,构建全局一致的环境地图。TUM数据集和真实场景实验结果表明：改进方法提升了移动机器人定位和建图的准确性和鲁棒性。     

动态场景下基于背景补偿的移动机器人定位研究

针对室内移动机器人在动态环境下不能准确估计位姿的问题,提出一种结合帧差法和背景补偿的RGB_D视觉同步定位与建图方法。利用ORB方法进行特征点检测和匹配,然后利用LK光流法部分消除动态物体对全局运动估计的影响并进行背景补偿,最后使用帧差法得到动态目标,在位姿估计中去除动态目标上的特征点,加上形态学腐蚀和膨胀运算去除噪声对提取目标过程的影响。在TUM数据集下的实验表明,提出的方法可以有效提高定位精度,减少动态物体的影响。     

基于视觉激光惯性相结合的机器人SLAM算法

针对弱纹理环境下SLAM系统只依靠单一传感器鲁棒性较差的问题,提出一种视觉、单线激光雷达与惯性相结合的机器人SLAM算法。在视觉与雷达预处理阶段,视觉提取点线特征,同时雷达帧间匹配过程采用激光点到其最近两个点连线的距离构建误差方程,实现更高精度匹配效果。采用惯性传感器与轮速里程计进行雷达运动畸变校正,同时雷达估计信息为单目点线特征三角化提供良好深度值,再利用点线视觉信息、雷达点云信息与惯性测量单元紧耦合优化机制提高机器人SLAM的精确度。最后,将该方法在仿真环境和真实弱纹理环境进行实验。结果表明：该方法定位准确率达到98.6%,在弱纹理环境中定位效果具有较强的鲁棒性和准确性,满足实际需求。     

一种基于点云的机械手抓取方法

针对传统的机械手抓取方法难以获得可靠抓取位姿的问题，提出一种基于点云的抓取方法。通过深度相机获得工作空间的部分点云；采用GPD法在点云空间采样候选抓取位姿；最后，通过自主设计的评估模型筛选出高质量的抓取位姿。基于所提方法，搭建了完整的自主抓取系统，对多种物体进行实际抓取实验。结果表明：算法能有效地检测出可靠的抓取位姿，且对未知物体的泛化性良好，抓取成功率和抓取完成度较传统方法有明显提升，能够满足各类抓取任务的需求。     

面向铸件自动化打磨的点云精简方法

由于铸件自动化打磨作业中存在点云数据过冗余等问题，导致数据处理时间过长，影响加工效率。为了提高点云处理的计算效率，提出一种基于线性耦合曲率的点云精简方法，以兼具效率和精度。对源扫描点云构建K-d树数据结构，并提出更稳健的线性耦合曲率特征模型以提取特征域；在此基础上，利用改进空间二分法快速精简非特征域；最后融合特征域和精简后的非特征域，得到最终精简结果。结果表明：该方法可得准确的精简比，拟合曲面模型仅存在微小的数据空洞。在90%精简比、2.7%噪声比条件下，保形性误差为0.867 mm，优于传统的点云精简方法，能够实现铸件点云的高效精简。     

复杂箱体零件的激光扫描测量与模型重构

复杂箱体是一种制造难度较大的重要零件,逆向设计技术可以有效缩短复杂箱体零件的设计周期、降低生产成本,箱体的数字化测量是逆向设计的关键技术之一。在对复杂箱体进行数字化测量时,选用了转站方式的激光扫描测量方法。箱体外表面的点云数据可以通过激光扫描测量直接获得;箱体内腔形状复杂,难以测量,通过将石膏灌入箱体内腔,待石膏冷却成型后取出石膏,测量石膏外表面获得石膏外表面点云数据。计算出石膏质心,将石膏表面点云依照石膏材料的收缩率进行以质心为中心的缩放处理,反求出箱体内腔表面的点云数据,最后利用特征点匹配的方法将复杂箱体的外形点云数据和内腔点云数据融合,形成完整的箱体点云模型。根据点云完成了复杂箱体零件的三维数字模型的重构和精度评价。     

基于点云深度学习的散乱堆叠轴承圈位姿检测

为解决工业应用中散乱堆叠轴承圈的难识别、分割与抓取问题，提出一种分层递进随机下采样算法对采集的点云模型进行下采样操作，并结合提出的基于RGB阈值自动标注算法完成数据集的制作，利用PointNet++网络预测并分割出可抓取轴承圈上表面，进而使用RANSAC算法精确分割出待抓取轴承圈上表面，最后采用防干涉的抓取点选取策略完成待抓取轴承圈的位姿检测。实际场景下三组抓取实验得到的成功率均在98%以上，验证了其有效性。     

点云拟合中的特征识别技术研究

由于大多数机械零件产品都是按一定的特征来设计制造的，而在实物反求中进行点云拟合时并没有按特征来进行，未对特征进行识别。点云拟合是反求工程的关键环节之一，文章对点云拟合中的特征识别技术进行了研究，提出了特征识别与自由曲面拟合方法相结合的三维CAD模型重构策略。     

基于机器视觉的实体模型逆向重建系统

为了解决点激光扫描重建过程中点云稀疏、颜色纹理特征不明显的问题提出了一种基于相机图像信息与激光点云融合的三维重建方法.该方法结合线激光三角测距、相机坐标变换关系获取物体深度信息和点云数据,然后利用随机抽样一致(RANSAC)原理进行图像配准,实现对单目标实体的逆向建模.实验结果表明,该系统具有较高的可靠性和良好的精度,...     

基于图像三维重建的退役零件表面失效特征表征方法

退役零件的失效程度是判断其可再制造性的关键因素之一,为克服失效程度难以快速精确量化的问题,提出一种基于图像三维重建的退役零件失效特征表征方法。针对失效特征重建精度要求高的特点,在由运动恢复形状(Shape from motion,SFM)算法的基础上提出一种自标定全局SFM三维点云重建算法,利用光束平差法优化相机焦距、径向畸变参数,实现了相机自标定,增加了全局SFM算法的鲁棒性;以重建有效三维点数量占比、点云完整度和相机位姿准确度为评价指标,构建了重建精度评价模型,实现了图像三维重建精度的量化评价;提出了退役零件表面失效特征量化方法和实施流程,并定义了失效特征信息计算公式;最后,以电梯导靴为例,对其表面磨损失效特征进行了量化表征。试验结果表明,该方法可以有效地用于毫米级及以上的退役零件表面失效特征的快速量化表征。     

基于数字孪生的工业机器人虚实联动系统开发

为实现工业机器人与数字孪生体之间数据的双向驱动，基于数字孪生系统架构，开发一种工业机器人虚实联动系统。在Unity3D中搭建虚拟场景，建立关节控制、末端点位控制、末端轨迹控制等多种方式实现虚拟机器人的仿真运动。基于TCP/IP协议的Socket网络通信模式，利用双向传输的机器人位姿状态等数据驱动虚实模型同步运动。经测试，该系统具有良好的实时性与沉浸性，能够满足工业机器人的实时监测与可视化控制要求。     

K-means聚类精简点云驱动PointNet++的行星齿轮故障诊断

复杂装备的三维模型点云数据具有非结构化、无序性、离散性的特点，数据精简策略和深度神经网络模型构建被视为点云数据驱动的机械设备故障诊断关键技术难点。提出了一种K-means聚类(K均值聚类算法)精简点云驱动PointNet++的行星齿轮故障诊断方法。首先，提出了基于K-means的点云数据精简策略实现了在充分保留细节特征的前提下，精简84%的冗余数据；其次，构建了简度、速度、精度的精简效果三维评价指标体系并对精简算法进行评价；最后，构建了能够提取局部特征的PointNet++故障诊断模型。实验结果表明，相比于点云数据直接驱动PointNet++,K-means聚类精简点云驱动PointNet++的行星齿轮故障诊断的准确率提升了6.9%,表明了所提方法的有效性。     

基于IINFO的粒子重组FastSLAM在SLAM中的研究

针对FastSLAM算法需要增加粒子数提高精度以及重采样导致的粒子多样性缺失的问题，提出一种改进INFO(向量加权平均算法)优化的粒子重组FastSLAM算法。首先，在预测粒子集时加入最新时刻的观测信息并通过INFO计算粒子适应度值，为增强INFO跳出局部最优的能力，对最优个体进行柯西变异；其次，通过改进INFO寻优能力强，收敛速度快的特性更新预测粒子集，使得在计算权重前粒子集的位姿就更接近期望值，以此提高估计精度；最后，重采样阶段将筛选后保留的粒子与剩余粒子重新组合成新的粒子，以此增加粒子多样性。仿真实验结果表明，IINFO-FastSLAM算法较FastSLAM、INFO-FastSLAM算法相比，其位姿与路标估计精度更高且鲁棒性更佳。     

五轴并联机床刀具末端运动位姿自适应控制技术

高精尖领域对精密小零件的加工精度要求越来越高，五轴并联机床作为主要机械加工设备，严格控制机床刀具的运动位姿对于保证成品零件的加工精度具有极其重要的作用。在此背景下，研究一种五轴并联机床刀具末端运动位姿自适应控制技术。在五轴并联机床前方布置两个CCD 摄像头作为视觉系统，拍摄关于刀具末端的左右两张图像；在图像预处理、特征点提取与匹配等环节的基础上，求解位姿参数，包括位置三维坐标以及3个姿态数据。以刀具末端运动实际位姿为输入，利用神经网络获取与刀具末端紧密相连的五轴关节角度补偿量。利用PID控制器，通过补偿量计算位姿控制量不断纠正位姿误差，靠近理想位姿。结果表明：应用所提控制方法，与理想位姿之间的平均误差均更小，且平均误差的波动最小，三维位置坐标波动仅在-0.02~0.015、-0.01~0.02、-0.02~0.02 mm之间；横滚角、俯仰角以及方位角波动仅在-0.02°~0.03°、-0.01°~0.04°、-0.02°~0.01°之间，由此说明所提控制方法的精度更高，控制稳定性更高。