基于点云匹配的AR饰面作业系统跟踪注册方法

针对建筑机器人饰面作业过程中常因视觉遮挡导致作业效率低的问题,使用增强现实解决遮挡并提出一种基于点云匹配的增强现实跟踪注册方法。利用目标模型点云与作业环境点云的匹配进行目标的初始定位;利用改进的相关滤波跟踪算法对目标进行跟踪获取目标位置;基于迭代最近点法对目标位姿进行估计。在跟踪注册过程中加入位姿优化,保证目标位姿估计精度。为了更加准确地跟踪目标位置,提出一种特征融合和尺度自适应的改进相关滤波目标跟踪算法。通过板材安装实验,表明跟踪注册方法精确性、实时性均较好,最小识别误差达到2.88 mm,具有良好的虚实融合效果。     

夜视误差补偿的车道行人距离计算技术仿真

在车载智能视觉采集系统的研究中,由于当前车载智能视觉采集过程对车道上行人距离的判断没有考虑夜视环境的特殊性,也没有考虑图像视觉处理过程中由于夜间带来的计算误差对行人距离计算的影响,判断的行人距离在夜间存在较大误差.为了避免上述弊端,提出了一种考虑夜视误差补偿的车道行人距离计算方法.通过分析夜视图像中的距离计算特征,运用一种插值误差补偿的方法,对由于夜视原因造成的像素过于宽泛误差进行补偿,能够将夜视环境下的视觉误差进行补偿,将不同坐标系统中的车道与行人点进行转换,获取误差补偿后的车道坐标系统中对应点的空间位置和行人坐标系统中对应点的空间位置,实现精确计算.实验结果表明,利用改进后的算法进行车道行人距离计算,能够有效提高识别的准确性.     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

一种无记忆点云迭代简化算法

针对目前点云迭代简化算法在简化过程中需要保持原始模型信息而占用较大内存的问题,提出了一种无记忆点云迭代简化算法,简化过程中不需要记录原始模型相关几何信息。该算法使用体积优化和距离优化计算点对收缩后的最优点位置并对点对进行排序。实验表明,该算法可以在内存占用较小的情况下得到误差较小的简化模型。     

一种改进的稀疏迭代最近点算法

稀疏迭代最近点算法是针对含有噪声点的点云配准提出的,但它却存在对目标点云中的离群点敏感、运行效率低等问题。针对这些问题,基于邻域信息的对应点对寻找方法提出了一种改进的稀疏迭代最近点算法。改进的稀疏迭代最近点算法首先使用改进的基于PCA的点云初始配准调整两片点云的位置,而后使用基于邻域信息的对应点对寻找方法为精配准寻找对应点对,针对对应点对,使用乘法器的交替方向法(ADMM)求得最优的变换矩阵。实验表明,对含离群点的斯坦福兔子、盆栽等点云来说,改进后的算法能够处理目标点云含有离群点的情况,并且算法的配准速度平均提高了30%。     

基于图像处理的炮弹跳角测量方法研究

传统的跳角测量方法,由于人工误差和实用性较弱,大部分有测量效率低、误差大、实用性小、测量范围窄等缺点。针对这些问题,提出一种基于图像处理的炮弹跳角测量方法。使用相机在炮筒中采集炮口图像,通过改进圆拟合算法检测炮口图像的中心位置;在双目摄像机的标定下得出炮弹射击目标点的位置,将炮口图像中心位置瞄准火炮射击目标后实弹射击;在数据处理中,计算得出炮弹初速度矢量的方向,结合炮口图像中心位置的瞄准方向,计算出火炮跳角的大小。实验结果表明,改进算法提高系统抗干扰能力的同时还提高炮口图像中心定位的精确度。拟合结果显示,改进的算法得到的炮口中心与理想中心之间的误差小于0.20个像素,具有较高的精度。     

一种鲁棒的城市复杂动态场景点云配准方法

针对城市道路环境中面临的动态目标繁多、遮挡严重、以及GPS （全球定位系统）误差较大的问题,提出了一种无需检测动态目标且可以适应不同初始位置误差的快速、鲁棒的配准方法.首先,使用区域生长方法对去除地面的障碍物点云进行目标分割,并通过设定约束条件优化分割效果,生成点云的目标重心点集合;然后,提出了一种多层嵌套的RANSAC （随机抽样一致性）算法架构,迭代地更新配准结果,实现重心点集的粗配准并去除外点;最后,利用ICP （迭代最近点）进行点云的精确配准.与传统RANSAC方法的对比实验表明,该方法能够在复杂的动态场景和较大的初始位置误差下完成精确可靠的点云配准,且其配准成功率和配准速度明显高于传统方法.     

鱼眼相机与PTZ相机相结合的主从目标监控系统

提出了一种将鱼眼相机和PTZ相机相结合的主从目标监控系统,充分利用鱼眼相机单镜头半球空间成像以及PTZ相机指向性高分辨率成像的优点,实现了单系统半球空间运动目标的高分辨率成像监控。首先采用运动点团模式实现鱼眼图像中运动目标的检测;然后在鱼眼图像空间计算目标的相对方位角P′、俯仰角T′和距离Z′;最后通过参数映射将其映射到PTZ图像空间,输出PTZ控制信号给相机进行指向性成像。PTZ图像空间中的P参数和T参数结合鱼眼镜头畸变系数进行校正计算,Z参数根据目标在鱼眼图像中的相对尺寸及PTZ图像中需要的尺寸进行计算。通过对PTZ参数的多次实验测量,其结果的误差均在系统要求范围之内。系统实际的户外测试结果表明,系统能准确检测出鱼眼图像中的运动目标,在PTZ参数的控制下,PTZ相机能准确指向目标进行二次高分辨率成像,目标在PTZ图像中的位置和大小合适,达到预期的设计目标。     

基于SURF特征点的自主空中加油定位研究

针对硬式空中加油技术中加油插座的定位问题,提出了一种结合SURF(Speeded-up Robust Features)特征点的双目立体视觉定位方法,确定了加油插座的空间位置,实现伸缩管和加油插座的精确对准。基于SURF匹配算法,对双目视觉系统采集的左右图像进行目标检测,并获取匹配目标的SURF特征点,通过空间误匹配点对的剔除和目标点坐标的计算,确定左右图像中具有空间位置一致性的目标点(即加油插座),从而恢复目标点的三维信息。实验结果表明,结合SURF方法能够有效地对加油插座的空间位置进行定位,具有一定的实用价值。     

基于极线约束的图像目标识别可信度评价方法

在图像辅助的惯性末制导系统中,提出了一种基于极线约束的图像目标识别可信度评价方法.当惯导系统给出的摄像机姿态或图像中目标的像素点位置存在误差时,为了平衡极线约束方程需要引入一个冗余量(residual),该冗余量可由惯导系统给出的摄像机两位置的相对运动及相应图像中目标点的像素位置计算得到.当惯导系统的姿态误差小于0.3°时,冗余量可以用来评价图像目标识别的可信度.理论推导及仿真实验证明,冗余量作为图像目标识别可信度的评价指标,具有良好的特性.     

基于分段式序列图片集的运动恢复结构

多视图运动恢复结构（Structure from Motion,SFM）是三维重建中相机姿态估计的一种最常用的方法。传统SFM采用增量方式处理图片,算法的时间复杂度是[O(n4)],当图片数量较多时,重建时间很长。此外,由于图片噪声影响,漂移误差将随着图片数量增加不断累加,影响最终的重建质量。添加集束调整（Bundle Adjustment,BA）可以优化重建结果,但是需要花费更长的时间。在现有增量式算法的基础上,提出基于分段式序列图片集的方法,将序列图片集按照相似度划分为小集合,对每个小集合进行并行计算,减少误差累积量和重建时间,最后再用BA进行全局优化。实验结果表明,该方法能在保持一定精度的前提下,有效减少重建时间。     

基于场景图划分的无人机影像定位算法

针对大规模长序列无人机（UAV）影像定位中存在的速度慢、误差漂移等问题,结合UAV影像的特点,提出了一种基于场景图划分的UAV影像定位算法。首先,利用全球定位系统（GPS）辅助信息缩小特征匹配的空间搜索范围,从而加速同名点的提取;之后结合视觉一致性和空间一致性来构建场景图,并利用归一化割（Ncut）对其进行划分;接着,对各组场景图进行增量重建;最后,利用光束法平差（BA）融合场景图从而计算出场景的三维模型。此外,在BA阶段,所提算法对代价函数进行扩充,即加入了GPS空间约束信息。在四个UAV影像数据集上的实验结果表明,与COLMAP等多种运动恢复结构（SFM）算法相比,所提算法的定位速度提升了50%,重投影误差减小了41%,定位误差控制在0.5m之内。此外,通过有无GPS辅助下的算法的实验对比,可以得知引入相对和绝对GPS约束的BA有效解决了误差漂移问题,避免了出现歧义性结果,并且极大地减小了定位误差。     

飞行时间三维相机的多视角散乱点云优化配准方法研究

针对目前基于飞行时间(TOF)原理的三维相机实现物体完整表面的三维点云重建过程中,多视角散乱点云配准精度低的问题,本文提出了一种多视角散乱点云优化配准方法。该方法通过构建一个目标功能函数,并结合相邻点云的变换矩阵对该目标函数进行最小化求解,直接获取任意位置的点云到基准坐标系的绝对变换矩阵,避免了对相邻点云的变换矩阵进行累积而引起误差的累加。实验结果表明,该方法提高了多视角点云配准的精度,同时增强了物体点云模型重建的效果,在三维曲面重建中具有较强的实用性。     

面向RGBD深度数据的快速点云配准方法

目的 真实物体的3维重建一直是计算机图形学、机器视觉等领域的研究热点。针对基于RGBD数据的非匀速非固定角度旋转物体的3维重建问题,提出一种利用旋转平台重建物体3维模型的配准方法。方法 首先通过Kinect采集位于旋转平台上目标物的深度数据和颜色数据,对齐融合并使用包围盒算法去除背景噪声和不需要的外部点云,获得带有颜色信息的点云数据。并使用基于标定物不同角度上的点云数据标定出旋转平台中心轴的位置,从而获得Kinect与旋转平台之间的相对关系;然后通过曲率特征对目标点云进行特征点提取并寻找与相邻点云的对应点;其中对于特征点的选取,首先针对点云中的任意一点利用kd-tree搜寻其k个邻近点,对这些点进行曲面拟合,进而计算其高斯曲率,将高斯曲率绝对值较大的n个点作为点云的特征点。n的取值由点云的点个数、点密度和复杂度决定,具体表现为能反映物体的大致轮廓或表面特征信息即可。对于对应点的选取,考虑到欧氏距离并不能较好反映点云中的点对在旋转过程中的对应关系,在实际配准中,往往会因为点云重叠或距离过远等原因找到大量错误的对应点。由于目标物在扫描过程中仅绕旋转轴进行旋转,因此采用圆弧最小距离寻找对应点可有效减少错误点对。随后,使用二分迭代寻找绕中心轴的最优旋转角度以满足点云间的匹配误差最小;最后,将任意角度获取的点云数据配准到统一的坐标系下并重建模型。结果 使用斯坦福大学点云数据库和自采集数据库分别对该方法和已有方法在算法效率和配准结果上进行对比实验,实验结果显示在拥有平均75 000个采样点的斯坦福大学点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少86.5%、57.5%,算法运行时间分别平均减少87%、60.75%,欧氏距离误差平方和分别平均减少70%、22%;在具有平均57000个采样点的自采集点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少94%、75%,算法运行时间分别平均减少92%、69%,欧氏距离误差平方和分别平均减少61.5%、30.6%;实验结果显示使用该方法进行点云配准效率较高且配准误差更小;和KinectFusion算法相比在纹理细节保留上也表现出较好的效果。结论 本文提出的基于旋转平台标定的点云配准算法,利用二分迭代算法能够有效降低算法复杂度。与典型ICP和改进的ICP算法的对比实验也表明了本文算法的有效性。另外,与其他方法在具有纹理的点云配准对比实验中也验证了本文配准方法的优越性。该方法仅采用单个Kinect即可实现对非匀速非固定角度旋转物体的3维建模,方便实用,适用于简单快速的3维重建应用场合。     

基于二维点云图的三维人体建模方法

近年来基于二维图像的三维建模方法取得了快速发展,但就人体建模而言,由于摄像头采集到的二维人体图像包含衣物、发丝等大量的纹理信息,而像虚拟试衣等相关应用需要将人体表面的衣物褶皱等纹理信息去除,同时考虑到裸体数据采集侵犯了用户的隐私,因此提出一种基于二维点云图像到三维人体模型的新型建模方法。与摄像机等辅助设备进行二维图片数据集的采集不同,该算法的输入是由三维人体点云模型以顶点模式绘制的二维点云渲染图。主要工作是建立一个由二维点云图和相应的人体黑白二值图构成的数据集,并训练一个由前者生成后者的生成对抗网络模型。该模型将二维点云图转化为相应的黑白二值图。将该二值图输入一个训练好的卷积神经网络,用于评估二维图像到三维人体模型构建的效果。考虑到由不完整三维点云数据重建完整的三维人体网格模型是一个具有挑战性的问题,因此通过模拟二维点云的破损和残缺状态,使得算法能够处理不完整的二维点云图。大量的实验结果表明,该方法重建出的三维人体模型能够有效实现视觉上的真实感,为了对重建后的精度进行定量的分析,选取了人体特征中具有代表性的腰围特征作为误差评估;为了增加三维人体模型库中人体形态的多样性,还引入一种便捷的三维人体模型数据增强技术。实验结果表明,该算法只需要输入一张二维点云图像,就能快速创建出相应的数字化人体模型。     

伪点云修正增强激光雷达数据

目的 激光雷达在自动驾驶中具有重要意义,但其价格昂贵,且产生的激光线束数量仍然较少,造成采集的点云密度较稀疏。为了更好地感知周围环境,本文提出一种激光雷达数据增强算法,由双目图像生成伪点云并对伪点云进行坐标修正,进而实现激光雷达点云的稠密化处理,提高3D目标检测精度。此算法不针对特定的3D目标检测网络结构,是一种通用的点云稠密化方法。方法 首先利用双目RGB图像生成深度图像,根据先验的相机参数和深度信息计算出每个像素点在雷达坐标系下的粗略3维坐标,即伪点云。为了更好地分割地面,本文提出了循环RANSAC （random sample consensus）算法,引入了一个分离平面型非地面点云的暂存器,改进复杂场景下的地面分割效果。然后将原始点云进行地面分割后插入KDTree （k-dimensional tree）,以伪点云中的每个点为中心在KDTree中搜索若干近邻点,基于这些近邻点进行曲面重建。根据曲面重建结果,设计一种计算几何方法导出伪点云修正后的精确坐标。最后,将修正后的伪点云与原始激光雷达点云融合得到稠密化点云。结果 实验结果表明,稠密化的点云在视觉上具有较好的质量,物体具有更加完整的形状和轮廓,并且在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上提升了3D目标检测精度。在使用该数据增强方法后,KITTI数据集下AVOD （aggregate view object detection）检测方法的AP_3D-Easy （average precision of 3D object detection on easy setting）提升了8.25%,AVOD-FPN （aggregate view object detection with feature pyramid network）检测方法的AP_BEV-Hard （average precision of bird’s eye view on hard setting）提升了7.14%。结论 本文提出的激光雷达数据增强算法,实现了点云的稠密化处理,并使3D目标检测结果更加精确。     

A fast registration algorithm of rock point cloud based on spherical projection and feature extraction

Point cloud registration is an essential step in the process of 3D reconstruction. In this paper, a fast registration algorithm of rock mass point cloud is proposed based on the improved iterative closest point (ICP) algorithm. In our proposed algorithm, the point cloud data of single station scanner is transformed into digital images by spherical polar coordinates, then image features are extracted and edge points are removed, the features used in this algorithm is scale-invariant feature transform (SIFT). By analyzing the corresponding relationship between digital images and 3D points, the 3D feature points are extracted, from which we can search for the two-way correspondence as candidates. After the false matches are eliminated by the exhaustive search method based on random sampling, the transformation is computed via the Levenberg-Marquardt-Iterative Closest Point (LM-ICP) algorithm. Experiments on real data of rock mass show that the proposed algorithm has the similar accuracy and better registration efficiency compared with the ICP algorithm and other algorithms.     

采用去抖动模糊算法的稠密三维重建

针对无人机在航拍大场景对象进行三维重建时因抖动产生的图像模糊现象,以及二维图像序列经运动恢复结构SFM后得到的点云较为稀疏,可视化差等不足,采用去抖动模糊算法恢复模糊图像的原始图像信息,然后在运动恢复结构的基础上进行基于点云的稠密三维重建,最后对稠密重建后的点云进行泊松表面重建以得到表面致密、均匀的三维模型。实验结果表明,去抖动模糊算法可以有效地提高图像的质量,大场景对象经过基于点云的稠密三维重建后得到的重建效果逼真,可视化强。     

一种星载InSAR高精度快速DEM重建方法

面对全球干涉测量的海量实测数据,在保持精度的情况下,如何提高处理速度是星载干涉合成孔径雷达(interferometric synthetic aperture radar,InSAR)数据处理必须考虑的重要问题.数字高程模型(digital elevation model,DEM)重建是InSAR数据处理中较为耗时的一个关键环节.针对星载InSAR处理中DEM快速重建的难题,从DEM重建原理出发,分析揭示了干涉相位与目标点三维坐标映射关系的两个基本特性,一是目标点的三维坐标与干涉相位的关系可以分别用多项式来进行拟合,二是SAR图像上相近像素各自对应的多项式变化不大,并从理论上对特性的成立进行了论证.基于此,提出了一种快速DEM重建方法,给出了快速算法的详细步骤及关键参数的取值方法.最后,利用德国最先进的在轨雷达卫星TerraSAR-X获取的重复轨道干涉数据进行快速DEM重建,处理结果表明在重建精度损失较小的情况下,显著提高了重建速度,验证了该方法的高效性和正确性.