基于图像与点云的三维障碍物检测

为提高平截头点云网络在三维障碍物检测中的精度,基于平截头点云网络的结构提出一种扩张平截头点云的检测方法。采用图像和点云数据,使用二维目标检测网络Yolov3,检测障碍物的二维包围框;扩张包围框的大小,在点云数据中提取出障碍物对应的点云;通过改进的Pointnet网络对该点云计算,得到障碍物的三维信息。在原模型基础上,加入扩张包围框,提高点云数据提取的完整性。通过KITTI数据集的验证和测试,实验结果表明,通过扩张二维包围框可以有效提高检测网络的性能。     

基于深度学习的点云三维目标检测方法综述

点云作为一种三维环境数据因其具有较高的精度一直被广泛关注并应用于多种场景任务之中。近年来,深度学习进入点云领域,让点云数据处理得到快速发展。针对基于深度学习的点云三维目标检测任务,首先分析了点云数据的特性并列举了日常任务中常用的点云数据集,随后通过单模态的三维目标检测与多模态的三维目标检测两个方向进行分类阐述,并通过单模态与多模态方法在数据集上的表现作比对。最后对当前点云三维目标检测研究的发展趋势进行展望与总结。     

基于多模态特征融合的三维点云分类方法

针对点云数据本身信息量不足导致现有三维点云分类方法分类精度较低的问题,结合多模态特征融合,设计一种三维点云分类模型。通过引入投影图对点云数据信息进行扩充,将点云数据与图像数据同时作为输入,对PointCNN模型提取的点云特征与CNN模型提取的投影图特征进行加权融合,从而得到最终分类结果。在ModelNet40数据集上的分类结果表明,该模型的分类精度达到96.4%,相比PointCNN模型提升4.7个百分点。     

基于逆向技术的汽轮机轴修复方法研究

以发电厂中汽轮机的关键部件凝泵上轴为研究对象，采用手持式激光三维扫描仪进行点云数据获取。轴类零件具有特征典型、曲面规则但尺寸较大的特点。为提高此类零件三维重建的效率，在提升数据采集速度的同时，数据精度会有一定程度的降低。使用Geomagic软件对此类零件的点云数据进行处理，通过创建对象-对齐-合并的方式，可以实现数据缺损严重的轴段修复。利用逆向工程技术，在满足工程精度的情况下实现此类零件三维模型的重构。实践表明，采用的方法可有效提升尺寸大、不易测绘的轴类零件三维重建。     

基于面结构光的机械工件三维扫描系统设计

针对工业机器人对自动化装配过程生产效率的提高以及工件拾取对三维扫描技术的应用需求,设计了能够准确提取机械工件表面点云的视觉系统。扫描系统主要由计算机、投影仪和工业相机构成。基于光学测量和机器视觉的原理,主要研究设计了扫描系统工业相机和投影仪的标定策略、结构光栅编码解码的检测策略以及点云重构的几何策略。对于机械工件三维扫描重构的多余背景平面点云,研究设计了通过随机选取点云并反复迭代构造背景平面实现分割的有效方法。实验结果表明采用面结构光技术,由投影仪投影不同频率的结构光栅在机械工件上,工业相机同步采集被机械工件调制的结构光栅图像,对图像中的光栅条纹进行提取并计算,并利用三角检测算法提取机械工件表面点云的方案具有高准确性,能够有效重构机械工件表面点云。     

基于XJTUOM和Geomagic Studio的相似材料模型数据采集与提取

针对传统的物理测量或机械测量方法测量相似材料模型时易使模型变形且采集数据点有限、操作复杂、效率低等问题,介绍了一种采集并提取相似材料模型点云数据的方法。该方法采用XJTUOM三维白光面扫描系统采集相似材料模型的点云数据,并利用该系统的点云预处理软件对采集到的点云数据进行拼接和对齐处理,然后采用Geomagic Studio点云处理软件对预处理后的点云数据进行数据提取操作。试验结果表明,该方法获取数据量大,测量效率高,点云数据采集和处理精度高,抗干扰能力强。     

三维环境下交互式点云对象提取方法

针对海量无序点云数据中的复杂对象提取问题,利用三维可视化环境中的人机交互功能,划定对象分布范围以提取对象数据。采用三维平面视图直观表达点云中对象的位置及分布;借助三维交互技术,在平面视图中人工划分对象外包多边形;根据外包多边形从原始点云数据中提取对象点云,使用有效网格法进行化简。以4.1亿个数据点的场站点云为例进行应用,取得良好效果。     

基于QT的机载三维激光扫描仪软件系统设计

随着测绘技术的发展,利用机载三维激光扫描仪获取点云数据,从点云数据中提取模型信息成为现代测绘技术的一种发展趋势. 点云数据处理的相关应用也越来越多,点云数据的处理软件参差不齐,需求和功能也各不相同. 针对上述问题,在基于QT编程平台下,利用PCL开发机载三维激光扫描仪点云数据处理软件,集中处理点云数据. 该系统由点云数据读写、三维显示、点云滤波、网格重构、点拾取、点云分割及NARF关键点提取等功能模块组成. 各模块采用面向对象的思想设计,功能易于扩展,以完成进一步的测绘工作. 实践表明,该系统具有良好的工程实用价值,可以快速完成机载三维激光扫描仪的数据处理工作.     

面向文物三维重建的一种点云数据精简方法

三维激光扫描技术是文物三维重建的重要方法之一。针对文物点云数据量庞大、密度高、存在大量的冗余点,点云精简困难的问题,该文分析了常用的点云数据精简方法,并进行了精简试验,提出了顾及文物点云曲率特性的点云数据二次精简法。在Matlab平台下,通过编程实现点云数据的精简,并利用Geomagic Studio软件中的模型分析功能进行精简质量评价。结果表明,针对无狭窄深切凹陷形态和尖锐突出物、表面粗糙度较小的文物三维重建点云数据,二次精简法的精简效果优于常用的点云数据精简方法。     

一种基于RANSAC的点云特征线提取算法

点云中提取的特征线在点云处理中具有重要的应用价值,已被应用于对称性检测、表面重建及点云与图像之间的注册等。然而,已有的点云特征线提取算法无法有效地处理点云中不可避免的噪声、外点和数据缺失,而随机采样一致性RANSAC由于具有较高的鲁棒性,在图像和三维模型处理中具有广泛的应用。为此,针对由建筑物或机械部件等具有平面特征的物体扫描得到的点云,提出了一种基于RANSAC的特征线提取算法。本算法首先基于RANSAC在点云中检测出多个平面,然后将每个平面参数化域的边界点作为候选,在这些候选点上再应用基于全局约束的RANSAC得到最终的特征线。实验结果表明,该算法对点云中的噪声、外点和数据缺失具有很强的鲁棒性。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在，人脸点云数据不同程度缺失的问题，探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析，然后提出了一种新的网络框架——HFN。首先，在数据预处理后随机采样固定点数的点云；其次，将固定点数的人脸点云输入SA模块，以获取局部区域的质心点、邻域点并提取局部区域的特征，然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征；最后，利用全连接层进行三维人脸的分类，从而实现三维人脸识别。在CASIA数据库上的结果显示，所提方法的平均识别率为96.34%，优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

心内膜散乱点云边界点检测算法研究

针对心内膜散乱点云预处理中的边界点检测,利用截线云理论将散乱点云进行等间隔区域分层,将点云投影至点云切片,得到切片的散乱点集,同时建立链表结构分区存储点云数据;由平面上点的二维坐标定位,提出区域"十"字算法进行切片数据边界点提取,获取切片数据的最外层点,将检测到的边界点存回原始三维数据源,完成预处理过程。实验结果证明,该算法对边界点具有较强的识别能力,能够在快速、有效地简化点云数据的同时保持原始特征的信息,可以提高后续三维建模的精度和速度。     

基于面结构光几何关系的三维数字化研究*

为降低颜色串扰对提取结构光图像特征的影响,通常将多像素条纹细化为单像素线条,但降低了重建图像空间分辨率。针对这一问题,设计一个基于面结构光几何关系的三维数字化系统,并提出一种以面结构光投影仪像素为单位的特征提取与匹配新方法。首先,投影仪向被测物体投射设计好的面结构光,为被测物体增加有效特征,双目摄像机捕获被测物体两张图像,设置阈值滤除图像背景、去除噪声,提高图像质量;然后,基于单位投影像素提取特征点,充分利用投影图像的全像素空间,使得特征点采样密度提高,根据特征点间的几何关系进行匹配,提高计算效率;最后,根据三角测量原理将特征点图像坐标转换成世界坐标,形成高密度点云;在Geomagic Studio 2013平台上对被测物体进行三维重建,获得高质量的三维重建模型,实验结果达到了预期效果。     

邻域密度约束的动态标准差阈值三维点云数据离群点检测方法

为了提升三维点云数据离群点的检测能力,提高检测方法的适应性,解决针对密度分布变化大的点云数据离群点检测效果不佳的问题,提出一种基于邻域密度约束的动态标准差阈值三维点云数据离群点检测方法.该方法充分考虑获取的点云数据的密度差异,将点云的密度特征引入离群点判定阈值的计算.首先利用直通滤波提取目标点云数据,检测并移除无效点;然后分析离群点的检测原理,给出点云k-邻域密度的估算方法;最后通过邻域密度约束实现了标准差阈值的动态调整,并采用不同的约束方式对远离主体点云的外部区域和内点区域的离群点进行检测,实现了密度分布变化明显的点云数据离群点的有效检测.实验结果表明,文中方法能够更加有效地移除离群点,通过标准差阈值动态约束满足了密度分布差异较大的点云数据的针对性检测,提升了检测效果和检测性能,达到了预期的目的,对实际应用具有积极意义.     

基于ASODVS的全景点云数据获取技术的研究

针对现有三维激光扫描设备不能同时获取空间点云的坐标信息和色彩信息,多视角点云数据配准复杂等问题,采用了一种将全方位视觉传感器ODVS(Omni-directional Vision Sensor)和可移动360°面激光光源相结合的主动式全景视觉传感器ASODVS(Active Stereo Omni-directional Vision Sensor)来获取点云数据。通过人机接口对ASODVS的扫描步长和速度等进行控制,实现了边扫描边获取全景点云数据;对获取点云数据空间信息过程中的关键技术——激光投射点提取算法进行了深入研究;采用了3种不同的全景激光线提取算法对全景切片图像中激光投射点进行提取,并实验研究了各自的优劣;实验结果表明,对于ASODVS而言,帧间差提取算法能有效快速准确的提取三维全景场景中激光投射点,并具有消耗计算机资源少、操作过程自动化、生成数据有序等优点。     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

基于高斯混合模型聚类的Kinect深度数据分割

基于深度图像的室内场景理解是计算机视觉领域中的前沿问题。针对三维室内场景中平面较多的特性,提出一种基于高斯混合模型聚类的深度数据分割方法,实现对场景数据的平面提取。首先将Kinect获取的深度图像数据转换为离散三维数据点云,并对点云数据作去噪和采样处理;在此基础上计算所有点的法向量,利用高斯混合模型对整个三维点云的法向集合聚类,然后利用随机抽样一致性算法对各个聚类进行平面拟合,由每个聚类得到若干平面,最终把整个点云数据分割为一些平面的集合。实验结果表明,该方法得到的分割区域边界准确,分割质量较高。提取出的平面集合为以后的室内对象识别和场景理解工作奠定了较好的基础。     

基于双目的三维点云数据的获取与预处理

在计算机辅助几何设计、医学诊断、物体识别与定位等领域的应用需求下,三维点云数据的获取与处理技术受到越来越多的关注。现在有多种不同的方式可以获取现实世界中物体的三维点云数据,并对数据进行相应处理。为了能够很好地对三维数据点云进行前期的预处理,首先通过双目摄像机获取物体的三维点云,并采用八叉树法对点云数据进行相应的预处理,然后在逆向工程软件中描述出来,从逆向工程软件中可以看出得到的物体与实际物体比较接近,从而可以证明所获取的点云数据可以用来描述物体,并且点云数据的处理技术是可行的。     

板金属冲压零件表面模型与实测点云配准研究

为研究板料零件成形后实测点与设计原型之间的制造偏差,需要将实测坐标点云数据和产品数字模型进行配准,实现设计坐标系和实测点云数据的测量坐标系的统一。以CAD模型离散点云数据为引导,将配准过程分为初步配准和精确配准两个步骤。采用基于PCA提取特征坐标系的方法进行初步配准,采用k-d tree加速的ICP算法进行精确配准,将实测点云数据和设计原型离散点云数据转换到同一个坐标系中。基于UG NX平台将经过坐标转换的实测点云数据读入到CAD模型中,得到同一环境坐标系下配准后的实测点云数据和CAD模型,为制造偏差分析提供了基础,并进行了实例验证。     

引入深度补全与实例分割的三维目标检测

三维目标检测是自动驾驶系统与机器人系统的关键技术,目前对该技术的研究大多基于深度相机获取的RGB-D图,但在室外自动驾驶场景中,输入雷达点云更符合三维目标检测系统的应用环境。以RGB图与雷达点云为输入,结合IP-Basic算法在消除噪声的同时将稀疏雷达点云补全成稠密深度图;采用降维原理,结合Mask R-CNN在RGB图上进行实例分割,进而提取目标在深度图上的对应区域;结合点云的自然不变性,将目标对应深度图转化为点云后输入到卷积神经网络进行特征学习。在公开数据集Kitti上进行实验,实验结果表明:该方法在公开三维目标检测数据集上达到了较好的检测精度。