基于稀疏图像序列的雕塑点自动云三维重构方法

为了提高对雕塑点稀疏图像的点云三维重建的分析能力,提出一种基于稀疏图像序列的雕塑点自动云三维重构方法,基于稀疏散乱点三维重建和锐化模板特征匹配方法进行图像三维重建。采用三维角点检测和边缘轮廓特征提取方法,进行雕塑点稀疏图像三维点云特征检测,对检测的雕塑点稀疏图像点云数据进行信息融合处理,采用梯度运算方法进行特征分解,实现对雕塑点稀疏图像的信息增强和融合滤波。结合局部均值降噪方法进行图像的提纯处理,提高雕塑点稀疏图像轮廓重建能力,采用锐化模板特征匹配和块分割技术,实现雕塑点自动云三维重构。仿真结果表明,采用该方法进行雕塑点自动云三维重构的准确性较高,图像匹配能力较好,且重构输出信噪比较高。     

R-VPCG: RGB image feature fusion-based virtual point cloud generation for 3D car detection

Although 3D object detection methods based on feature fusion have made great progress, the methods still have the problem of low precision due to sparse point clouds. In this paper, we propose a new feature fusion-based method, which can generate virtual point cloud and improve the precision of car detection. Considering that RGB images have rich semantic information, this method firstly segments the cars from the image, and then projected the raw point clouds onto the segmented car image to segment point clouds of the cars. Furthermore, the segmented point clouds are input to the virtual point cloud generation module. The module regresses the direction of car, then combines the foreground points to generate virtual point clouds and superimposed with the raw point cloud. Eventually, the processed point cloud is converted to voxel representation, which is then fed into 3D sparse convolutional network to extract features, and finally a region proposal network is used to detect cars in a bird’s-eye view. Experimental results on KITTI dataset show that our method is effective, and the precision have significant advantages compared to other similar feature fusion-based methods.     

基于特征点动态选择的三维人脸点云模型重建

针对典型的点云配准方法中伪特征点过多导致配准效率低和配准结果不精确的问题,提出一种基于特征点动态选择的三维人脸点云模型重建方法。该方法在粗配准阶段,采用动态特征矩阵求解法获取粗匹配特征变换矩阵以避免伪特征点的干扰。在精配准过程中,采用二次加权法向量垂直距离法在人脸流形表面选择更有效的特征点以减少伪特征点的数量,并采用基于特征融合与局部特征一致性的迭代最近点方法进行精配准。经过对比实验验证了算法的可行性,实验结果表明,提出算法能够实现高精度且快速的三维人脸点云模型重建,且均方根误差达到1.816 5 mm,相较于其他算法,在模型重建精度和效率方面都有所提升,具有良好的应用前景。     

基于点云面的区域性三维重建及点云拼接*

目前基于点云面的三维重建方法中,重建的区域性选择存在着两个问题：重建区域过大会导致目标物体不明确,效果不佳,运行时间长;重建区域过小会导致目标物体不完整,信息丢失。针对重建窗口过大时,本文采用改进的snake的区域性重建算法,即通过轮廓提取只对窗口内的目标物进行重建;针对重建窗口过小时,本文采用基于投影面的点云拼接算法,即通过重建后的点云进行拼接的方法使目标物体恢复完整。以上两点改进弥补了点云三维重建及拼接时出现的应用局限性和不稳定性,减少重建时间,提高重建有效性,鲁棒性。     

基于点对特征的三维点云匹配算法

针对现有的基于全局特征的三维物体识别方法和基于局部特征的三维物体识别方法在有遮挡和混叠场景中识别效果均不理想的问题,提出了一种基于点对特征的三维点云匹配算法。利用模型上的所有点对特征来完成全局模型描述构建,并在减少的二维空间上,利用快速投票方案,在局部对模型点云和场景点云进行匹配,从而恢复模型在场景中的全局姿态。实验结果表明:该算法在有遮挡和混叠的场景中识别效果比较理想。     

轻量级的三维点云识别方法

针对当前三维点云识别方法存在时间和空间复杂度较高的问题,提出一种轻量级的三维点云识别方法.使用最远点采样法从原始点云中获取采样点,在采样点处构建K近邻图来有效获取点云的局部结构信息,大幅度降低网络的计算复杂度;使用注意力机制突出局部区域不同K近邻点的重要性,达到增强局部结构特征的目的;利用分组卷积提取高层次的局部结构特征的同时减少卷积层的参数量.在保证较高的识别准确率的前提下减少全连接层的参数量.在M odelNet40数据集上的实验结果表明,该方法的识别准确率达到同等或更优水平,网络模型的参数量得到大幅度减少,训练时间和测试时间更短,同时保持较高的鲁棒性.     

3D point cloud registration denoising method for human motion image using deep learning algorithm

Aiming at the problem of 3D point cloud noise affecting the efficiency and precision of human body 3D reconstruction in complex scenes, a 3D point cloud registration denoising method for human motion image using depth learning algorithm is proposed. First, two Kinect sensors are used to collect the three-dimensional data of the human body in the scene, and the spatial alignment under the Bursa linear model is used to pre-process the background point cloud data. The depth image of the point cloud is calculated, and the depth image pair is extracted by the convolutional neural network. Furthermore, the feature difference of the depth image pair is taken as the input of the fully connected network and the point cloud registration parameter is calculated, and the above operation is performed iteratively until the registration error is less than the acceptable threshold. Then, the improved C-means algorithm is used to remove the outlier, the noise is clustered, and the large-scale outlier noise is removed. Finally, the high-frequency information is processed by the depth data bilateral filtering method. The experimental results show that compared with the traditional bilateral filtering algorithm and fuzzy C-means algorithm, the proposed method can effectively remove noise of different scales and maintain good performance on the basis of maintaining human body features. In the point cloud model of A, B, and C, the average error of the proposed method is lower than that of the traditional bilateral filtering algorithm with 15.7%, 15.9%, and 19.8%, respectively, and it is lower than that of the fuzzy C-means algorithm with 25.8%, 26.9%, and 30.2%, respectively.     

基于三维点云模型的特征线提取算法

针对以往算法存在无法区分尖锐和非尖锐特征点、提取的特征点与视角有关、特征点未连线等问题, 提出一种基于高斯映射和曲率值分析的三维点云模型尖锐特征线提取算法。该算法先进行点云数据点的离散高斯映射, 并将映射点集聚类; 然后使用自适应迭代过程得到两个或多个面的相交线上曲率值和法向量发生突变的尖锐特征点, 这些点与视角无关; 最后, 用改进的特征折线生长算法, 将特征点连接, 得到光顺特征线。实验证明, 该算法具有良好的自适应性、抗噪性和准确性, 是一种有效的三维模型特征线提取算法。     

基于VTK的三维点云曲面重建研究

针对三维点云数据重建效率低、不能实时交互等问题,利用鲁棒性强的Power Crust算法和三维可视化类库Visualization Toolkit (VTK)的良好并行机制与强大的图像处理能力,实现了三维点云数据曲面快速重建.该算法使用Power Crust对三维点云进行曲面重建,接着对得到的网格进行线性调整、简化和平滑,最后引入VTK进行渲染、绘制、显示,并实时交互.实验结果表明,该算法可以加快散乱点云数据的重建速度,较好地保持了点云数据的拓扑结构,提高了曲面重建的精确性和鲁棒性,且交互性强,适合实时处理.     

三维点云配准方法研究进展

点云是一种3维表示方式,在广泛应用的同时产生了对点云处理的诸多挑战。其中,点云配准是一项非常值得研究的工作。点云配准旨在将多个点云正确配准到同一个坐标系下,形成更完整的点云。点云配准要应对点云非结构化、不均匀和噪声等干扰,要以更短的时间消耗达到更高的精度,时间消耗和精度往往是矛盾的,但在一定程度上优化是有可能的。点云配准广泛应用于3维重建、参数评估、定位和姿态估计等领域,在自动驾驶、机器人和增强现实等新兴应用上也有点云配准技术的参与。为此,研究者开发了多样巧妙的点云配准方法。本文梳理了一些比较有代表性的点云配准方法并进行分类总结,对比相关工作,尽量覆盖点云配准的各种形式,并对一些方法的细节加以分析介绍。将现有方法归纳为非学习方法和基于学习的方法进行分析。非学习方法分为经典方法和基于特征的方法;基于学习的方法分为结合了非学习方法的部分学习方法和直接的端到端学习方法。本文分别介绍了各类方法的典型算法,并对比总结算法特性,展望了点云配准技术的未来研究方向。     

基于改进特征点对选取的三维点云配准

针对同一物体不同视角下获得的三维点云数据,提出一种基于改进特征点对选取的三维点云配准方法。在欧氏距离的基础上选取与目标点最近的三点均值为对应点,并应用邻域比值法来剔除错误点,结合K-d tree提高搜索速度,实现最终点云配准。实验结果表明,该方法具有可行性,相比传统ICP算法,其匹配精度和效率明显提升。     

基于图像与点云的三维障碍物检测

为提高平截头点云网络在三维障碍物检测中的精度,基于平截头点云网络的结构提出一种扩张平截头点云的检测方法。采用图像和点云数据,使用二维目标检测网络Yolov3,检测障碍物的二维包围框;扩张包围框的大小,在点云数据中提取出障碍物对应的点云;通过改进的Pointnet网络对该点云计算,得到障碍物的三维信息。在原模型基础上,加入扩张包围框,提高点云数据提取的完整性。通过KITTI数据集的验证和测试,实验结果表明,通过扩张二维包围框可以有效提高检测网络的性能。     

基于二维图像三维重建的人脸特征提取技术研究

采用基于二维图像的三维重建对人脸特征进行提取.首先应用平行双目视觉原理获取人脸的二维图像,然后对图像进行预处理,消除图像上的噪音点,增强图像,以便提取特征点,对这些二维图像上的特征点进行优化计算,最后得到整体人脸的三维特征点信息.     

Time-of-Flight camera based 3D point cloud reconstruction of a car

Modern car wash systems are generally controlled by light barriers and power measurement sensors. These sensors are directly mounted on the movable parts of the system which result in a slow regulation, leading to non-optimal performance, e.g. in terms of energy, water and detergent consumption or regarding the quality of the result.     

Development of a fast transmission method for 3D point cloud

Multimedia Tools and Applications - In this paper, a transmission method of the 3D point cloud data of the object upper body is proposed. The key idea of the method is to reduce the amount of...     

面向点云三维重建的空间感知对抗神经网络

为了解决由原始点云数据局部密度稀疏、不均匀或者法向量错误等制约因素引起的重建网格质量问题,利用对抗神经网络中权重共享的特性和对抗的训练过程,提出一种基于对抗网络的点云三维重建方法。首先,利用预测器对网格模型边的偏移量进行预测,从而得到每一个顶点的位移,并进行拓扑保持的顶点重定向,得到新的网格模型。然后,利用判别器中的点云分类器,提取原始点云数据和网格模型表面采样点集的高维特征,并基于高维特征进行空间感知的判别,用于区分原始点云与采样点集数据。最后,使用对抗的训练方式将预测器与判别器的输出数据关联起来,通过多次迭代优化网络模型,从而得到满足点云空间特征的三维网格模型。在不同的点云数据集上进行实验,并使用MeshLab软件进行效果展示,结果表明,该方法能够重建出满足点云空间信息的三维网格模型,同时能够解决粗劣的点云数据引起的网格质量问题。     

基于特征融合的三维人脸点云质量判断

针对使用双目结构光扫描仪获取的三维人脸点云,提出了一种特征融合网络(FFN)来完成人脸点云质量判断任务.首先,对三维点云预处理切割出人脸面部区域,使用点云和对应的二维平面投影得到的图像作为输入;其次,分别训练用于点云学习的动态图卷积神经网络(DGCNN)和ShuffleNet两个模块;然后,提取出两个网络模块的中间层特...     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

图像三维重建中的特征点匹配方法研究

针对传统三维重建中点特征匹配算法的局限性,提出了基于相关系数的图像点特征匹配方法,实现了对图像点特征匹配与三维重建同步进行的目的。基于同一物体的两幅图像,给出了其特征匹配和三维重建的算法,并通过实验数据分析了此算法的有效性。