基于Kinect深度图像的三维重建

随着机器视觉理论的发展和硬件技术的进步,三维重建在生产、生活中的应用越来越广泛,基于Kinect传感器的三维重建得到广泛的应用。针对于现有的Kinect传感器获得的深度图像深度信息丢失的问题,提出了一种新的基于均值滤波的方法对深度图像进行去噪,并对深度图像进行预处理,获取三维点云,用迭代最近点(Iterative Closest Point,ICP)算法完成点云的精确配准,从而得到配准后物体表面三维点云,并完成物体的三维重建。     

基于Kinect的三维重建技术综述

详细介绍了三维重建和Kinect工作原理;对现有利用Kinect进行三维重建的技术方法进行了说明,重点对配准过程中的迭代就近点(ICP)算法的相关改进进行分析和比较;并在上述基础上对Kinect Fusion做了介绍和说明,列举其最新改进和应用;最后对基于Kinect的三维场景重建的发展趋势进行了简单总结和展望.     

基于ToF相机的三维重建技术

针对利用ToF相机实现物体的重建提出一种新的三维重建算法,通过分析物体重建过程的特点,对KinectFusion的重建算法进行改进。点云匹配过程包括粗匹配和精匹配两个过程,最后进行全局优化,提高相机位姿估计的精度,从而得到更精确的三维重建结果。利用泊松重建算法重建物体表面,相比于TSDF算法,能够实现完整表面的重建。提出结合强度图对深度图进行多边滤波的算法以及一种新的补空洞法则,增强深度图像。多边滤波算法在PSNR和SSIM的评估中都优于双边滤波结果,提出的三维重建算法与KinectFusion三维重建结果对比,表面更完整,重建结果更优。     

基于Kinect v2的实时精确三维重建系统

快速、低成本、精确的三维扫描技术一直是计算机视觉领域研究的热点.首先,本文分析了新一代Kinect v2（Kinect for windows v2 sensor）的技术参数、测量原理.设计实验测得其深度精度与测量距离成线性变换关系.其次,Kinect v2深度数据含有大量的噪声尤其是在物体边缘,常用的双边滤波器等去噪算法不能很好的去除这些噪声,对此本文设计了一种有效的去噪算法,提高重建质量.最后,实现了一套基于新一代Kinect v2重建系统.实验结果表明,本文中的重建系统能够实时精确的重建物体,可以广泛应用于低成本的快速三维成型.     

基于Kinect的实物地质标本三维重建

基于多视点图像运动结构恢复的三维重建方法相当耗时且鲁棒性低,针对以上问题,提出了一种基于Kinect的实物地质标本的三维重建方法. 首先使用GrabCut算法提取前景目标,结合原始深度图像生成对应视角的点云,再基于SIFT特征利用RANSAC算法执行点云粗对准,然后在ICP算法中引入异常值拒绝方法和动态调整权重思想进行点云精细配准,最终重建出完整三维点云模型. 实验结果表明该方法能快速重建出良好的实物地质标本三维点云模型,能有效处理标本缺少结构特征的情况,并且鲁棒性高.     

基于改进法向量估计的多视角点云配准算法

针对多视角三维测量中多片点云重叠区域提取及高精度配准的问题,本文提出一种多视角异源低重叠率点云配准方法。首先基于点云之间的初始位置,互相计算源点云和目标点云彼此的最近点集,自动提取两片点云重叠部分;然后使用迭代最近点算法精配准重叠点云。通过法向量特征进一步提高点云配准精度,并提出改进点云法向量估计算法用以剔除错误匹配点对,显著减小了复杂结构点云配准的距离均方根误差。结果表明,使用经典点云数据仿真实验验证了该算法的性能,并通过多视角条纹投影三维测量系统采集点云数据验证了算法的有效性。     

三维重建中点云模型与纹理图像的配准

研究三维立体图像优化问题,实现高真实度的纹理图.由于立体图像重建过程产生累加误差,影响匹配精度.目前半自动和自动纹理贴图中三维扫描数据与高分辨率纹理图像对应点配准精度低、计算量大.为解决上述问题,在标准ICP(Iterative Closest Point)算法的基础上,提出一种改进的LM-ICP 2D和3D配准算法.通过法向量内积加权的最近点迭代,动态更新特征对应,减小误匹配点对配准精度的影响,并利用LM(Levenberg-Marquardt)算法优化投影矩阵.采用真实数据进行仿真.实验表明,提出的算法能得到精度高、真实性强的匹配图像效果,为设计提供参考.     

基于改进PSO-TrICP算法的点云配准

针对传统迭代最近点（Iterative Closest Point,ICP）算法在初始空间位置偏差大时,容易陷入局部最优的问题,提出一种基于改进PSO-TrICP算法的点云配准方法。首先,对传统粒子群（Particle Swarm Optimization,PSO）算法进行改进,引入适应度的相似度测量准则调整粒子的更新方式,然后加入历次迭代的全局最优解的均值作为新的学习因子避免求解过程中出现“早熟”现象;其次用刚性变换参数和点云间的重叠率组成粒子,利用改进PSO算法为配准提供良好的初始相对位置;最后,通过裁剪迭代最近点（Trimmed Iterative Closest Point,TrICP）算法估计点云间的空间变换。实验结果表明,改进PSO-TrICP算法的配准精度与运行效率优于近年提出的同类配准算法,且具有较好的鲁棒性。     

多视角下的改进ICP算法

在逆向工程中,为处理庞大的三维点云数据,重建物体的表面,提出一种基于多视角的改进ICP算法。通过采集多视角下的点云数据,利用Delaunay三角剖分以及深度值信息对相邻两组点云的重合部分进行提取,根据三角面片重心与待测物体重心之间的距离将获得的点云数据进行分类配准,计算最优的旋转矩阵与平移向量,提高ICP算法的效率。实验结果表明,该算法能够提高配准精度,缩短配准时间,具有良好的稳定性。     

ICP算法在点云配准中的应用

逆向工程中经常需要把多次测量得到的点云进行配准。提出了一种基于特征点的改进ICP算法,在采用主方向贴合法实现初始配准的基础上,使用曲率特征点和k-dtree寻找最近点,提高了ICP算法的效率。该算法具有速度快精确度高的特点,并且在实际应用中验证了配准效果和算法稳定性。     

A 3D Model Reconstruction Method Using Slice Images

Abstract：reconstruction method using slice im-ages is proposed. Wanting to extract the outermost contours from slice images, the method of the improved GVF-Snake model with optimized force field and ray method is employed. And then, the 3D model is reconstructed by contour connection using the im-proved shortest diagonal method and judgment function of contour fracture. The results show that the accuracy of reconstruction 3D model is improved.     

一种基于AKAZE算法的多视图几何三维重建方法

针对增量式运动恢复结构算法在多视图几何三维重建算法中运行效率低的问题,提出了一种基于AKAZE算法的多视图几何三维重建方法。首先对利用摄像机获得的目标图像使用AKAZE算法检测特征并匹配,并使用随机抽取一致性算法和三视图约束剔除弱匹配图像。然后根据匹配图间的相对位姿参数,通过最小二乘法解算全局旋转参数,并利用三视图约束关系求解全局位移参数。最后进行一次光束法平差优化。实验结果表明,该算法在改善重建效果的基础上提高了处理效率,能够满足快速处理的需求。     

基于光线的全局优化多视图三维重建方法

利用光线跟踪原理,提出一种全局优化的多视图三维重建方法。根据图像轮廓得到物体的包围盒,采用体素离散物体所在的几何空间。从相机中心向图像上每个像素发射一条光线,为确定光线达到的体素,使用归一化互相关（NCC）值度量光线一体素的一致性,并估计采样空间中面片的法向信息,以提高NCC值的可信度。设计基于因子图的全局优化模型得到物体体素,针对光线因子的特殊性,设计一种高效的置信度传播算法,使重建方法的时间复杂度从指数阶降为线性阶。实验结果表明,与基于马尔可夫场的重建方法相比,该方法的鲁棒性较好,可提高重建模型的准确度和完整性。     

采用伪3D卷积网络的脑部MRI图像超分辨率重建

针对现有深度学习医学图像超分辨率重建算法因网络参数量大导致计算复杂度过高、网络难以训练的问题,提出一种采用伪3D卷积的轻量级密集残差连接3D卷积神经网络(P3DSRNet)模型.首先利用密集残差块拓宽残差块中卷积层的通道,将更多的特征信息传送到激活函数,使网络中浅层图像特征更容易地传播到高层,增强医学图像超分辨率的表达...     

Classification of Multi-view Digital Mammogram Images Using SMO-WkNN

Breast cancer (BCa) is a leading cause of death in the female population across the globe. Approximately 2.3 million new BCa cases are recorded globally in females, overtaking lung cancer as the most prevalent form of cancer to be diagnosed. However, the mortality rates for cervical and BCa are significantly higher in developing nations than in developed countries. Early diagnosis is the only option to minimize the risks of BCa. Deep learning (DL)-based models have performed well in image processing in recent years, particularly convolutional neural network (CNN). Hence, this research proposes a DL-based CNN model to diagnose BCa from digitized mammogram images. The main objective of this research is to develop an accurate and efficient early diagnosis model for BCa detection. This proposed model is a multi-view-based computer-aided diagnosis (CAD) model, which performs the diagnosis of BCa on multi-views of mammogram images like medio-lateral-oblique (MLO) and cranio-caudal (CC). The digital mammogram images are collected from the digital database for screening mammography (DDSM) dataset. In preprocessing, median filter and contrast limited adaptive histogram equalization (CLAHE) techniques are utilized for image enhancement. After preprocessing, the segmentation is performed using the region growing (RG) algorithm. The feature extraction is carried out from the segmented images using a pyramidal histogram of oriented gradients (PHOG) and the AlextNet model. Finally, the classification is performed using the weighted k-nearest neighbor (WkNN) optimized with sequential minimal optimization (SMO). The classified images are evaluated based on accuracy, recall, precision, specificity, f1-score, and mathews correlation coefficient (MCC). Additionally, the false positive and error rates are evaluated. The proposed model obtained 98.57% accuracy, 98.61% recall, 99.25% specificity, 98.63% precision, 97.93% f1-score, 96.26% MCC, 0.0143 error rate, and 0.0075 false positive rate (FPR). Compared to the existing models, the research model has obtained better performances and outperformed the other models.     

SDF-2-SDF Registration for Real-Time 3D Reconstruction from RGB-D Data

We tackle the task of dense 3D reconstruction from RGB-D data. Contrary to the majority of existing methods, we focus not only on trajectory estimation accuracy, but also on reconstruction precision. The key technique is SDF-2-SDF registration, which is a correspondence-free, symmetric, dense energy minimization method, performed via the direct voxel-wise difference between a pair of signed distance fields. It has a wider convergence basin than traditional point cloud registration and cloud-to-volume alignment techniques. Furthermore, its formulation allows for straightforward incorporation of photometric and additional geometric constraints. We employ SDF-2-SDF registration in two applications. First, we perform small-to-medium scale object reconstruction entirely on the CPU. To this end, the camera is tracked frame-to-frame in real time. Then, the initial pose estimates are refined globally in a lightweight optimization framework, which does not involve a pose graph. We combine these procedures into our second, fully real-time application for larger-scale object reconstruction and SLAM. It is implemented as a hybrid system, whereby tracking is done on the GPU, while refinement runs concurrently over batches on the CPU. To bound memory and runtime footprints, registration is done over a fixed number of limited-extent volumes, anchored at geometry-rich locations. Extensive qualitative and quantitative evaluation of both trajectory accuracy and model fidelity on several public RGB-D datasets, acquired with various quality sensors, demonstrates higher precision than related techniques.     

Robust Attentional Aggregation of Deep Feature Sets for Multi-view 3D Reconstruction

International Journal of Computer Vision - We study the problem of recovering an underlying 3D shape from a set of images. Existing learning based approaches usually resort to recurrent neural...     

基于多视角的高精度三维人脸重建

提出了一种多阶段优化的方法来解决基于多视角图片在未知姿态、表情以及光照条件下的高精度三维人脸重建问题.首先,通过重新渲染合成的方法将参数化模型拟合到输入的多视角图片,然后在纹理域上求解一个光流问题来获取不同视角之间的对应关系.通过对应关系可以恢复出人脸的点云,并利用基于明暗恢复几何的方法来恢复人脸细节.在真实数据以及合成数据下的实验结果表明,文中方法能够恢复出带有几何细节的高精度的三维人脸模型,并且提高了现有方法的重建精度.     

基于Kinect的轴类零件三维重建研究

使用Kinect采集的深度数据,进行了轴类零件三维重建算法的研究。首先借助Kinect获取深度和彩色数据,通过坐标转换将深度信息转换成三维点云数据;其次提取出感兴趣目标的点云数据,根据点云数据的噪声特点,并对其进行滤波降噪处理;然后进行点云分割获得点云集,最后对各点云集进行结构参数化分析。实验结果表明,本文算法能够精确、高效地实现轴类零件的重建。     

基于未标定图像的三维重建算法

提出一种基于多幅未标定图像的三维重建算法。在标记点匹配的基础上进行射影重建,通过施加度量约束将射影重建升级为欧氏重建,即利用未标定的透视图像恢复相机的内、外部参数以及标记点的三维空间坐标,实现场景的三维重建。标记点易于进行点对精确匹配,较手动拾取匹配提高了效率。实验结果表明,利用该算法能够大幅减小再投影误差。