基于DDPG的三维重建模糊概率点推理

单视图物体三维重建是一个长期存在的具有挑战性的问题. 为了解决具有复杂拓扑结构的物体以及一些高保真度的表面细节信息仍然难以准确进行恢复的问题, 本文提出了一种基于深度强化学习算法深度确定性策略梯度 (Deep deterministic policy gradient, DDPG)的方法对三维重建中模糊概率点进行再推理, 实现了具有高保真和丰富细节的单视图三维重建. 本文的方法是端到端的, 包括以下四个部分: 拟合物体三维形状的动态分支代偿网络的学习过程, 聚合模糊概率点周围点的邻域路由机制, 注意力机制引导的信息聚合和基于深度强化学习算法的模糊概率调整. 本文在公开的大规模三维形状数据集上进行了大量的实验证明了本文方法的正确性和有效性. 本文提出的方法结合了强化学习和深度学习, 聚合了模糊概率点周围的局部信息和图像全局信息, 从而有效地提升了模型对复杂拓扑结构和高保真度的细节信息的重建能力.     

基于特征分块的三维人脸重建和识别

针对传统三维人脸重建算法效率低且难以满足实际应用的缺陷,提出一种基于特征分块的三维人脸重建算法,并将此算法应用到三维人脸识别中,实现了基于特征分块的加权三维人脸识别。首先,利用基于平面模板的非均匀重采样法对原始数据进行归一化;其次,采用主动形状模型(ASM)算法对三维人脸和二维人脸图像进行特征定位和特征分块;然后,利用基于分块主元分析(PCA)的稀疏形变模型算法实现每个人脸分块的三维重建;最后,实现了此算法在三维人脸识别中的应用。实验表明,此重建算法具有较高的精度和重建效率,还可以达到全局最优,并且可以提高三维人脸的识别率。     

三维时频变换视角的智能微观三维形貌重建方法

基于图像聚焦信息的三维形貌重建方法通常对微观物体的景深图像序列采用统一的聚焦评价标准,这类重建方法往往会忽视图像序列之间的联系,难以修正图像纹理稀疏或低对比度导致的连续帧深度误差.鉴于三维数据特有的多维度信息关联特性,本文将微观物体的不同景深图像序列视为三维数据,在重建过程中引入全部图像序列之间的关联关系,从三维数据时频变换的视角构造了以多视角分析、稳定性聚类、选择性融合逻辑耦合的微观三维形貌重建框架.首先从理论上分析三维数据相较于传统二维图像处理重建问题的优势,通过构造三维时频变换实现三维数据到不同尺度、区域和方向深度图像之间的映射;然后从增强深度图像特征的角度构建基于多模态纹理特征的局部稳定性聚类算法,实现同质性较好深度图像的自适应选择;最后提出选择性深度图像融合的策略,通过构造层筛过滤平衡树对滤除离散噪声后的多层深度图像进行融合,实现微观物体高精度的三维形貌重建.模拟数据与真实场景数据均验证了本文方法的有效性.三维时频变换视角的智能微观三维重建方法为基于图像聚焦信息的三维形貌重建提供一个崭新的研究视角,在精密制造、亚微米级工业测量等领域具有重要的理论意义和应用价值.     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

基于多幅图像的三维重建

针对当前三维重建系统中大量的交互和频繁的失真,根据运动进行物体三维重建的原理,设计了一个简便易操作的三维重建系统.首先经过相机标定,立体匹配点,进而运用双视点三维重建原理即三角测量得到三维坐标:然后运用运动的连续性,综合多视点下的三维信息结合图像特征点的二维局部属性进行优化,最后经过三角剖分和纹理渲染得到物体真实的形状.与传统的三维重建系统相比,该系统能够在用户交互很少的情况下进行三维重建,且能重建出完整的低失真的三维模型.     

基于双目立体视觉三维重建系统的研究与设计

基于双目的立体视觉方法,介绍了一套由双工业CCD构成的立体视觉系统,设计了一套切实可行的三维重建系统方案,其中包括图像获取模块,基于OpenCV的摄像机标定系统,SIFT算法实现特征点提取与立体匹配,深度信息计算,OpenGL三维模型重构几大模块.系统各模块经过试验测试和验证,能够通过两幅图像恢复出物体三维可见表面几何形状,充分发挥了OpenCV函数库的功能,基本上能满足三维重建目标的要求,尤其对城市景观的三维重建有较大应用价值.     

物体三维图像运动重建算法仿真

在运动图像准确识别问题的研究中,在物体运动过程和背景较为复杂的情况下,物体的形变程度存在很大的随机性和不确定性,很难运用精确的形状基数量对非确定的形变加以约束.传统的非刚体物体三维图像重建算法中均为假设物体的形状基个数已知,没有运动物体形变复杂时,形状基参数估计错误带来的重建特征点缺失,影响三维图像重建真实性和重建清晰度.为解决上述问题,提出了一种散乱特征点碰撞的物体三维运动重建算法,运用动态图像序列中恢复的特征残缺的三维物体结构,在极小的特征空间内,通过散乱特征点间的碰撞联系,建立较为准确的补偿特征,对形状基估计不准进行补偿,弥补由于形状基估计不准带来的物体重建特征缺失、物体重建效果差、鲁棒性不强,不清晰的弊端.     

基于ToF相机的三维重建技术

针对利用ToF相机实现物体的重建提出一种新的三维重建算法,通过分析物体重建过程的特点,对KinectFusion的重建算法进行改进。点云匹配过程包括粗匹配和精匹配两个过程,最后进行全局优化,提高相机位姿估计的精度,从而得到更精确的三维重建结果。利用泊松重建算法重建物体表面,相比于TSDF算法,能够实现完整表面的重建。提出结合强度图对深度图进行多边滤波的算法以及一种新的补空洞法则,增强深度图像。多边滤波算法在PSNR和SSIM的评估中都优于双边滤波结果,提出的三维重建算法与KinectFusion三维重建结果对比,表面更完整,重建结果更优。     

相位矩不变量用于评价基于图像的三维重建结果

基于图像的三维重建的评价一般要在三维扫描仪获取的精确三维模型上进行,成本高、效率低,且不适用于大型的物体或者大规模的场景.针对该问题,提出一种基于图像相位信息不变性的评价方法.首先获取物体的三维重建模型在某视点下的二维投影图;然后对该投影图以及真实物体在相近视点下的图像进行边缘提取;再对2幅边缘图像计算文中提出的相位矩不变量,以构造特征向量;最后通过比较特征向量的距离来衡量重建结果的质量.实验结果表明了该方法对评价基于图像重建的三维面片模型的有效性和适用性.     

RGBD融合明暗恢复形状的全视角三维重建技术研究

为了高效、高精度、低成本地实现对物体的全视角三维重建, 提出一种使用深度相机融合光照约束实现全视角三维重建的方法。该重建方法中,在进行单帧重建时采用RGBD深度图像融合明暗恢复形状(Shape from shading,SFS)的重建方法, 即在原有的深度数据上加上额外的光照约束来优化深度值; 在相邻两帧配准时, 采用快速点特征直方图（Fast point feature histograms, FPFH）特征进行匹配并通过随机采样一致性（Random sample consensus, RANSAC）滤除错误的匹配点对求解粗配准矩阵, 然后通过迭代最近点（Iterative closest point, ICP）算法进行精配准得出两帧间的配准矩阵; 在进行全视角的三维重建时, 采用光束平差法优化相机位姿, 从而消除累积误差使首尾帧完全重合, 最后融合生成一个完整的模型。该方法融入了物体表面的光照信息,因此生成的三维模型更为光顺,也包含了更多物体表面的细节信息,提高了重建精度;同时该方法仅通过单张照片就能在自然光环境下完成对多反射率三维物体的重建,适用范围更广。本文方法的整个实验过程通过手持深度相机就能完成,不需要借助转台,操作更加方便。     

System for reconstruction of three-dimensional micro objects from multiple photographic images

We introduce a system to reconstruct a three-dimensiojnal (3D) polygonal model of 3D micro objects with outer dimensions ranging from several hundred microns to several millimeters from multiple two-dimensional (2D) images of an object taken from different views. The data acquisition system consists of a digital microscope that captures still images at a resolution of 1600 × 1200 pixels and a computer-controlled turntable. We employ the shape-from-silhouette (SFS) method to construct a voxel-based 3D model from silhouette images. The concave shapes are further carved by using the space carving technique. In order to make the resulting model compatible with a commercial CAD/CAM system, the voxel model is converted into a triangular mesh using the marching cubes algorithm. Because the mesh generated from the voxel model by using the marching cubes algorithm inherits the staircase effect, the mesh is adjusted to recover the object precisely by using silhouette images. Finally, we evaluate the accuracy of the proposed method. The reconstructed models of complex micro objects indicate the effectiveness of the 3D shape reconstruction system for micro objects.     

基于深度生成模型的煤矿运输皮带异物检测

为了能够精准地对煤矿皮带运输机上的异物进行检出,提出了一种基于深度生成模型的皮带异物检测方法.首先,利用常规的变分自编码器(variational autoencoder,VAE)对图像进行重构,根据原始图像与重构图像之间的重构误差对图像中是否存在异物进行检出.然后,为了解决变分自编码器所生成的重构图像通常较为模糊的问...     

A Video-Based 3D-Reconstruction of Soccer Games

In this paper we present SoccerMan, a reconstruction system designed to generate animated, virtual 3D views from two synchronous video sequences of a short part of a given soccer game. After the reconstruction process, which needs also some manual interaction, the virtual 3D scene can be examined and 'replayed' from any viewpoint. Players are modeled as so-called animated texture objects, i.e. 2D player shapes are extracted from video and texture-mapped onto rectangles in 3D space. Animated texture objects have shown very appropriate as a 3D representation of soccer players in motion, as the visual nature of the original human motion is preserved. The trajectories of the players and the ball in 3D space are reconstructed accurately. In order to create a 3D reconstruction of a given soccer scene, the following steps have to be executed: 1) Camera parameters of all frames of both sequences are computed (camera calibration). 2) The playground texture is extracted from the video sequences. 3) Trajectories of the ball and the players' heads are computed after manually specifying their image positions in a few key frames. 4) Player textures are extracted automatically from video. 5) The shapes of colliding or occluding players are separated automatically. 6) For visualization, player shapes are texture-mapped onto appropriately placed rectangles in virtual space. SoccerMan is a novel experimental sports analysis system with fairly ambitious objectives. Its design decisions, in particular to start from two synchronous video sequences and to model players by texture objects, have already proven promising.     

深度学习在单图像三维模型重建的应用

针对基于单图像重建的三维模型具有高度不确定性问题,提出了一种基于深度图像估计、球面投影映射、三维对抗生成网络相结合的网络模型算法。首先,通过深度估计器得到输入图像的深度图像,这有利于对图像进一步的分析;其次,将得到的深度图像通过球面投影映射转换为三维模型;最后,利用三维对抗生成网络对重建的三维模型的真实性进行判断,建立更逼真的三维模型。理论分析和仿真实验表明,与学习先验知识生成三维模型的算法LVP相比,所提模型在真实三维模型与重建三维模型的交并比（IoU）上提高了20.1%,倒角距离（CD）缩小了13.2%。实验结果表明,所提模型在单视图三维模型重建中具有良好的泛化能力。     

A PDE method for patchwise approximation of large polygon meshes

Three-dimensional (3D) representations of complex geometric shapes, especially when they are reconstructed from magnetic resonance imaging (MRI) and computed tomography (CT) data, often result in large polygon meshes which require substantial storage for their handling, and normally have only one fixed level of detail (LOD). This can often be an obstacle for efficient data exchange and interactive work with such objects. We propose to replace such large polygon meshes with a relatively small set of coefficients of the patchwise partial differential equation (PDE) function representation. With this model, the approximations of the original shapes can be rendered with any desired resolution at interactive rates. Our approach can directly work with any common 3D reconstruction pipeline, which we demonstrate by applying it to a large reconstructed medical data set with irregular geometry.     

一种基于序列图像的交互式快速三维重建方法

针对普通数码相机拍摄的序列图像,提出了一种快速的交互式三维重建方法.首先基于SFM技术得到了相机的内外部参数;然后在图像上交互取点以构建逼近物体轮廓的多边形,结合该多边形,利用轮廓跟踪算法提取出精确的外形轮廓;最后通过匹配轮廓点的方式重建出三维模型.实验结果表明该重建方法是快速而有效的.     

基于先验知识的单视图三维点云重建算法研究

单幅图像的三维重建是一个不适定问题,由于图像与三维模型间存在的表示模式差异,通常存在物体自遮挡、低光照、多类对象等情况,针对目前单幅图像三维模型重建中重建模型具有歧义性的问题,提出了一种基于先验信息指导的多几何角度约束的三维点云模型重建方法。首先,通过预训练三维点云自编码器获得先验知识,并最小化输入图像特征向量与点云特征向量的差异,使得输入图像特征分布逼近点云特征分布;然后,利用可微投影模块将图像的三维点云表示形式从不同视角投影到二维平面;最后,通过最小化投影图与数据集中真实投影图的差异,优化初始重建点云。在ShapeNet和Pix3D数据集上与其他方法的定量定性比较结果表明了该方法的有效性。     

结合语义分割与模型匹配的室内场景重建方法

目的 由于室内点云场景中物体的密集性、复杂性以及多遮挡等带来的数据不完整和多噪声问题,极大地限制了室内点云场景的重建工作,无法保证场景重建的准确度。为了更好地从无序点云中恢复出完整的场景,提出了一种基于语义分割的室内场景重建方法。方法 通过体素滤波对原始数据进行下采样,计算场景三维尺度不变特征变换（3D scale-invariant feature transform,3D SIFT）特征点,融合下采样结果与场景特征点从而获得优化的场景下采样结果;利用随机抽样一致算法（random sample consensus,RANSAC）对融合采样后的场景提取平面特征,将该特征输入PointNet网络中进行训练,确保共面的点具有相同的局部特征,从而得到每个点在数据集中各个类别的置信度,在此基础上,提出了一种基于投影的区域生长优化方法,聚合语义分割结果中同一物体的点,获得更精细的分割结果;将场景物体的分割结果划分为内环境元素或外环境元素,分别采用模型匹配的方法、平面拟合的方法从而实现场景的重建。结果 在S3DIS （Stanford large-scale 3D indoor space dataset）数据集上进行实验,本文融合采样算法对后续方法的效率和效果有着不同程度的提高,采样后平面提取算法的运行时间仅为采样前的15%;而语义分割方法在全局准确率（overall accuracy,OA）和平均交并比（mean intersection over union,mIoU）两个方面比PointNet网络分别提高了2.3%和4.2%。结论 本文方法能够在保留关键点的同时提高计算效率,在分割准确率方面也有着明显提升,同时可以得到高质量的重建结果。