误差云映射的深度融合3维重建

描述了一种应用于视频序列的3维稠密重建方法,主要针对基于多深度图恢复3维物体时存在的多对一映射重复投影问题,提出基于误差云概念的3维定点优化方法.该方法首先通过深度矫正,增加视频序列深度图的一致性;其次利用投影过滤分类算法,把所有投影点按照多对一映射的关系,以3维空间中所有不同点为类型,进行投影点依次映射,将每一点划分在各自的误差云类中以求得投影点与3维点的对应关系;随后采用空间高斯分布求出每个误差云所恢复出来的点坐标.最后通过多边形技术对恢复的点云数据进行网格化,使其重建出精确的目标物体或场景的3维轮廓.从实验结果可以观察到,本文3维重建方法可以有效减少深度图融合多对一映射重复投影问题所带来的负面影响,使重建结果更加接近于真实物体,达到较好的效果.     

基于结构先验与协同优化的城市场景分段平面重建

在基于图像的城市场景三维重建中,场景分段平面重建算法可以克服场景中的弱纹理、光照变化等因素的影响而快速恢复场景完整的近似结构.然而,在初始空间点较为稀疏、候选平面集不完备、图像过分割质量较低等问题存在时,可靠性往往较低.为了解决此问题,本文根据城市场景的结构特征构造了一种新颖的融合场景结构先验、空间点可见性与颜色相似性的平面可靠性度量,然后采用图像区域与相应平面协同优化的方式对场景结构进行了推断.实验结果表明,本文算法利用稀疏空间点即可有效重建出完整的场景结构,整体上具有较高的精度与效率.     

关节轴角先验对3维人体重建结果的影响

目的 3维人体重建的目标在于建立真实可靠的3维人体模型。但目前基于SMPL（skinned multi-person linear model）模型重建3维人体的实验和一些公开数据集中，常常会出现预测的姿势角度值不符合真实人体关节角度规则的现象。针对这一问题，本文提出设置关节旋转角值域，使得重建的结果真实性更强、更符合人体关节机械结构。方法 根据人体关节的联接结构将各个关节的运动进行划分。根据划分结果计算关节运动自由度，并结合实际情况提出基于SMPL模型的关节旋转值域。提出一个简单的重建方法来验证值域分析的正确性。结果 使用3维人体数据集UP-3D进行相关实验，并对比以往直接根据学习结果生成重建模型的数据。在使用轴角作为损失参数的情况下，重建精度提高显著，平均误差降低15.1%。在使用所有损失函数后，平均误差比直接根据预测值生成重建模型的两段式重建方法降低7.0%。重建结果与UP-3D数据集进行真实性对比有显著的关节联动性效果。结论 本文提出的关节旋转角值域设置对基于SMPL模型进行3维人体重建的方法在进行关节点旋转角回归的过程中起到了很大作用，重建的模型也更符合人体关节运动联动性。     

水平集活动轮廓模型的3维牙齿重建

目的 建立患者口腔每颗牙齿独立的3维模型对于计算机口腔修复的精确定位和量化评估具有十分重要的意义。针对口腔CT图像序列的牙齿形态变化和排列特点,提出一种新颖的基于水平集活动轮廓模型的3维牙齿重建方法。方法 基于层间映射机制,对不同部位牙层切片采用不同的分割模型：利用先验形状约束能量、基于Flux模型的边缘梯度能量、基于先验灰度的局部区域能量相结合构造的单相混合水平集模型分割牙根层切片轮廓;利用结合区域竞争约束的双相混合水平集模型分割牙冠层切片轮廓;最后利用这些层间轮廓重建出牙齿3维模型。结果 对不同位置的牙齿CT图像进行分割实验,结果表明,与现有的方法相比,本文方法具有较好的分割效果和较高的准确率,平均分割相似系数达到96%。结论 本文的混合水平集模型能有效克服牙髓腔和牙槽骨的干扰以及图像灰度不均匀等问题,较准确地重建出每颗牙齿独立的3维模型,从而为制定口腔修复规划、生物力学分析等奠定坚实的基础。     

匹配图像与3维模型特征点的真实感3维头重建

提出并实现一种基于两张正交图像和一个标准3维头模型,并利用2D图像特征点和3D模型特征点的匹配进行3维头模型重建的算法。首先,进行面部区域和头发区域的分割,利用色彩传递对输入图像进行颜色处理。对正面图像利用改进后的ASM（主动形状模型）模型进行特征点定位。改进局部最大曲率跟踪(LMCT)方法,更为鲁棒的定位了侧面特征点。在匹配图像特征点与标准3维头上预先定义的特征点的基础上,利用径向基函数进行标准头形变,获得特定人的3维头部形状模型。采用重建好的3维头作为桥梁,自动匹配输入图像,进行无缝纹理融合。最后,将所得纹理映射到形状模型上,获得对应输入图像的特定真实感3维头模型。     

基于L1与空间点分类的3维场景重建

针对多视图的3维重建问题,提出一种基于L1与空间点分类的3维场景重建技术.首先采用效率较高的L1方法剔除残留局外点,以避免重建过程中受到局外点的干扰;再将空间点分为两类,第1类为两视图可见空间点,第2类为多于两视图可见空间点;针对第1类空间点采用高精度的最优三角形法进行重建,而第2类空间点采用L∞范数方法进行重建,并不断调整二分搜索的上下界,以减少迭代次数.实验结果表明了本文方法的优越性.     

基于领域知识的3维动态场景目标识别和配准

为了增强遥操作系统的临场感,使操作者更好地融入远程工作环境,提出了基于领域知识的3维动态场景目标识别和配准算法.首先,通过离线解析和切分虚拟样机CAD（计算机辅助设计）模型构建包含多视角点云特征和装配约束的领域知识库.其次,通过动态采集场景点云并计算CVFH（clustered viewpoint feature histogram）和FPFH（fast point feature histogram）特征,利用领域知识库中多视角点云特征和点云CVFH特征进行比对实现目标识别,并由FPFH特征经过两步配准实现目标姿态确定.最后,利用装配约束知识库实现以遥操作机器人工作状态变化为驱动的指导信息的精确配准和实时推送.实验结果表明,该系统不但可以有效地指导远程机器人完成维修操作,还可以提高遥操作的精度和效率.     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。     

小物体3维重建中影像与几何模型的配准

目的 近景摄影测量中的目标几何形状复杂,且拍摄影像的角度变化大,给影像与几何模型的配准带来了困难。传统单幅影像与几何模型配准的做法,由于缺乏自动粗配准的方法,效率相对较低。将多视影像首先统一坐标系的做法,在近景目标的复杂背景下也难以实现。方法 为此,将近景目标置于平面标定板上,利用相机标定的方法同时解算出影像的内外方位元素,实现多视影像坐标系的统一。然后人工选取3组以上同名点,做多视影像与几何模型的绝对定向,得到初始配准参数。最后使用多视影像与几何模型漫反射渲染图之间的归一化互信息作为相似性测度,用Powell非线性优化方法得到配准参数的精确值。结果 实验结果表明,使用标定板可以稳定地获取多视影像的内外方位元素,用绝对定向得到的配准参数进行影像和几何模型的交替显示仍然可以看到明显的裂缝,在经过互信息优化后裂缝现象得到明显改善。结论 多视影像与几何模型配准相比传统单幅影像与几何模型配准,人工选取同名点的工作量大大减少,由于人工选点存在误差,影响绝对定向的精度,使用归一化互信息作为测度进行非线性优化,可以获得更高的精度。     

融合多尺度和边界优化的图像语义分割网络

针对卷积神经网络在多卷积层叠加造成的图像内小尺度目标丢失和类别边界模糊问题,提出一种基于多尺度特征融合和边界优化的阶梯型图像语义分割网络结构。该网络以提升网络模型的准确率为目标,对Deeplab V3+网络中空间池化金字塔模块进行优化,使用针对视觉任务的新激活函数Funnel ReLU(FReLU)替换原有非线性激活函数获取精度补偿,增添优化分支构建阶梯型网络,通过对各类别边界的精确预测提升整体图像分割准确率,减少预测结果中类内误识别和小尺度目标丢失问题。在Cityscapes数据集上的实验结果表明,改进后的网络各类别平均交并比指标均取得明显提升。     

几何属性引导的三维语义实例重建

目的 语义实例重建是机器人理解现实世界的一个重要问题。虽然近年来取得了很多进展,但重建性能易受遮挡和噪声的影响。特别地,现有方法忽视了物体的先验几何属性,同时忽视了物体的关键细节信息,导致重建的网格模型粗糙,精度较低。针对这种问题,提出了一种几何属性引导的语义实例重建算法。方法 首先,通过目标检测器获取检测框参数,并对每个目标实例进行检测框盒采样,从而获得场景中对应的残缺局部点云。然后,通过编码器端的特征嵌入层和Transformer层提取物体丰富且关键的细节几何信息,以获取对应的局部特征,同时利用物体的先验语义信息来帮助算法更快地逼近目标形状。最后,本文设计了一种特征转换器以对齐物体全局特征,并将其与前述局部特征融合送入形状生成模块,进行物体网格重建。结果 在真实数据集ScanNet v2上,本文算法与现有最新方法进行了全面的性能比较,实验结果证明了本文算法的有效性。与性能排名第2的RfD-Net相比,本算法的实例重建指标提升了8%。此外,本文开展了详尽的消融实验以验证算法中各个模块的有效性。结论 本文所提出的几何属性引导的语义实例重建算法,更好地利用了物体的几何属性信息,使得重建结...     

结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法

针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络.在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码器模块中引入残差注意力机制,强化网络对重要特征的关注同时抑制不必要的噪声.实验结果表明,相较其他算法,该算法取得了较显著的改进;相对PRNet,该算法以更少的参数量在各项指标上取得7.7％～12.1％的性能提升.     

带有未知匹配的图像线特征三维重建方法的研究*

为了解决传统三维重建过程中线特征匹配速度慢、建模与匹配过程脱节的问题,提出了基于相关系数的图像线特征匹配的方法,运用此方法对同一物体的三幅图像进行了特征匹配和三维重建。建立了目标物体的三维模型,达到了对物体线特征匹配与三维重建同步进行的目的。通过对所得实验数据分析,可以证明此算法对于物体的三维重建是有效的。     

基于内容和语义的三维模型检索综述

多媒体信息的检索是信息复用的重要途径。三维模型检索作为三维建模过程中的关键技术之一,近年来随着三维建模的广泛运用而被深入研究。针对目前三维模型检索技术的进展,首先介绍了基于内容的检索技术,按照提取的特征将其分为四类：基于统计数据、基于几何外形、基于拓扑结构和基于视觉特征,分别介绍各类技术的主要成果和优缺点;然后介绍考虑语义信息,解决“语义鸿沟”现象的基于语义的检索方法,根据切入角度将其分为三类：相关性反馈、主动学习和本体技术,随后介绍了各类技术的相互关系与特点;最后总结和提出了三维模型检索的未来研究的发展方向。     

基于图形语义理解的三维重建技术

分析了目前三维重建的方法所面临的困难和存在的问题,介绍了基于图形语义理解的三维重建技术的方法和过程,指出利用基于图形语义理解的三维重建方法的可行性与必要性,指出利用语义理解在解决三维重建面临的困难时所发挥的作用.最后,介绍了利用相图语义的理解对金属相图进行三维重建的过程和方法.     

RGB-Fusion: Monocular 3D reconstruction with learned depth prediction

Generating large-scale and high-quality 3D scene reconstruction from monocular images is an essential technical foundation in augmented reality and robotics. However, the apparent shortcomings (e.g., scale ambiguity, dense depth estimation in texture-less areas) make applying monocular 3D reconstruction to real-world practice challenging. In this work, we combine the advantage of deep learning and multi-view geometry to propose RGB-Fusion, which effectively solves the inherent limitations of traditional monocular reconstruction. To eliminate the confinements of tracking accuracy imposed by the prediction deficiency of neural networks, we propose integrating the PnP (Perspective-n-Point) algorithm into the tracking module. We employ 3D ICP (Iterative Closest Point) matching and 2D feature matching to construct separate error terms and jointly optimize them, reducing the dependence on the accuracy of depth prediction and improving pose estimation accuracy. The approximate pose predicted by the neural network is employed as the initial optimization value to avoid the trapping of local minimums. We formulate a depth map refinement strategy based on the uncertainty of the depth value, which can naturally lead to a refined depth map. Through our method, low-uncertainty elements can significantly update the current depth value while avoiding high-uncertainty elements from adversely affecting depth estimation accuracy. Numerical qualitative and quantitative evaluation results of tracking, depth prediction, and 3D reconstruction show that RGB-Fusion exceeds most monocular 3D reconstruction systems.     

图形语义理解的三维重建技术在相图中的应用

分析了目前进行金属相图的三维重建时面临的困难和存在的问题,介绍了基于图形语义理解的三维重建技术在相图领域中的应用方法,指出方法的可行性和必要性。最后,指明了目前研究的不足之处,以及下一步研究的方向和重点。     

图像三维重建中的特征点匹配方法研究

针对传统三维重建中点特征匹配算法的局限性,提出了基于相关系数的图像点特征匹配方法,实现了对图像点特征匹配与三维重建同步进行的目的。基于同一物体的两幅图像,给出了其特征匹配和三维重建的算法,并通过实验数据分析了此算法的有效性。     

Fast accessing Web3D contents using lightweight progressive meshes

Accessing Web3D contents is relatively slow through Internet under limited bandwidth. Preprocessing of 3D models can certainly alleviate the problem, such as 3D compression and progressive meshes (PM). But none of them considers the similarity between components of a 3D model, so that we could take advantage of this to further improve the efficiency. This paper proposes a similarity‐aware data reduction method together with PM, called lightweight progressive meshes (LPM). LPM aims to excavate similar components in a 3D model, generates PM representation of each component left after removing redundant components, and organizes all the processed data using a structure called lightweight scene graph. The proposed LPM possesses four significant advantages. First, it can minimize the file size of 3D model dramatically without almost any precision loss. Because of this, minimal data is delivered. Second, PM enables the delivery to be progressive, so called streaming. Third, when rendering at client side, due to lightweight scene graph, decompression is not necessary and instanced rendering is fully exerted. Fourth, it is extremely efficient and effective under very limited bandwidth, especially when delivering large 3D scenes. Performance on real data justifies the effectiveness of our LPM, which improves the state‐of‐the‐art in accessing Web3D contents. Copyright © 2015 John Wiley & Sons, Ltd.     

多视三维重构中连续能量模型的凸优化

利用融合了轮廓线及体视的序列图像信息,提出了一个面向多视三维重构的稳健能量模型;为了适配于可视性约束,提出一种针对该能量模型的连续全局优化方法;为了保证栅格连通性选择的一致性及独立性,实施了全局连续优化的超松弛离散化。实例证明,该方法的实用性好,极大地减少了算法处理的内存开销,实现了在更高分辨率上有效的多视重构。