非刚性三维模型检索特征提取技术研究

三维模型特征描述符是一种简洁且信息量丰富的表示方式.特征提取是许多三维模型分析处理任务的关键步骤.近年来,针对非刚性三维模型特征提取技术的研究引起了人们的广泛关注.本文首先汇总了常用的非刚性三维模型基准数据集和算法评价标准.然后在广泛调研大量文献和最新成果的基础上,将非刚性三维模型特征分为人工设计的特征描述符和基于学习的特征描述符两大类并分别加以介绍.对每类方法所包含的典型算法,尤其是最近几年基于深度学习的特征提取算法的基本思想、优缺点进行了分析、对比和总结.最后进行总结,并对未来可能的发展趋势加以展望.     

基于深度学习的三维数据分析理解方法研究综述

基于深度学习的三维数据分析理解是数字几何领域的一个研究热点.不同于基于深度学习的图像分析理解,基于深度学习的三维数据分析理解需要解决的首要问题是数据表达的多样性.相较于规则的二维图像,三维数据有离散表达和连续表达的方法,目前基于深度学习的相关工作多基于三维数据的离散表示,不同的三维数据表达方法与不同的数字几何处理任务对深度学习网络的要求也不同.本文首先汇总了常用的三维数据集与特定任务的评价指标,并分析了三维模型特征描述符.然后从特定任务出发,就不同的三维数据表达方式,对现有的基于深度学习的三维数据分析理解网络进行综述,对各类方法进行对比分析,并从三维数据表达方法的角度进一步汇总现有工作.最后基于国内外研究现状,讨论了亟待解决的挑战性问题,展望了未来发展的趋势.     

基于RGB-D图像的语义场景补全研究综述

近年来随着计算机视觉领域的不断发展,三维场景的语义分割和形状补全受到学术界和工业界的广泛关注.其中,语义场景补全是这一领域的新兴研究,该研究以同时预测三维场景的空间布局和语义标签为目标,在近几年得到快速发展.对近些年该领域提出的基于RGB-D图像的方法进行了分类和总结.根据有无使用深度学习将语义场景补全方法划分为传统方法和基于深度学习的方法两大类.其中,对于基于深度学习的方法,根据输入数据类型将其划分为基于单一深度图像的方法和基于彩色图像联合深度图像的方法.在对已有方法分类和概述的基础上,对语义场景补全任务所使用的相关数据集进行了整理,并分析了现有方法的实验结果.最后,总结了该领域面临的挑战和发展前景.     

基于深度学习的3D点云补全算法综述

三维视觉已成为当前研究的热点之一。在各种类型的三维数据描述中，点云由于其数据量小而呈现能力细腻被广泛应用于三维数据处理中。现实世界的点云数据通常是通过激光扫描仪、立体相机或低成本RGB-D扫描仪获取的。但是由于遮挡问题、光线反射、材料表面的透明度以及传感器分辨率和视角的限制，导致这些设备直接获取的通常是稀疏或者不完整点云，造成几何信息和语义信息的丢失进而影响到各种下游任务，如机器人操作，导航场景理解等。根据点云补全侧重点不同，将基于深度学习的三维点云补全技术划分为基于体素的形状补全和基于点的形状补全。     

融合RGB图像特征的多尺度深度图像补全方法

针对目前因缺少配对的"缺失-完整"RGB-D数据集而不能直接训练端对端深度图像补全模型的问题,提出基于随机掩码构造对应的缺失-完整数据,结合真实数据集与合成数据集交替训练模型的策略.基于随机掩码生成不同缺失比例的深度图像,并且利用合成数据集构造具有可靠真值的深度图像缺失数据,从而得到具有可靠数据的缺失-完整RGB-D数据集.以此策略为基础,搭建融合对应RGB图像特征的多尺度深度图像补全网络,该网络分别从RGB图像特征提取分支和深度图像特征提取分支提取不同尺度的RGB图像特征和深度图像特征,再经过特征融合分支在不同尺度上对RGB图像特征和深度图像特征进行融合,进而能够充分地学习RGB图像丰富的语义信息和深度图像的信息补全缺失深度.在NYU-Depth V2数据集的实验表明,该方法在不同缺失比例的深度图像补全任务中,阈值精度平均值为0.98,平均相对误差约为0.061,与现有基于神经网络和优化稀疏方程组的方法相比,其在阈值精度上平均提升了0.02,平均相对误差平均下降了0.027.     

基于径向曲线与支持向量回归的颅骨修复方法

颅骨修复技术是对有缺损的颅骨补全对应的缺损部分,进而实现颅骨形状的完整性。针对高维颅骨数据,采用径向曲线来表示颅骨几何特征,结合最小二乘支持向量回归的方法构建颅骨修复模型。提取完整的三维颅骨模型的径向曲线,将其分为已有径向曲线和缺失径向曲线两部分作为训练样本,采用最小二乘支持向量回归统计模型复原出待修复颅骨的缺失径向曲线,进而合并生成待修复颅骨的完整径向曲线,通过迭代最近点算法将合并的颅骨径向曲线与颅骨统计模型进行匹配生成完整的三维颅骨模型。实验结果表明,该方法的平均误差达到6.834×10^-3,比主成分分析方法降低2.90倍,具有更好的修复效果。     

视觉深度学习的三维重建方法综述

近年来,三维重建作为计算机视觉的重要任务之一,得到广泛的关注和深入的研究。重点分析近年来使用深度学习重建通用对象的三维形状的研究进展。以深度学习进行三维重建环节为脉络,根据三维重建过程中数据深度特征表示方法将三维重建研究分为体素、点云、曲面网格、隐式曲面四类。再根据输入二维图像的数目分为单视图三维重建和多视图三维重建两类,根据网络架构以及它们使用的训练机制进行具体细分,在讨论每个类别的研究进展的同时,分析每种训练方法的发展前景及优缺点。研究近年来在特定三维重建领域的新热点,例如动态人体三维重建和不完整几何数据的三维补全,对一些关键论文进行比较,总结了这些领域存在的问题。介绍现阶段的三维数据集的重点应用场景和参数。总结现阶段三维重建领域存在数据集缺失、模型训练复杂、缺少特定领域针对性识别等问题。对三维重建在未来的具体应用领域发展前景进行了例证分析,并对三维重建的研究方向进行了展望。     

基于SA-PointNetVLAD的点云分类网络

三维点云数据包含着丰富的形状和比例信息,如何有效准确地对点云数据进行分类已经成为了目前计算机视觉领域的研究热点。由于点云在非欧氏空间中的不规则稀疏结构,并且现有的基于深度学习的三维点云分类模型中缺乏对各个点的局部信息和全局信息的有效利用,从而导致较低的分类精度。为了解决上述问题,提出了一种基于SA-PointNetVLAD的点云分类模型框架。该网络采用逐点特征提取和汇集操作来解决无序的点云问题,通过自注意力机制来计算每个点与其他所有点之间的关联,充分挖掘点云的局部区域细粒度特征以及全局信息,采用KNN邻近算法感知点云的局部形状结构,通过VLAD层将每个点的低层几何描述符与视觉单词相关联来间接描述高层特征信息。此外,该网络还引入一个有效的关键点描述符帮助识别整体几何图形。经过实验得出SA-PointNetVLAD模型在公开的ModelNet40数据集上仅使用512个点就可以达到90.9%的精度,显著高于相同条件下的其他方法。     

基于多尺度特征融合和对比池化的点云补全网络

点云补全在点云处理任务中具有重要作用,它可以提高数据质量、辅助生成精确三维模型,为多种应用提供可靠数据支撑。然而,现有基于深度网络的点云补全算法采用的单层次全局特征提取方法较为简单,没有充分挖掘潜在语义信息,并在编码过程中丢失部分细节信息。为解决这些问题,提出了一种多尺度特征逐级融合的点云补全网络,并结合注意力机制提出了一种全新的池化方法。实验结果表明,在PCN、ShapeNet34和ShapeNet55三个数据集上取得了SOTA水平,证明该网络具有更好的特征表示能力和补全效果。     

基于MC算法的光刻仿真微结构的三维重建

在深度光刻中为了仿真微结构的形状,需要利用三维光场分布的数据对其进行三维重建。而MC(Marching Cubes)算法是三维重建中构造等值面的代表性的方法之一。以MC算法为基础,首先介绍了如何利用MC算法来绘制三维光场数据的等值面,然后分析将等值面和边界所围成的空洞补全的方法,最后研究了如何利用有限元分析软件的参数化设计语言将生成的面模型转换成实体模型。该方法重建的几何模型不但可以用于微结构形状误差分析,而且还可方便的用于建立有限元模型,直接应用于有限元分析。     

基于多尺度CNN-RNN的单图三维重建网络

现有基于深度学习的三维重建算法主要从深度网络的单一层进行特征获取,二维图像特征提取不完整,造成三维重建效果不理想。为提高三维重建模型的精度及准确度,充分利用二维图像细节特征,有效转换为三维网络,提出一种基于多尺度CNN-RNN的单图三维重建网络。模型网络主要由三部分组成：二维编码器、转换器及三维编码器。模型借鉴高斯金字塔模型,构建多尺度网络,保留二维图像不同尺度上的特征值,通过RNN将其转换为三维特征。模型使用公共的ShapeNet数据集进行训练和测试,通过前后对比,发现使用多尺度特征提取的方法,模型具有更好的鲁棒性。与现有方法进行对比,本模型在飞机、柜子、汽车、显示器、灯、音响、沙发等模型的三维重建中拥有更好的重建效果。     

基于正方形描述符和LSSVM的三维人脸区域标记

提出了一种基于正方形切平面描述符的三维人脸模型区域标记算法.新的描述符由三维人脸模型顶点的正方形切平面区域内的几何信息编码而成.通过最小二乘支持向量机算法(LSSVM)对其进行学习,对三维模型上所有顶点进行分类,实现了对三维人脸模型上眉毛、眼睛、鼻子、嘴巴等区域的识别和标记.定位仿真实验中,分类准确率可达92.35%.所提描述符具有旋转、头部姿势、三维模型分辨率不变性,对模型的噪声具有鲁棒性.实验结果表明:提出的方法能有效标记三维人脸模型区域.     

基于骨骼的人体行为识别方法研究综述

人体行为识别在视频理解中发挥了重要作用.近年来,基于骨骼的行为识别方法因其对复杂环境的干扰更具鲁棒性而受到广泛关注.文中共整理了102种基于骨骼的人体行为识别方法,并在9个公开数据集上对其进行了对比分析.按照特征学习方式的不同,分别介绍了基于手工特征的方法和基于深度学习的方法.其中,基于手工特征的方法按特征描述符的不同分为几何描述符、动力学描述符、统计描述符3个子类;基于深度学习的方法按网络主体的不同分为循环神经网络、卷积神经网络、图卷积网络、Transformer和混合网络5个子类.通过以上分析,不仅阐述了基于骨骼的行为识别方法的发展历程,还剖析了现有方法存在的泛化能力不强、计算成本高等局限.最后,从网络结构设计、相似动作区分、领域数据集拓展、多人交互等方面对未来研究方向进行了展望.     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

非刚性三维形状匹配中基于谱分析的形状描述符综述

基于谱分析的形状描述符在非刚性三维形状匹配中取得了较好的匹配效果，引起了研究者的广泛关注.谱分析是基于流形上拉普拉斯贝尔特拉米算子谱分解的一种内蕴形状分析方法.谱形状描述符和谱距离分布函数是最主要的两类谱分析形状描述符，它们具有不同的数学性质和物理意义.基于两类不同的形状描述符，给出了详细的方法分析及其在形状匹配中的应用.首先，给出了应用基于谱分析的形状描述符的非刚性三维形状匹配框架，介绍了几种常用的谱形状描述符及谱距离分布函数的基本思想和计算方法；然后，分析比较了这些形状描述符的优缺点及应用场景，为研究者选择基于谱分析的形状描述符提供参考；最后，通过实验对比了不同基于谱分析的形状描述符的算法鲁棒性、时间耗费及非刚性匹配性能，以此推动谱分析形状描述符的应用进程.     

基于多引导结构感知网络的深度补全

针对三维场景深度信息观测稀疏问题,提出一种融合彩色图像的多引导结构感知网络模型以补全稀疏深度.首先,利用三维平面法向量与场景梯度信息之间的映射关系,设计一种两分支主干网络框架,结合图像特征和几何特征进行深度预测,以充分提取空间位置信息的特征表示;然后,考虑到大范围场景下不同物体的结构差异性,基于网络通道注意力机制设计一种自适应感受野的结构感知模块,以对不同尺度的信息进行表征;最后,在网络采样的过程中,以不同尺寸图像为指导对预测子深度图进行滤波并修复物体的边缘细节.公开数据集上的实验结果表明,所设计的深度补全算法可以获得准确的稠密深度,同时通过两个下游感知任务进行深入评估,表明利用所提出方法能够有效提升其他感知任务的效果.     

基于权重能量自适应分布的三维形状分割算法

针对三维形状分割问题,提出一种引入权重能量自适应分布参与深度神经网络训练的全监督分割算法.首先对三维形状表面进行过分割得到若干小块,提取每一个小块的特征描述符向量作为神经网络的输入,计算权重能量自适应分布,将经过加权后的分割标签作为神经网络的输出,训练深度神经网络.对于新的未分割的三维模型,提取模型表面三角面片的特征向量后输入到神经网络中进行预测分割后,对预测分割的边缘进行修整得到分割结果,实现三维模型的自动分割.在普林斯顿三维模型分割数据集上的实验结果表明,算法通过在训练过程中引入权重能量自适应分布,可以大幅降低神经网络训练时的均方误差,提高神经网络预测结果的准确率;与传统算法相比,该算法具有高准确率、强鲁棒性、强学习扩展能力等优点.     

一种三维模型形状检索描述符

为了解决基于关键字的搜索方式不能准确查找三维模型的问题,对三角网格形式的三维模型提出一种基于内容的模型搜索算法.首先将模型中的三角网格再次划分,增加形状函数的维度,定义了一种新的三维模型形状函数,以提高形状函数的准确性;然后确定三维模型的极轴,将三维模型绕任意轴的旋转转换为绕极轴旋转,增强了球面调和方法提取的形状描述符旋转不变性;最后根据形状描述符之间的欧氏距离来度量三维模型的相似程度.实验结果表明,该算法适用于基于内容的三维模型搜索,并且在准确性和时效性方面都令人满意.     

基于深度学习的三维模型检索算法综述

近年来,深度学习被广泛应用于各个领域并取得了显著的进展,如何利用深度学习高效管理呈爆炸式增长的三维模型一直是一个研究热点.本文介绍了发展至今主流的基于深度学习的三维模型检索算法,并根据实验得出的算法性能评估分析了其优缺点.根据检索任务的不同,可将主要的三维模型检索算法分为两类:(1)基于模型的三维模型检索方法,即检索对...     

基于稀疏表示的电力负荷数据补全

数据缺失在电力负荷数据采集过程中经常发生,对提高算法的预测精确度带来了不利影响.现有的缺失数据补全算法只适用于缺失数据量较少的情况,而对于缺失数据较多的情况表现不佳.面对严重数据缺失的挑战,文中提出了一种基于稀疏表示的电力负荷缺失数据补全方法.首先以数据随机缺失为前提,将训练数据中假定缺失后的数据与完整的训练数据上下拼...