基于隐式表达的服装三维重建

随着近年来互联网购物的快速发展,在各大平台上出现了越来越多的服装商品。通过三维重建技术生成服装的三维模型可以帮助消费者更好地了解服装的姿态信息。针对服装的三维重建技术进行研究,提出基于隐式表达的服装三维重建模型。使用神经网络学习获得的占用函数作为服装三维模型的隐式表达,从而建立三维坐标和模型形状的映射。目前已有的三维重建算法需要拟合复杂的曲面模型,但资源消耗量大,而基于隐式表达的三维重建算法不需要进行参数化和网格化,能够提高算法的运行速度。为了进一步提高三维重建效果,采用目前性能最好的Point MetaBase-L网络模型和偏移注意力模块作为模型的特征提取网络。其中Point MetaBase-L网络模型基于现有的点云特征提取网络提出Set Abstraction层的元架构Point Meta,并通过分析选择Point Meta元架构中4个模块的最佳实践构成Point MetaBase-L网络模型的Set Abstraction层,同时引入平面特征投影模块加强特征的局部信息。在特征解码阶段,利用特征权重网络通过加权平均算法获取三维空间中采样点的占用概率。根据这些采样点的占用概率,通过...     

ST-Rec3D：基于结构和目标感知的三维重建

基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构,结合二元交叉熵函数及其变形,完成三维重建,取得较好的重建结果。然而,编码器在编码过程中缺乏对输入视图的结构感知能力,造成重建的三维模型几何细节不准确;以二元交叉熵函数为主的损失函数在体素分布不均衡的情况下,目标感知能力较差,导致其重建结果存在断裂、缺失等不完整性问题。针对此类问题,提出了一种具有结构和目标感知能力的三维重建网络(ST-Rec3D),以单视图或多视图为输入,由粗到细地重建出三维模型;结合注意力机制提出了一种具有空间结构感知能力的编码器,即结构编码器,以充分捕捉输入视图中的空间结构信息,有效感知重建物体的几何细节;将IoU损失引入到三维体素模型重建中,在体素分布不均衡的情况下,精准感知目标物体,确保重建物体的完整性和准确性。在ShapeNet和Pix3D数据集上的对比结果表明,ST-Rec3D在单视图和多视图上重建的三维模型的完整性和准确性均优于当前方法。     

深度学习背景下的图像三维重建技术进展综述

三维重建是指从单幅或多幅二维图像中重建出物体的三维模型并对三维模型进行纹理映射的过程。三维重建可获取从任意视角观测并具有色彩纹理的三维模型,是计算机视觉领域的一个重要研究方向。传统的三维重建方法通常需要输入大量图像,并进行相机参数估计、密集点云重建、表面重建和纹理映射等多个步骤。近年来,深度学习背景下的图像三维重建受到了广泛关注,并表现出了优越的性能和发展前景。本文对深度学习背景下的图像三维重建的技术方法、评测方法和数据集进行全面综述。首先对三维重建进行分类,根据三维模型的表示形式可将图像三维重建方法分类为基于体素的三维重建、基于点云的三维重建和基于网格的三维重建;根据输入图像的类型可将图像三维重建分类为单幅图像三维重建和多幅图像三维重建。随后介绍了不同类别的三维重建方法,从三维重建方法的输入、三维模型表示形式、模型纹理颜色、重建网络的基准值类型和特点等方面进行总结,归纳了深度学习背景下的图像三维重建方法的常用数据集和实验对比,最后总结了当前图像三维重建领域的待解决问题以及未来的研究方向。     

基于GAF和DenseNet的滚动轴承故障诊断方法

基于模型和基于信号的滚动轴承故障诊断方法存在建模困难、信号分析较繁琐等问题;基于数据驱动的滚动轴承故障诊断方法多采用卷积神经网络,但网络训练时随着网络层数增多会出现梯度消失问题,且将滚动轴承振动信号直接作为网络输入会造成特征提取不全。针对上述问题,提出了一种基于格拉姆角场(GAF)与密集连接卷积网络(DenseNet)的滚动轴承故障诊断方法。将滚动轴承振动信号一维时间序列通过GAF转换为二维图像,保留了时间序列数据之间的相关信息;将二维图像作为DenseNet的输入,通过DenseNet对二维图像进行特征提取,提升了特征信息利用率,进而实现故障分类。采用凯斯西储大学轴承数据集上的数据进行实验,结果表明,该方法能有效识别滚动轴承故障类型,故障诊断准确率达99.75%。为进一步证明该方法的优越性,选取灰度图+DenseNet、GAF+残差网络(ResNet)、灰度图+ResNet故障诊断方法进行对比,结果表明:GAF+DenseNet方法准确率最高,灰度图+ResNet方法准确率最低;经过GAF转换的二维图像与灰度图相比,保留了原始时间序列数据之间的相关信息;与ResNet相比,DenseNet由于采取更加密集的连接方式,能够更充分地提取故障特征。     

视觉深度学习的三维重建方法综述

近年来,三维重建作为计算机视觉的重要任务之一,得到广泛的关注和深入的研究。重点分析近年来使用深度学习重建通用对象的三维形状的研究进展。以深度学习进行三维重建环节为脉络,根据三维重建过程中数据深度特征表示方法将三维重建研究分为体素、点云、曲面网格、隐式曲面四类。再根据输入二维图像的数目分为单视图三维重建和多视图三维重建两类,根据网络架构以及它们使用的训练机制进行具体细分,在讨论每个类别的研究进展的同时,分析每种训练方法的发展前景及优缺点。研究近年来在特定三维重建领域的新热点,例如动态人体三维重建和不完整几何数据的三维补全,对一些关键论文进行比较,总结了这些领域存在的问题。介绍现阶段的三维数据集的重点应用场景和参数。总结现阶段三维重建领域存在数据集缺失、模型训练复杂、缺少特定领域针对性识别等问题。对三维重建在未来的具体应用领域发展前景进行了例证分析,并对三维重建的研究方向进行了展望。     

基于深度学习的三维数据分析理解方法研究综述

基于深度学习的三维数据分析理解是数字几何领域的一个研究热点.不同于基于深度学习的图像分析理解,基于深度学习的三维数据分析理解需要解决的首要问题是数据表达的多样性.相较于规则的二维图像,三维数据有离散表达和连续表达的方法,目前基于深度学习的相关工作多基于三维数据的离散表示,不同的三维数据表达方法与不同的数字几何处理任务对深度学习网络的要求也不同.本文首先汇总了常用的三维数据集与特定任务的评价指标,并分析了三维模型特征描述符.然后从特定任务出发,就不同的三维数据表达方式,对现有的基于深度学习的三维数据分析理解网络进行综述,对各类方法进行对比分析,并从三维数据表达方法的角度进一步汇总现有工作.最后基于国内外研究现状,讨论了亟待解决的挑战性问题,展望了未来发展的趋势.     

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.     

基于卷积块注意力模块的图像描述生成模型

图像描述生成模型是使用自然语言描述图片的内容及其属性之间关系的算法模型.对现有模型描述质量不高、图片重要部分特征提取不足和模型过于复杂的问题进行了研究,提出了一种基于卷积块注意力机制模块(CBAM)的图像描述生成模型.该模型采用编码器-解码器结构,在特征提取网络Inception-v4中加入CBAM,并作为编码器提取图片的重要特征信息,将其送入解码器长短期记忆网络(LSTM)中,生成对应图片的描述语句.采用MSCOCO2014数据集中训练集和验证集进行训练和测试,使用多个评价准则评估模型的准确性.实验结果表明,改进后模型的评价准则得分优于其他模型,其中Model2实验能够更好地提取到图像特征,生成更加准确的描述.     

激光点云深度学习的树种识别研究北大核心CSCD

针对激光雷达林业树种分类难以直接使用点云数据的问题,使用基于点云深度学习方法进行树种识别并提出PointNet-GS模型,无需将点云转为三维体素或二维图像,避免数据类型转换造成的特征丢失。以河北省塞罕坝机械林场的落叶松和白桦两个树种为研究对象。首先,将获取的点云数据进行数据预处理、单木分割,提取分割效果较好的单木作为样本;其次,将单木提取的样本进行几何下采样处理,保留更多局部特征便于网络模型学习;最后,将下采样处理的样本输入深度学习模型的网络,自动提取其高维特征进行学习,实现树种分类。实验结果表明,PointNet-GS树种分类精度达89.3%,Kappa系数为0.785,效果优于原始PointNet模型。     

融合时空注意力机制的P波到时拾取网络

针对现有地震到时拾取算法精度较低、鲁棒性较差等问题,设计了一种基于深度学习的地震P波到时拾取网络,该网络为编解码结构,可实现地震波形序列的逐点预测。网络编码器对输入数据进行多尺度特征提取与融合,提高特征利用率;利用多尺度残差结构深度挖掘数据中隐藏特征信息,提升模型非线性拟合能力;在解码网络中加入时空注意力机制,提高网络对到时特征的感知能力;提出深层编码特征融合模块,在保证特征完整性的同时有效避免融合特征过程中出现的特征序列污染问题。实验结果表明,提出的网络在0.1 s、0.2 s、0.3 s三个误差阈值下,拾取命中率分别为75.04%、94.6%、97.37%,平均绝对误差和均方误差为0.092 s、0.036,相比现有传统方法与深度学习到时拾取方法,具有更高的P波到时拾取精度。     

融合多维度卷积神经网络的肺结节分类方法

针对CT图像肺结节分类任务中分类精度低,假阳性高的问题,提出了一种加权融合多维度卷积神经网络的肺结节分类模型,该模型包含两个子模型：基于二维图像的多尺度密集卷积网络模型,以捕获更宽泛的结节变化特征并促进特征重用;基于三维图像的三维卷积神经网络模型,以充分利用结节空间上下文信息。使用二维和三维CT图像训练子模型,根据子模型分类误差计算其权重,对子模型分类结果进行加权融合,得到最终分类结果。该模型在公共数据集LIDC-IDRI上分类准确率达到94.25%,AUC值达到98%。实验结果表明,加权融合多维度模型可以有效地提升肺结节分类性能。     

基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建

本文针对现有光学遥感图像超分辨率重建模型对感受野尺度关注不足和对特征通道信息提取不充分带来的问题, 提出了一种基于多尺度特征提取和坐标注意力的光学遥感图像超分辨率重建模型. 该重建模型基于深度残差网络结构, 在网络的高频分支中设计了多个级联的多尺度特征和坐标注意力模块 (multi-scale feature & coordinate attention block, MFCAB), 对输入的低分辨率光学遥感图像的高频特征进行充分发掘: 首先, 在MFCAB模块中引入Inception子模块, 使用不同尺度的卷积核捕捉不同感受野下的空间特征; 其次, 在Inception子模块后增加坐标注意力子模块, 同时关注通道与坐标两个维度, 以获得更好的通道注意力效果; 最后, 对各MFCAB模块提取的特征进行多路径融合, 实现多重多尺度空间信息与通道注意信息的有效融合. 本文模型在NWPU4500数据集上2倍、3倍放大中PSNR值达到34.73 dB和30.12 dB, 较EDSR分别提升0.66 dB和0.01 dB, 在AID1600数据集上2倍、3倍、4倍放大中PSNR值达到34.71 dB、30.58 dB、28.44 dB, 较EDSR分别提升0.09 dB、0.03 dB、0.04 dB. 实验结果表明, 该模型在光学遥感图像数据集上的重建效果优于主流的图像超分辨率重建模型.     

融合多尺度特征的遥感影像道路提取方法

针对遥感影像中由于道路信息错综复杂,导致道路提取不完整、精确度低等问题,提出一种新型遥感影像道路提取方法。融合多尺度特征改善道路提取的整体效果,基于深度残差网络设计混合空洞卷积,并通过定义卷积核各值的间距增大特征提取感受野,从而丰富多尺度特征融合模块中的浅层道路语义信息。在编码端提取特征后,利用权重分布的方法匹配感受野尺度,使用不同层级间的特征对全局先验信息进行表征,提高多尺度融合特征获取浅层道路语义信息的准确性,并将改进的多孔空间金字塔池化模块融入到深度残差网络中,挖掘并深度聚合道路浅层次和深层次的语义信息。在两种高分辨率遥感数据集Cheng_Data_Roads和Zimbabwe_Data_Roads上的实验结果表明,所提方法的F1值和MIoU值分别为91.16%和83.63%,准确率、召回率等评价指标均明显优于U-net、ResUnet、D-Linknet等语义分割方法。     

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。     

基于多尺度特征融合双U型皮肤病变分割算法

针对皮肤病分割问题中皮肤病变区域大小不一且形状各异问题,提出一种基于多尺度特征融合的双U型皮肤病分割算法.该算法由粗分U型网络和细分U型网络两部分组成.首先粗分U型网络编码部分采用预训练VGG-19模型对相关特征进行多尺度特征提取;在解码阶段利用改进注意力残差块将底层与高层信息进行有效的映射融合,得到初步的Mask;然后将初步生成的Mask与原图像聚合,并输入多路特征提取编码器中进行二次特征蒸馏;而细分U型网络解码器同时与粗分U型网络编码部分和细分U型网络的编码部分特征映射进行融合,保证网络可以聚合更多的有效特征;最后利用Focal Tversky损失函数进一步提升分割效果.实验表明,所提算法在ISBI2016数据集上实验分割精度为96.11％、敏感度为93.59％、特异性为97.10％、Dice系数为93.14％、Jaccard系数为87.17％,能够有效地分割皮肤病病变区域.     

基于多尺度融合网络的视频快照压缩感知重建

视频快照压缩感知基于压缩感知理论,仅在一次曝光过程中将多帧画面投影至二维快照测量,进而实现高速成像。为了从二维快照测量信号恢复出原视频信号,经典的重建算法基于视频的稀疏性先验进行迭代优化求解,但重建质量较低,且耗时过长。深度学习因优异的学习能力而受到广泛关注,基于深度学习的视频快照压缩重建方法也得到关注,但现有深度方法缺乏对于时空特征的有效表达,重建质量仍有待进一步提高。本文提出视频快照压缩感知重建的多尺度融合重构网络（MSF-Net）,该网络从横向的卷积深度和纵向的分辨率2个维度展开,分辨率维度利用三维卷积进行不同尺度的视频特征的提取,横向维度利用伪三维卷积残差模块对同分辨率尺度的特征图进行层级提取,并通过不同尺度下的特征交叉融合来学习视频的时空特征。实验结果表明,本文方法能够同时提升重建质量与重建速度。     

基于Kinect的环境平面特征提取与重构

针对三维场景物体特征识别过程中数据量大、算法复杂等问题,提出一种基于Kinect的环境平面特征提取与重构算法。首先,针对场景的点云分割,采用融合场景几何信息和颜色信息的随机采样一致性(RANSAC)算法,综合二者分割优势,克服几何特征分割过程中分割不足或者过分割,提高分割精度;其次,根据投影变换原理推导出相应的三维坐标变换矩阵,指导分割后独立区域内的三维平面特征信息到二维空间映射,利用凸包概念搜索物体边界信息,实现二维空间的轮廓点提取;最后,通过旋转逆变换,恢复轮廓点的三维信息,完成环境特征重构。采用3组场景数据验证所提算法,实验结果表明,所提算法分割较精确,不容易产生过分割的情况,对不同形状特征的物体,具有较好的重构效果。     

多维注意力特征聚合立体匹配算法

现有基于深度学习的立体匹配算法在学习推理过程中缺乏有效信息交互, 而特征提取和代价聚合两个子模块的特征维度存在差异, 导致注意力方法在立体匹配网络中应用较少、方式单一. 针对上述问题, 本文提出了一种多维注意力特征聚合立体匹配算法. 设计2D注意力残差模块, 通过在原始残差网络中引入无降维自适应2D注意力残差单元, 局部跨通道交互并提取显著信息, 为匹配代价计算提供丰富有效的特征. 构建3D注意力沙漏聚合模块, 以堆叠沙漏结构为骨干设计3D注意力沙漏单元, 捕获多尺度几何上下文信息, 进一步扩展多维注意力机制, 自适应聚合和重新校准来自不同网络深度的代价体. 在三大标准数据集上进行评估, 并与相关算法对比, 实验结果表明所提算法具有更高的预测视差精度, 且在无遮挡的显著对象上效果更佳.     

结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法

针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络.在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码器模块中引入残差注意力机制,强化网络对重要特征的关注同时抑制不必要的噪声.实验结果表明,相较其他算法,该算法取得了较显著的改进;相对PRNet,该算法以更少的参数量在各项指标上取得7.7％～12.1％的性能提升.     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。