基于深度学习的单视图三维重建综述

计算机视觉是计算机领域研究的热门方向,而三维重建在计算机视觉方面具有很高的研究价值.近年来,随着深度学习、人工智能不断的发展,基于深度学习的单视图三维重建工作受到大量学者的关注.介绍了基于深度学习的单视图三维重建的三种常用方法、三维重建工作常用数据集和其具体的应用领域,并对基于深度学习的单视图三维重建进行了小结与展望.     

基于深度学习的3D点云补全算法综述

三维视觉已成为当前研究的热点之一。在各种类型的三维数据描述中,点云由于其数据量小而呈现能力细腻被广泛应用于三维数据处理中。现实世界的点云数据通常是通过激光扫描仪、立体相机或低成本RGB-D扫描仪获取的。但是由于遮挡问题、光线反射、材料表面的透明度以及传感器分辨率和视角的限制,导致这些设备直接获取的通常是稀疏或者不完整点云,造成几何信息和语义信息的丢失进而影响到各种下游任务,如机器人操作,导航场景理解等。根据点云补全侧重点不同,将基于深度学习的三维点云补全技术划分为基于体素的形状补全和基于点的形状补全。     

基于深度学习的三维形状补全研究综述

三维形状补全是计算机图形学与计算机视觉的基础任务之一,具有广泛的应用背景。其目的旨在从部分缺失的形状数据中推断出完整的形状。针对现有基于深度学习的三维模型补全算法进行概述,根据描述符的形式不同,主要将其分为基于二维形状描述符的补全方法和基于三维形状描述符的补全方法两类。前者即将三维模型投影到二维空间中进行特征提取进而获得完整模型,包括基于二维图像和基于深度图的三维模型补全方法;后者即直接利用三维表示进行模型补全,按照对三维模型的表示方式不同,可进一步分为基于体素、基于点云和基于隐式的方法。同时,汇总了现有基于深度学习的三维模型补全算法所涉及的数据集与评价标准,并对该算法目前存在的问题进行分析和讨论,展望未来研究的新方向。     

基于深度学习的视觉里程计方法综述

视觉里程计（visual odometry,VO）是处理搭载视觉传感器的移动设备定位问题的一种常用方法,在自动驾驶、移动机器人、AR/VR等领域得到了广泛应用。与传统基于模型的方法相比,基于深度学习的方法可在不需显式计算的情况下从数据中学习高效且鲁棒的特征表达,从而提升其对于光照变化、少纹理等挑战性场景的鲁棒性。简略回顾了基于模型的视觉里程计方法,从监督学习方法、无监督学习方法、模型与学习融合方法、常用数据集、评价指标、模型法与深度学习方法对比分析六个方面全面介绍了基于深度学习的视觉里程计方法。指出了基于深度学习视觉里程计仍存在的问题和未来的发展趋势。     

深度学习在基于单幅图像的物体三维重建中的应用

基于单幅图像的物体三维重建是计算机视觉领域的一个重要问题，近几十年来得到了广泛的关注.随着深度学习的不断发展，近年来基于单幅图像的物体三维重建取得了显著进展.本文对深度学习在基于单幅图像的物体三维重建领域的研究进展及具体应用进行了综述.首先介绍了基于单幅图像的三维重建的研究背景及其传统方法的研究现状，其次简要介绍了深度学习并详细综述了深度学习在基于单幅图像的物体三维重建中的应用，随后简要概述了三维物体重建的常用公共数据集，最后进行了分析与总结，指出了目前存在的问题及未来的研究方向.     

基于深度学习的视觉跟踪算法研究综述

视觉跟踪是计算机视觉的重要研究领域之一。传统的视觉跟踪算法难以很好地解决复杂背景中的跟踪问题,如光线变化、目标发生较大的尺寸和姿态变化或目标被遮挡等。而深度学习的引入为视觉跟踪研究开辟了新的途径。但目前国内外基于深度学习的视觉跟踪研究文献相对较少,为 吸引更多视觉跟踪领域研究者对深度学习进行探索和讨论,并推动视觉跟踪算法的研究,简要介绍了视觉跟踪和深度学习的研究现状,重点分析了基于深度学习的视觉跟踪算法的相关文献,讨论了各算法的优缺点,最后提出了进一步研究的方向以及对基于深度学习的视觉跟踪算法的展望。     

基于自监督深度学习的人脸表征及三维重建

非约束条件下,由于传统神经网络对于单个个体人脸表情变化过于敏感而对不同个体间人脸灵敏度有限,从而导致构建的三维模型几何特征与个体不匹配。针对上述问题,提出一种基于具有较强鲁棒性的自监督深度学习的人脸表征及三维重建算法,有效利用二维人脸的特征点信息自动映射到三维空间中实现三维人脸重建。选用Efficient Net为主体框架获取面部特征向量及三维形变模型参数,并在孪生神经网基础上引入对比损失函数扩大类间间距,减少类内间距,同时提出身份损失函数保留特征空间中同一个体的身份信息增强对形变的鲁棒性。在300W—LP和AFLW2000—3D数据集上,该算法均有不错的表现。     

基于深度学习的胰腺图像自动三维重建

胰腺图像的三维重建对于辅助疾病诊断具有重要意义。提出一种全自动的胰腺图像三维重建方法,利用改进的U-Net深度学习网络对图像进行分割,并结合面绘制算法生成三维可视化模型。实验结果表明,该方法重建准确度较高,执行效率快,对辅助诊疗具有积极的作用。     

基于视觉的三维重建关键技术研究综述

三维重建在视觉方面具有很高的研究价值, 在机器人视觉导航、智能车环境感知系统以及虚拟现实中被广泛应用.本文对近年来国内外基于视觉的三维重建方法的研究工作进行了总结和分析, 主要介绍了基于主动视觉下的激光扫描法、结构光法、阴影法以及TOF (Time of flight)技术、雷达技术、Kinect技术和被动视觉下的单目视觉、双目视觉、多目视觉以及其他被动视觉法的三维重建技术, 并比较和分析这些方法的优点和不足.最后对三维重建的未来发展作了几点展望.     

基于手绘草图的视觉内容生成深度学习方法综述

手绘草图通过绘制简单的线条直观呈现用户的创作意图, 支持用户采用手绘的方式快速表达思维过程及设计灵感, 创作目标图像或视频. 随着深度学习的发展, 基于草图的视觉内容生成通过学习草图和视觉对象(即图像和视频)的特征分布进行跨领域特征映射, 实现图像自动生成草图以及草图自动生成对应的图像或视频, 与传统的人工创作方式相比有效地提高了生成的效率和多样性, 成为计算机视觉、图形学领域的重要研究方向, 并且在设计、视觉创作等领域具有重要作用. 综述基于草图的视觉内容生成深度学习方法的研究现状和发展趋势, 按照视觉对象的不同将现有工作分为基于草图的图像生成和基于草图的视频生成方法, 并结合草图和视觉内容跨域生成、风格转化、视觉内容编辑等任务对生成模型进行详细分析, 然后比较和总结常用的数据集、针对草图数据不足提出的扩充方法以及生成模型的评估方法, 进一步通过草图在视觉内容生成应用中面临的挑战及生成模型未来发展方向对研究趋势进行展望.     

基于深度学习的单目深度估计方法综述

深度估计是一种从单张或者多张图像预测场景深度信息的技术,是计算机视觉领域非常热门的研究方向,在三维重建、场景理解、环境感知等任务中起到了关键作用.当前深度估计技术可以分为多目深度估计和单目深度估计.因为单目摄像头具有成本低、设备较普及、图像获取方便等优点,与多目深度估计技术相比,从单目图像估计深度信息是当前更为热门和更具挑战的技术.近年来,随着深度学习的迅速发展,基于深度学习的单目深度估计方法被广泛研究.本文对基于深度估计的单目深度估计方法进行综述,首先给出单目深度估计问题的定义、介绍常用于训练的数据集与模型评价指标,然后根据不同的训练方式对国内外相关技术进行分析总结,将现有方法分为基于监督学习、无监督学习和半监督学习三大类,对每种类型方法的产生思路、优缺点进行详细分析,最后梳理、总结该技术的发展趋势与关键技术.     

基于深度学习的视觉多目标跟踪算法综述

视觉多目标跟踪是计算机视觉领域的热点问题,然而,场景中目标数量的不确定、目标之间的相互遮挡、目标特征区分度不高等多种难题导致了视觉多目标跟踪现实应用进展缓慢.近年来,随着视觉智能处理研究的不断深入,涌现出多种多样的深度学习类视觉多目标跟踪算法.在分析了视觉多目标跟踪面临的挑战和难点基础上,将算法分为基于检测跟踪(Det...     

深度学习背景下的图像三维重建技术进展综述

三维重建是指从单幅或多幅二维图像中重建出物体的三维模型并对三维模型进行纹理映射的过程。三维重建可获取从任意视角观测并具有色彩纹理的三维模型,是计算机视觉领域的一个重要研究方向。传统的三维重建方法通常需要输入大量图像,并进行相机参数估计、密集点云重建、表面重建和纹理映射等多个步骤。近年来,深度学习背景下的图像三维重建受到了广泛关注,并表现出了优越的性能和发展前景。本文对深度学习背景下的图像三维重建的技术方法、评测方法和数据集进行全面综述。首先对三维重建进行分类,根据三维模型的表示形式可将图像三维重建方法分类为基于体素的三维重建、基于点云的三维重建和基于网格的三维重建;根据输入图像的类型可将图像三维重建分类为单幅图像三维重建和多幅图像三维重建。随后介绍了不同类别的三维重建方法,从三维重建方法的输入、三维模型表示形式、模型纹理颜色、重建网络的基准值类型和特点等方面进行总结,归纳了深度学习背景下的图像三维重建方法的常用数据集和实验对比,最后总结了当前图像三维重建领域的待解决问题以及未来的研究方向。     

视觉信息抽取的深度学习方法综述

随着信息交互的日益频繁,大量的文档经数字化处理,以图像的格式保存和传播。实际生活工作中,票据识别理解、卡证识别、自动阅卷和文档匹配等诸多应用场景,都需要从文档图像中获取某一特定类别的文本内容,这一过程即为视觉信息抽取,旨在对视觉富文档图像中蕴含的指定类别的信息进行挖掘、分析和提取。随着深度学习技术的快速发展,基于该技术提出了诸多性能优异、流程高效的视觉信息抽取算法,在实际业务中得到了大规模应用,有效解决了以往人工操作速度慢、精度低的问题,极大提高了生产效率。本文调研了近年来提出的基于深度学习的信息抽取方法和公开数据集,并进行了整理、分类和总结。首先,介绍视觉信息抽取的研究背景,阐述了该领域的研究难点。其次,根据算法的主要特征,分别介绍隶属于不同类别的主要模型的算法流程和技术发展路线,同时总结它们各自的优缺点和适用场景。随后,介绍了主流公开数据集的内容、特点和一些常用的评价指标,对比了代表性模型方法在常用数据集上的性能。最后,总结了各类方法的特点和局限性,并对视觉信息抽取领域未来面临的挑战和发展趋势进行了探讨。     

面向动态物体场景的视觉SLAM综述

针对当前机器人导航、自动驾驶等领域中的热点问题——面向动态物体场景的视觉SLAM(同步定位与地图构建)——进行了综述.根据动态SLAM在定位与建图时对动态物体的不同处理方式,划分了3个研究方向:动态鲁棒性SLAM与静态背景重建、非刚性动态物体跟踪重建、以及移动物体跟踪与重建.对这3个研究方向分别进行了综述,并重点介绍结合了深度学习的动态SLAM方法.最后,展望了动态SLAM的未来发展方向.     

基于视觉的三维重建技术综述*

基于视觉的三维重建仍然存在较大局限性。通过介绍基于视觉的三维重建技术的主要方法及其研究现状,对各种方法优缺点进行了比较分析,期望能够对该领域有较全面的把握,进一步明确未来的研究方向。     

基于深度学习的单视图三维重建

单视图三维重建在计算机视觉领域中是一个具有挑战性的问题.为了提升现有三维重建算法重建后三维模型的精度,本文除了提取图像全局特征之外还提取图像局部特征,结合全局特征和局部特征并选取SDF (signed distance function)作为重建后的三维物体表达方式,不仅提高了模型的精度,生成了更高质量的3D形状,还增强了模型的泛化能力,使得深度模型可以以较高质量重建出其他物体种类.实验结果表明,本文提出的深度网络结构和3D形状表示方法与当今最先进的重建算法相比,无论在重建后三维模型的效果还是新型物体的泛化中都有更好的表现.     

深度学习的三维人体姿态估计综述

三维人体姿态估计的目的是预测出人体关节点的三维坐标位置和角度等信息,构建人体表示（如人体骨骼）,以便进一步分析人体姿态。随着深度学习方法的不断推进,越来越多的基于深度学习的高性能三维人体姿态估计方法被提出。然而由于图片的人体遮挡、训练规模需求较大等原因,三维人体姿态估计仍然存在挑战。该研究目的是通过对近年来的多篇研究论文进行回顾,分析和比较这些方法的推理过程和核心要素,从不同输入的角度入手,全面阐述近年来基于深度学习的三维人体姿态估计方法。此外,还介绍了相关数据集和评价指标,在Human3.6M、Campus和Shelf数据集上对部分模型进行实验数据比对,分析对比实验结果。最后,根据本次调查的结果,讨论目前三维人体姿态估计所面临的困难和挑战,对三维人体姿态估计的未来发展进行了探讨。     

动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。     

基于深度学习的双目立体匹配方法综述

双目立体匹配是计算机视觉领域的经典问题,在自动驾驶、遥感、机器人感知等诸多任务中得到广泛应用。双目立体匹配的主要目标是寻找双目图像对中同名点的对应关系,并利用三角测量原理恢复图像深度信息。近年来,基于深度学习的立体匹配方法在匹配精度和匹配效率上均取得了远超传统方法的性能表现。将现有基于深度学习的立体匹配方法分为非端到端方法和端到端方法。基于深度学习的非端到端方法利用深度神经网络取代传统立体匹配方法中的某一步骤,根据被取代步骤的不同,该类方法被分为基于代价计算网络、基于代价聚合网络和基于视差优化网络的3类方法。基于深度学习的端到端方法根据代价体维度的不同可分为基于3D代价体和基于4D代价体的方法。从匹配精度、时间复杂度、应用场景等多个角度对非端到端和端到端方法中的代表性成果进行分析,并归纳各类方法的优点以及存在的局限性。在此基础上,总结基于深度学习的立体匹配方法当前面临的主要挑战并展望该领域未来的研究方向。