基于深度学习的3维点云处理综述

深度学习在2维图像等结构化数据处理中表现出了优越性能,对非结构化的点云数据分析处理的潜力已经成为计算机图形学的重要研究方向,并在机器人、自动驾驶、虚拟及增强现实等领域取得一定进展.通过回顾近年来3维点云处理任务的主要研究问题,围绕深度学习在3维点云形状分析、结构提取、检测和修复等方向的应用,总结整理了典型算法.介绍了点云拓扑结构的提取方法,然后对比分析了变换、分类分割、检测跟踪、姿态估计等方向的以构建神经网络为主要研究方法的进展.最后,总结常用的3维点云公开数据集,分析对比了各类方法的特点与评价指标,指出其优势与不足,并从不同角度对基于深度学习的方法处理点云数据所面临的挑战与发展方向进行了讨论.     

深度学习时代下的RGB-D显著性目标检测研究进展

受人类的视觉注意力机制启发, 显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域. 近年来, 随着深度相机的发展和普及, 深度图像已经被成功应用于各类计算机视觉任务, 这也为显著性目标检测技术提供了新思路. 通过引入深度图像, 不仅能使计算机更加全面地模拟人类视觉系统, 而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案. 鉴于深度学习时代下RGB-D显著目标检测任务发展迅速, 旨在从该任务关键问题的解决方案出发, 对现有相关研究成果进行归纳、总结和梳理, 并在常用RGB-D SOD数据集上进行不同方法的定量分析和定性比较. 最后, 对该领域面临的挑战及未来的发展趋势进行总结与展望.     

基于深度学习的自然场景文本检测与识别综述

自然场景文本检测与识别研究对于从场景中获取信息有重要意义,而深度学习技术有助于提高文本检测与识别的能力.主要对基于深度学习的自然场景文本检测与识别方法和其研究进展进行整理分类、分析和总结.首先论述自然场景文本检测与识别的相关研究背景及主要技术研究路线;然后,根据自然场景文本信息处理的不同阶段,进一步介绍文本检测模型、文本识别模型和端到端的文本识别模型,并阐述和分析每类模型方法的基本思路和优缺点;另外,列举了常见公共标准数据集以及性能评估指标和方法,并对不同模型相关实验结果进行了对比分析;最后总结基于深度学习的自然场景文本检测与识别技术面临的挑战和发展趋势.     

视觉信息抽取的深度学习方法综述

随着信息交互的日益频繁,大量的文档经数字化处理,以图像的格式保存和传播。实际生活工作中,票据识别理解、卡证识别、自动阅卷和文档匹配等诸多应用场景,都需要从文档图像中获取某一特定类别的文本内容,这一过程即为视觉信息抽取,旨在对视觉富文档图像中蕴含的指定类别的信息进行挖掘、分析和提取。随着深度学习技术的快速发展,基于该技术提出了诸多性能优异、流程高效的视觉信息抽取算法,在实际业务中得到了大规模应用,有效解决了以往人工操作速度慢、精度低的问题,极大提高了生产效率。本文调研了近年来提出的基于深度学习的信息抽取方法和公开数据集,并进行了整理、分类和总结。首先,介绍视觉信息抽取的研究背景,阐述了该领域的研究难点。其次,根据算法的主要特征,分别介绍隶属于不同类别的主要模型的算法流程和技术发展路线,同时总结它们各自的优缺点和适用场景。随后,介绍了主流公开数据集的内容、特点和一些常用的评价指标,对比了代表性模型方法在常用数据集上的性能。最后,总结了各类方法的特点和局限性,并对视觉信息抽取领域未来面临的挑战和发展趋势进行了探讨。     

视频显著性检测研究进展EI北大核心CSCD

视频显著性检测是计算机视觉领域的一个热点研究方向,其目的在于通过联合空间和时间信息实现视频序列中与运动相关的显著性目标的连续提取.由于视频序列中目标运动模式多样、场景复杂以及存在相机运动等,使得视频显著性检测极具挑战性.对现有的视频显著性检测方法进行梳理,介绍相关实验数据集,并通过实验比较分析现有方法的性能.首先,介绍了基于底层线索的视频显著性检测方法,主要包括5类:基于变换分析的方法、基于稀疏表示的方法、基于信息论的方法、基于视觉先验的方法和其他方法.然后,对基于学习的视频显著性检测方法进行了总结,主要包括传统学习方法和深度学习方法,并着重对后一类方法进行了介绍.随后,介绍了常用的视频显著性检测数据集,给出了4种算法性能评价指标,并在不同数据集上对最新的几种算法进行了定性和定量的比较分析.最后,对视频显著性检测的关键问题进行了总结,并对未来的发展趋势进行展望.     

视频显著性检测研究进展

视频显著性检测是计算机视觉领域的一个热点研究方向,其目的在于通过联合空间和时间信息实现视频序列中与运动相关的显著性目标的连续提取.由于视频序列中目标运动模式多样、场景复杂以及存在相机运动等,使得视频显著性检测极具挑战性.本文将对现有的视频显著性检测方法进行梳理,介绍相关实验数据集,并通过实验比较分析现有方法的性能.首先,本文介绍了基于底层线索的视频显著性检测方法,主要包括基于变换分析的方法、基于稀疏表示的方法、基于信息论的方法、基于视觉先验的方法和其他方法五类.然后,对基于学习的视频显著性检测方法进行了总结,主要包括传统学习方法和深度学习方法,并着重对后一类方法进行了介绍.随后,介绍了常用的视频显著性检测数据集,给出了四种算法性能评价指标,并在不同数据集上对最新的几种算法进行了定性和定量的比较分析.最后,对视频显著性检测的关键问题进行了总结,并对未来的发展趋势进行了展望.     

视觉可供性研究综述

可供性是指在环境内物体所提供的一系列交互可能,描述环境属性与个体之间的连接过程。其中,视觉可供性研究即通过使用图像、视频等视觉数据,探究视觉主体与环境或物体交互的可能性,涉及到场景识别、动作识别、物体检测等相关领域。视觉可供性可广泛应用于机器人、场景理解等领域。根据目前已有的相关研究,按功能可供性、行为可供性、社交可供性三方面对视觉可供性进行分类,并针对每一类可供性检测方法按照传统机器学习方法和深度学习方法进行详细论述。对当前典型的视觉可供性数据集进行归纳与分析,对视觉可供性的应用方向及未来可能的研究方向进行讨论。     

基于深度学习的大规模三维点云处理综述

随着三维视觉的快速发展, 基于深度学习的大规模三维点云实时处理成为研究热点. 以三维空间分布无序的大规模三维点云为背景, 综合分析介绍并对比深度学习实时处理三维视觉问题的最新进展, 对点云分割、形状分类、目标检测等方面算法优势与不足进行详细分析, 给出详细的性能分析与优劣对比, 并对点云常用数据集进行简要介绍, 并给出不同数据集的算法性能对比. 最后, 指出未来在基于深度学习方法处理三维点云问题上的研究方向.     

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。     

基于深度学习的表面缺陷检测方法综述

近年来, 基于深度学习的表面缺陷检测技术广泛应用在各种工业场景中. 本文对近年来基于深度学习的表面缺陷检测方法进行了梳理, 根据数据标签的不同将其分为全监督学习模型方法、无监督学习模型方法和其他方法三大类, 并对各种典型方法进一步细分归类和对比分析, 总结了每种方法的优缺点和应用场景. 本文探讨了表面缺陷检测中三个关键问题, 介绍了工业表面缺陷常用数据集. 最后, 对表面缺陷检测的未来发展趋势进行了展望.     

基于深度学习的显著性目标检测综述

随着深度学习的不断发展,基于深度学习的显著性目标检测已经成为计算机视觉领域的一个研究热点。首先对现有的基于深度学习的显著性目标检测算法分别从边界/语义增强、全局/局部结合和辅助网络三个角度进行了分类介绍并给出了显著性图,同时对三种类型方法进行了定性分析比较;然后简单介绍了基于深度学习的显著性目标检测常用的数据集和评估准则;接着对所提基于深度学习的显著性目标检测方法在多个数据集上进行了性能比较,包括定量比较、P-R曲线和视觉比较;最后指出现有基于深度学习的显著性目标检测方法在复杂背景、小目标、实时性检测等方面的不足,并对基于深度学习的显著性目标检测的未来发展方向,如复杂背景、实时、小目标、弱监督等显著性目标检测进行了探讨。     

V-SLAM深度学习闭环检测研究进展与展望

闭环检测是同步定位与建图（simultaneous localization and mapping,SLAM）中的一个重要组成部分,用于减少移动机器人在位置估计和构建环境地图时产生的累计误差。传统方法采用人工设计的特征,但在外界环境中容易受到光照、天气和视点变化等因素所带来的影响。随着深度学习技术的发展,闭环检测得到广泛的探索,且在复杂环境中基于深度学习的闭环检测具有较强的鲁棒性。通过梳理闭环检测的背景和发展现状,从基于深度卷积神经网络、自动编码器和语义信息三个方面,对目前视觉SLAM（visual-SLAM,V-SLAM）闭环检测方法的基本原理、算法特点进行了对比分析,并从视觉应用层面上总结了三类方法所适用的场景,最后讨论了闭环检测未来在自然环境变化、多移动目标和实时动态三个方面所存在的挑战和研究展望。     

基于改进深度强化学习的动态移动机器人协同计算卸载

移动边缘计算是解决机器人大计算量任务需求的一种方法。传统算法基于智能算法或凸优化方法,迭代时间长。深度强化学习通过一次前向传递即可求解,但只针对固定数量机器人进行求解。通过对深度强化学习分析研究,在深度强化学习神经网络中输入层前进行输入规整,在输出层后添加卷积层,使得网络能够自适应满足动态移动机器人数量的卸载需求。最后通过仿真实验验证,与自适应遗传算法和强化学习进行对比,验证了所提出算法的有效性及可行性。     

面向图像文本的多模态处理方法综述

在深度学习领域,解决实际应用问题往往需要结合多种模态信息进行推理和决策,其中视觉和语言信息是交互过程中重要的两种模态。在诸多应用场景中,处理多模态任务往往面临着模型架构组织方式庞杂、训练方法效率低下等问题。综合以上问题,梳理了在图像文本多模态领域的近五年的代表性成果。首先从主流的多模态任务出发,介绍了相关文本和图像多模态数据集以及预训练目标。其次,考虑以Transformer为基础结构的视觉语言模型,结合特征提取方法,从多模态组织架构、跨模态融合方法等角度进行分析,总结比较不同处理策略的共性和差异性。然后从数据输入、结构组件等多角度介绍模型的轻量化方法。最后,对基于图像文本的多模态方法未来的研究方向进行了展望。     

基于改进Faster RCNN的工业机器人分拣系统

传统的分拣作业无法伴随工作环境的变化进行相应的调整,针对此种不足,出现了基于机器视觉的分拣机器人的相关研究,通过将图像处理和特征工程技术引入视觉模块,使得分拣系统能适时的调整.不同于这些方法,本研究基于实验室的工业分拣系统,将深度学习方法应用其中.通过将Faster RCNN检测算法引入视觉模块并对区域提取网络RPN进行相关改进,加快Faster RCNN模型的检测过程,使得该系统满足工业的实时性要求.Faster RCNN作为一种端到端的方法,能自动对输入图像生成更具表达力的特征,对相应目标提取相应特征,这避免了人工设计特征,它的特征自动生成能力使其能适用于各种场景,这提升了工业分拣机器人的环境适应能力.     

基于机器视觉的车道线检测研究进展综述

针对车道线检测技术在车道偏离预警、自动泊车和车道变换等各种辅助驾驶系统中的重要作用,国内外专家学者对车道线检测技术做了较多的研究,但是近年来少见有关于车道线检测的综述,因此本文主要阐述了近几年国内外机器视觉的车道线检测研究进展。首先简单介绍了机器视觉的车道线检测的基本流程;其次重点阐述了基于特征、基于模型和基于深度学习三种典型方法的基本检测原理和研究现状,并对比三种典型研究方法;最后,提出了机器视觉的车道线检测方法主要存在的问题,并针对问题提出未来的发展方向。     

基于深度学习的视觉里程计方法综述

视觉里程计（visual odometry,VO）是处理搭载视觉传感器的移动设备定位问题的一种常用方法,在自动驾驶、移动机器人、AR/VR等领域得到了广泛应用。与传统基于模型的方法相比,基于深度学习的方法可在不需显式计算的情况下从数据中学习高效且鲁棒的特征表达,从而提升其对于光照变化、少纹理等挑战性场景的鲁棒性。简略回顾了基于模型的视觉里程计方法,从监督学习方法、无监督学习方法、模型与学习融合方法、常用数据集、评价指标、模型法与深度学习方法对比分析六个方面全面介绍了基于深度学习的视觉里程计方法。指出了基于深度学习视觉里程计仍存在的问题和未来的发展趋势。     

面向智能制造的工业机器人健康评估方法

以智能制造领域中最具有代表性的设备——工业机器人——为研究对象,针对其精度退化及设备故障问题,研究了工业机器人健康评估问题．首先,对工业机器人核心部件进行了失效模式及影响分析,并对现有工业机器人健康评估方法进行了综述．其次,提出了基于边－云协同和深度学习的工业机器人健康评估框架．在边缘层应用基于群组聚类和对等比较的方法进行异常检测,快速识别出发生异常的设备;在云端借助故障预测与健康管理技术以及人工智能算法对发生异常的设备进行深度健康评估．最后,对基于深度学习的工业机器人健康评估方法进行了展望．