基于深度学习的人—物交互关系检测综述

人—物交互关系检测旨在通过精细化定位图像或视频中产生特定动作行为的人,以及与其产生交互关系的物体,并识别人和物体之间的动作关系来理解和分析人体的行为。人—物交互关系检测是一个非常具有实际应用意义和前瞻性的研究方向,是高层视觉理解的关键基石。随着深度学习的发展,基于深度学习的研究方法引领了近期人—物交互关系检测研究的进步。本文一方面分析空域人—物交互关系检测任务,从数据内容场景、标注粒度两个方面总结和分析当下数据库和基准。然后从两阶段分段式方法和单阶段端到端式方法两个流派出发系统性地阐述当前检测方法的发展现状,分析两个流派方法的特性和优劣,厘清该领域方法的发展路线。其中,两阶段方法包括多流模型和图模型两种主要范式,而单阶段模型包括基于框的范式、基于关系点的范式和基于查询的范式。另一方面,对时空域人—物交互关系检测任务进行总结,分析现有时空域交互关系数据集构造与特性和现有基线算法的优劣。最后对未来的研究方向进行展望。     

基于深度学习的小目标检测算法综述

随着人工智能技术的发展,深度学习技术在人脸识别、行人检测、无人驾驶等领域得到了广泛的应用.而目标检测作为机器视觉中最基本、最具有挑战性的问题之一,近年来受到了广泛的关注.针对目标检测特别是小目标检测问题,归纳了常用的数据集和性能评价指标,并对各类常见数据集的特点、优势及检测难度进行对比,系统性地总结了常用的目标检测方法...     

深度学习背景下视觉显著性物体检测综述

视觉显著性物体检测是对人类视觉和认知系统的模拟,而深度学习则是对人类大脑计算方式的模拟,将两者有机结合可以有效推动计算机视觉的发展。视觉显著性物体检测的任务是从图像中定位并提取具有明确轮廓的显著性物体实例。随着深度学习的发展,视觉显著性物体检测的精度和效率都得到巨大提升,但仍然面临改进主流算法性能、减少对像素级标注样本的依赖等主要挑战。针对上述挑战,本文从视觉显著性物体检测思想与深度学习方法融合策略的角度对相关论述进行分类总结。1）分析传统显著性物体检测方法带来的启示及其缺点,指出视觉显著性物体检测的核心思路为多层次特征的提取、融合与修整;2）从改进特征编码方式与信息传递结构、提升边缘定位精度、改善注意力机制、提升训练稳定性和控制噪声的角度对循环卷积神经网络、全卷积神经网络和生成对抗网络3种主流算法的性能提升进行分析,从优化弱监督样本处理模块的角度分析了减少对像素级标注样本依赖的方法;3）对协同显著性物体检测、多类别图像显著性物体检测以及未来的研究问题和方向进行介绍,并给出了可能的解决思路。     

深度学习小目标检测算法综述

现有的目标检测算法,对大目标以及中目标的检测已具有较高的准确率,然而由于小目标在图像中的像素以及可利用的特征较少等原因,导致小目标的检测精度相较于大目标而言过低。通过融合特征层,小目标的检测已取得了不错的效果,但仍存在对于微小目标的定位等问题。基于此,解释了小目标的定义,指出了导致小目标检测精度低的五点原因。将近几年最新进展以及过往经典的小目标检测优化方法按照大致原理从多尺度特征、评估指标、超分辨率等方面进行叙述。归纳了针对特定场景下的小目标检测：航空遥感图像以及人脸行人的检测方法。总结并提出了未来小目标检测可能的研究方向。     

基于深度学习的目标检测算法研究综述

传统的目标检测算法主要依赖于人工选取的特征来对物体进行检测。人工提取的特征对主要针对某些特定对象,比如有的特征适合做边缘检测,有的适合做纹理检测,不具有普遍性。近年来,深度学习蓬勃发展,在计算机视觉领域比如图像分类、目标检测、图像语义分割等方面取得了重大的进展。深度学习作为一种特征学习方法能够自动学习到目标的有用特征,避免了人工提取特征,同时能够保证良好的检测效果。本文首先介绍基于深度学习的目标检测算法研究进展,其次总结目标检测算法中常见的难题与解决措施,最后对目标检测算法的可能发展方向进行展望。     

显著性物体检测研究综述

人类的视觉系统能够迅速地、有选择地从视觉场景中检测出感兴趣的目标或者具有显著特征的物体,并根据更高层次的视觉任务目的对它们进行处理和理解,从而实现相应的行为或决策.将人类这种选择性视觉注意机制引入到计算机视觉的信息处理中,可以有效地减少视觉计算所需处理的数据量、加速整个处理过程,并进一步方便更高层次视觉任务的处理,因而...     

深度学习在目标视觉检测中的应用进展与展望

目标视觉检测是计算机视觉领域的一个重要问题,在视频监控、自主驾驶、人机交互等方面具有重要的研究意义和应用价值.近年来,深度学习在图像分类研究中取得了突破性进展,也带动着目标视觉检测取得突飞猛进的发展.本文综述了深度学习在目标视觉检测中的应用进展与展望.首先对目标视觉检测的基本流程进行总结,并介绍了目标视觉检测研究常用的公共数据集;然后重点介绍了目前发展迅猛的深度学习方法在目标视觉检测中的最新应用进展;最后讨论了深度学习方法应用于目标视觉检测时存在的困难和挑战,并对今后的发展趋势进行展望.     

任务感知双原型网络的人物交互少样本识别

人物交互(HOI)识别是计算机视觉领域的重要研究热点.随着深度学习在图像分类任务中的巨大成功,人物交互识别任务也取得重大进展,但样本不平衡和组合爆炸问题仍是制约当前人物交互识别任务性能的关键挑战.由此,将人物交互识别任务与少样本学习相结合,将人物交互识别任务定义为一个少样本任务,并提出了任务感知双原型网络(TDP-Net)来解决少样本人物交互任务.具体地,首先使用图方法为每个任务生成语义感知的任务表示作为任务的先验信息,并使用语义图注意力模块(SGA-Module)生成注意力权重,对特征图中不同区域进行不同重要程度的关注,以适应不同任务条件下的映射关系,实现在新任务中自动推理.此外,还设计了一个双路原型模块(DP-Module)以分别产生交互类别的动作类原型和物体类原型,并分别对动词和名词进行分类.通过分别为动作和物体建立类原型,有效地分离了动作和物体间复杂的视觉关系.同时由于人物交互类别之间具有相似性,可通过重新组合动作和物体类别将知识迁移到新的交互类别中.实验结果表明,该模型在人物交互少样本任务上的平均准确率比基线方法在两个实验设置上分别提高了3.2个百分点和15.7个百分点,验证了TDP-Net在少样本人物交互任务中的有效性.     

基于深度学习的目标检测框架进展研究

在R-CNN框架提出后，基于深度学习的目标检测框架逐渐成为主流，可分为基于候选窗口和基于回归两类。近两年来，在Faster R-CNN、YOLO、SSD等经典的基于深度学习目标检测框架的基础上，出现了大量的优秀框架。根据优化方法对近几年提出的框架进行了梳理和总结。在PASCAL_VOC和MS COCO等主流测试集上对目标检测方法的性能及优缺点进行了对比分析。讨论了目标检测领域当前面临的困难与挑战，对可能的发展方向进行了展望。     

基于姿态信息的人与物体交互检测模块网络

针对在相对密集场景下检测不佳的普遍现象,提出了基于人体姿态信息输入的模块化神经网络,通过构建绝对姿态特征和相对空间姿态特征来促进人与物体交互关系的检测.该算法主要包含两个分支:a)通过全连接层网络来独立处理每个人体关节点相对于物体的空间姿态特征;b)通过全连接图神经网络来更新每个关节点的绝对姿态特征.最后通过一个行为分类网络基于融合后的特征来进行交互关系的推断.该模块网络结合先进的检测模型VS-GATs在数据集V-COCO和HICO-DET上取得了显著的提升效果:在V-COCO上,比VS-GATs的检测结果提升2 mAP(约4％);在更有挑战性的HICO-DET上,比VS-GATs的检测结果提升0.98 mAP(约4.6％).实验表明了所构建特征的有效性以及设计的网络的优越性.     

深度学习的典型目标检测算法研究综述

目标检测是计算机视觉的一个重要研究方向,其目的是精确识别给定图像中特定目标物体的类别和位置.近年来,深度卷积神经网络(Deep Convolutional Neural Networks,DCNN)所具有的特征学习和迁移学习能力,在目标检测算法特征提取、图像表达、分类与识别等方面取得了显著进展.介绍了基于深度学习目标检...     

基于深度学习的目标检测技术综述

目标检测是计算机视觉领域中的研究热点.近年来,目标检测的深度学习算法有突飞猛进的发展.基于深度学习的目标检测算法大致可分为基于候选区域和基于回归两大类.基于候选区域的目标检测算法精度高,但是结构复杂,检测速度较慢.而基于回归的目标检测算法结构简单、检测速度快,在实时目标检测领域有较高的应用价值,然而检测精度相对略低.本文总结了基于深度学习的目标检测主流算法,并分析了相关算法的优缺点和应用场景.最后根据深度学习的目标检测算法中存在的困难和挑战,对未来的发展趋势做了思考和展望.     

基于深度学习的实时场景小脸检测方法

实时场景下的小脸检测存在检出率低而且回归精度差的问题。通过融合更底层特征进行多尺度级联预测。根据实时场景下的人脸特点生成不同大小和比例的预测框以更好地适应人脸形状。在预测阶段提出了基于IOU判别的soft and hard nms算法，对冗余预测框进行抑制，设置两个阈值将网络生成的预测框划分为低中高三段，对不同段的预测框采取不同的处理以达到精准筛选的目的。最优架构可在两张NVIDIA GTX 1080显卡下的实时视频检测和摄像头检测中获得45 f/s的速度，并且在Wider Face总体验证集上取得82.6%的平均精度。     

基于深度学习的计算机视觉研究新进展

近年来,深度学习在计算机视觉各个领域中的应用成效显著,新的深度学习方法和深度神经网络模型不断涌现,算法性能被不断刷新.本文着眼于2016年以来的一些典型网络和模型,对基于深度学习的计算机视觉研究新进展进行综述.首先总结了针对图像分类的主流深度神经网络模型,包括标准模型及轻量化模型等;然后总结了针对不同计算机视觉领域的主...