多模态数据的行为识别综述

行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优...     

视频群体行为识别综述

群体行为识别是指给定一个包含多人场景的视频,模型需要识别出视频中多个人物正在共同完成的群体行为.群体行为识别是视频理解中的一个重要问题,可以被应用在运动比赛视频分析、监控视频识别、社交行为理解等现实场景中.多人场景视频较为复杂,时间和空间上的信息十分丰富,对模型提取关键信息的能力要求更高.模型只有高效地建模场景中的层次化关系,并为人物群体提取有区分性的时空特征,才能准确地识别出群体行为.由于其广泛的应用需求,群体行为识别问题受到了研究人员的广泛关注.对近几年来群体行为识别问题上的大量研究工作进行了深入分析,总结出了群体行为识别研究所面临的主要挑战,系统地归纳出了6种类型的群体行为识别方法,包含传统非深度学习识别方法以及基于深度学习技术的识别方法,并对未来研究的可能方向进行了展望.     

基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

地名实体识别研究与展望

地名作为一种常见的命名实体,广泛存在于非结构化文本中。是非结构化数据转为结构化过程中重要的关联实体。为了全面了解地名识别的最新研究成果和现状,概述了地名识别现有的应用场景、地名识别技术在具体场景的详细应用以及地名识别数据集和评价指标。总结分析了现有的地名识别方法：基于规则和地名词典匹配的方法、基于统计机器学习的方法、基于深度学习模型和混合模型方法。归纳总结了每一种地名识别方法的关键思路、优缺点和具体模型。同时对混合方法的融合特征和模型特点进行了总结归纳。并从模型性能展开比对分析,以及对词嵌入模型和预训练模型的模型特点进行了总结归纳。对地名实体识别研究方向进行总结和展望。     

基于深度学习的人体行为识别综述

人体行为识别旨在对视频监控中的人体行为进行检索并识别,是人工智能领域的研究热点。基于传统方法的人体行为识别算法存在对样本数据依赖大、易受环境噪声影响等不足。为解决此问题,许多适用于不同应用场景的基于深度学习的人体行为识别算法被提出。介绍了人体行为识别任务中传统特征提取方法和基于深度学习的特征提取方法;从性能和应用两方面对基于深度学习的人体行为识别算法进行总结,重点分析了基于3D卷积神经网络、混合网络、双流卷积神经网络和少样本学习（few-shot learning,FSL）的人体行为识别方法及其在UCF101和HMDB51数据集上的表现;在深度学习的基础上,归纳了主流模型迁移方法的优缺点及其有效性;总结了现有基于深度学习的人体行为识别算法存在的不足,并讨论了以元学习（meta-learning）和transformer为代表的FSL算法将成为未来模型主流算法的可能性,同时对未来基于深度学习的人体行为识别算法的发展方向进行展望。     

煤矸石识别方法研究现状与展望

从煤矸石识别特征出发,对煤矸石识别方法的研究现状进行了总结,列举了密度识别法、硬度识别法等以密度、硬度等为识别特征的煤矸石识别方法,以及射线识别法、图像识别法等以灰度、纹理为识别特征的煤矸石识别方法的代表性研究成果,并对比了各种识别方法的特点。对煤矸石识别方法的研究方向和途径进行了展望,提出应全面分析、理解煤矸石的特征差异,研究符合煤矿绿色发展要求的煤矸石识别方法、快速高效的煤矸石图像识别方法、融合和创新现有方法的新型煤矸石高效识别方法。     

基于深度学习的命名实体识别研究综述

命名实体识别技术是信息抽取、机器翻译、问答系统等多种自然语言处理技术中一项重要的基本任务。近年来,基于深度学习的命名实体识别技术成为一大研究热点。为了方便研究者们了解基于深度学习的命名实体识别研究进展及未来发展趋势,对当前基于卷积神经网络、循环神经网络、transformer模型以及其他一些命名实体识别方法展开综述性介绍,对四类方法进行了深入分析和对比。同时对命名实体识别应用领域以及所涉及到的数据集和评测方法进行了介绍,并对未来的研究方向进行了展望。     

小样本雷达辐射源识别的深度学习方法综述

面对复杂多变的电磁环境与新体制雷达系统,传统的雷达辐射源识别方法已无法满足需求。深度学习模型可有效提取雷达信号的脉内特征,快速准确地对低信噪比、未经分选的雷达辐射源信号进行脉内调制类型识别、型号识别与个体识别。但真实环境中雷达辐射源信号难以收集,无法满足传统的深度学习训练需要,因此小样本雷达辐射源识别是目前研究的热点与难点。文中首先对近年来将基于监督学习的多种经典深度学习方法应用于小样本雷达辐射源识别的研究进行了回顾;其次,介绍了小样本学习在雷达辐射源识别领域的研究进展;最后,基于小样本雷达辐射源识别的研究现状,总结面临的挑战,提出了对未来研究方向的展望。     

基于深度学习的虹膜人脸多特征融合识别

传统多生物特征融合识别方法中人工设计特征提取存在盲目性和差异性,特征融合存在空间不匹配或维度过高等问题,为此提出一种基于深度学习的多生物特征融合识别方法。通过卷积神经网络(convolutional neural networks,CNN)提取人脸和虹膜特征、参数化t-SNE算法特征降维和支持向量机(support vector machine,SVM)分类组合进行融合识别。实验结果表明,该融合识别方法与单一生物特征识别以及其它融合识别方法相比,鲁棒性增强,识别性能提升明显。     

深度人脸表情识别研究进展

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境,在深度学习技术的迅猛发展下,深度神经网络能够学习出具有判别能力的特征,逐渐应用于自动人脸表情识别任务。目前的深度人脸表情识别系统致力于解决以下两个问题：1）由于缺乏足量训练数据导致的过拟合问题;2）真实世界环境下其他与表情无关因素变量（例如光照、头部姿态和身份特征）带来的干扰问题。本文首先对近十年深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行概括。然后,将目前基于深度学习的人脸表情识别方法分为两类：静态人脸表情识别和动态人脸表情识别,并对这两类方法分别进行介绍和综述。针对目前领域内先进的深度表情识别算法,对其在常见表情数据库上的性能进行了对比并详细分析了各类算法的优缺点。最后本文对该领域的未来研究方向和机遇挑战进行了总结和展望：考虑到表情本质上是面部肌肉运动的动态活动,基于动态序列的深度表情识别网络往往能够取得比静态表情识别网络更好的识别效果。此外,结合其他表情模型如面部动作单元模型以及其他多媒体模态,如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。     

场景文字识别技术研究综述

对文字检测和识别技术进行了全面的介绍。介绍了自然场景文字识别技术的研究背景、应用领域、技术难点等;介绍了场景文字识别的预处理技术及流程,介绍了近年来出现的基于深度学习的通用检测网络、维吾尔文和中英文的深度学习文字检测网络、场景文字识别深度学习网络、端到端场景文字检测与识别深度学习网络,并总结了各类网络的结构特点、优势、局限性、应用场景以及实现成本,接着进行了综合分析;最后介绍了公开数据集,并探讨了场景文字识别技术的发展趋势及可能的研究方向。     

基于PSO的路牌识别模型黑盒对抗攻击方法

随着深度学习在计算机视觉领域的广泛应用，人脸认证、车牌识别、路牌识别等也随之呈现商业化应用趋势，因此针对深度学习模型的安全性研究至关重要.已有的研究发现深度学习模型易受精心制作的包含微小扰动的对抗样本攻击，输出完全错误的识别结果.针对深度模型的对抗攻击是致命的，但同时也能帮助研究人员发现模型漏洞并采取进一步改进措施.基于该思想，本文针对自动驾驶场景中的基于深度学习的路牌识别模型，提出一种基于粒子群优化的黑盒物理攻击方法（black-box physical attack via PSO，BPA-PSO），BPA-PSO在未知模型结构的前提下，不仅可以实现对深度模型的黑盒攻击，还能使得实际物理场景中的路牌识别模型失效.通过在电子空间的数字图像场景、物理空间的实验室及户外路况等场景下的大量实验，验证了本文提出的BPA-PSO算法的攻击有效性，可发现模型漏洞，进一步提高深度学习的应用安全性.最后，文章对BPA-PSO算法存在的问题进行分析，对未来的研究可能面临的挑战进行了展望.     

基于图像的社会关系识别研究综述

社会关系是人们在共同的物质和精神活动过程中所结成的相互关系的总称。目前已有相关的工作对其进行了研究，其中涉及到关系社会学、人脸识别、表情识别、动作识别、场景识别和物体检测等相关领域。从不同划分方法下的社会关系出发，通过总结相关研究将社会关系从简单到复杂，将其划分成4类：kinship、groups、activities & interactions和detailed relationship。阐述了对于几种不同关系划分在识别时所用到的特征提取及其分类方法，主要分为传统机器学习和深度学习两个模块。然后对不同的模型所使用到的相关数据集和机制进行了介绍，并对各个模型的结果、优缺点和适用范围进行了分析，最后对社会关系识别未来的研究方向及应用前景进行了探讨。     

深度学习场景文本检测方法综述

自然场景文本检测对于机器理解场景等有着重要作用。近年来,随着深度学习的发展,自然场景文字检测方法也日新月异,取得了很好的检测效果。分析、总结了近年来基于深度学习的场景文字检测方法,将其归纳分类为基于回归、基于分割,以及两者混合三种类型,并对各类检测方法的优缺点进行了对比分析。介绍了场景文本检测性能指标及常用的公开数据集以及下载方式。对场景文字检测领域研究进行总结和展望,有望为深度学习场景文本检测方法提供新的研究方向。     

视觉可供性研究综述

可供性是指在环境内物体所提供的一系列交互可能,描述环境属性与个体之间的连接过程。其中,视觉可供性研究即通过使用图像、视频等视觉数据,探究视觉主体与环境或物体交互的可能性,涉及到场景识别、动作识别、物体检测等相关领域。视觉可供性可广泛应用于机器人、场景理解等领域。根据目前已有的相关研究,按功能可供性、行为可供性、社交可供性三方面对视觉可供性进行分类,并针对每一类可供性检测方法按照传统机器学习方法和深度学习方法进行详细论述。对当前典型的视觉可供性数据集进行归纳与分析,对视觉可供性的应用方向及未来可能的研究方向进行讨论。     

深度学习的单幅图像超分辨率重建方法综述

图像超分辨率重建即使用特定算法将同一场景中的低分辨率模糊图像恢复成高分辨率图像。近年来,随着深度学习的蓬勃发展,该技术在很多领域都得到了广泛的应用,在图像超分辨率重建领域中基于深度学习的方法被研究的越来越多。为了掌握当前基于深度学习的图像超分辨率重建算法的发展状况和研究趋势,对目前图像超分辨率的流行算法进行综述。主要从现有单幅图像超分辨算法的网络模型结构、尺度放大方法和损失函数三个方面进行详细论述,分析各类方法的缺陷和益处,同时通过实验对比分析不同网络模型、不同损失函数在主流数据集上的重建效果,最后展望基于深度学习的单幅图像超分辨重建算法未来的发展方向。     

深度学习技术在火灾图像识别中的应用

火灾事故频发严重威胁着社会公共安全和人们的生命财产安全。火灾发生的不可预见性增加了火灾防控的难度。传统温感、烟感火灾探测设备对室内空间火灾探测效率较高;以人工选择特征为依据的火灾图像识别技术受限于实际火灾场景特征复杂多变,存在误报情况;深度学习技术通过海量火灾场景图片训练和网络参数优化,自动提取火灾图像深度抽象特征,以达到对火灾的精准识别和预警判断。本文就火灾图像识别及深度学习技术在该领域中的应用进行分析,对影响深度学习技术在火灾图像识别应用中的瓶颈问题进行探讨,并展望了该技术的未来发展。     

基于改进深度学习方法的人体动作识别综述

为了梳理深度学习方法在人体动作识别领域的发展脉络,对该领域近年来最具代表性的模型和算法进行了综述。以人体动作识别任务流程为线索,详细阐述了深度学习方法在视频预处理阶段、网络结构上的最新成果及其优缺点。介绍了人体动作识别相关的两类数据集,并选取常用的几种进行具体说明。最后,对人体动作识别未来的研究方向进行了探讨与展望。