语义关系引导的面部动作单元分析

面部动作单元分析旨在识别人脸图像每个面部动作单元的状态,可以应用于测谎,自动驾驶和智能医疗等场景.近年来,随着深度学习在计算机视觉领域的普及,面部动作单元分析逐渐成为人们关注的热点.面部动作单元分析可以分为面部动作单元检测和面部动作单元强度预测两个不同的任务,然而现有的主流算法通常只针对其中一个问题.更重要的是,这些方法通常只专注于设计更复杂的特征提取模型,却忽略了面部动作单元之间的语义相关性.面部动作单元之间往往存在着很强的相互关系,有效利用这些语义知识进行学习和推理是面部动作单元分析任务的关键.因此,通过分析不同人脸面部行为中面部动作单元之间的共生性和互斥性构建了基于面部动作单元关系的知识图谱,并基于此提出基于语义关系的表征学习算法（semantic relationship embedded representation learning,SRERL）.在现有公开的面部动作单元检测数据集（BP4D、DISFA）和面部动作单元强度预测数据集（FERA2015、DISFA）上,SRERL算法均超越现有最优的算法.更进一步地,在BP4D+数据集上进行泛化性能测试和在BP4D数据集上进行遮挡测试,同样取得当前最优的性能.     

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元（action unit,AU）,用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。     

基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.     

人脸微表情分析方法综述

微表情分析在医学、公共安全、商业谈判等领域得到广泛应用并备受关注。微表情运动幅度小、变化快，导致人工分析难度较大，开发一个可靠的自动化微表情分析系统非常有必要。随着计算机视觉技术的发展，研究人员能够结合相关算法捕捉微表情运动变化特征以用于微表情分析。阐述微表情分析的发展历程和现状，从多个角度对微表情分析的两大分支，即微表情检测方法和微表情识别方法进行总结。整理现有微表情数据集以及微表情分析流程中常用的面部图像预处理方法。根据特征提取方式的不同，从基于时间特征、基于特征变化和基于深度特征这3个方面对微表情检测方法进行阐述。将微表情识别方法归纳为基于纹理特征和基于光流特征的传统机器学习方法以及深度学习方法，其中，基于深度学习的微表情识别包括基于运动单元、基于关键帧和基于迁移学习的方法。通过不同实验指标对以上方法进行分析和比较，在此基础上，探讨当前微表情分析中存在的问题和挑战并展望该领域未来的发展方向。     

拟人Agent面部复杂运动合成的研究与实现

在多维面部运动的形式化描述方法的基础上,分析了面部肌肉的运动特征和控制约束,提出了面部运动单元的概念,采用正向运动学和示教再现两种方法实现拟人Agent的基本面部运动,并通过运动合成产生复杂的面部运动。实验表明,正向运动学方法能精确控制面部运动并降低非自然表情的出现;示教再现方法自动产生面部运动简化了操作细节;运动合成则通过运动重用提高了面部运动生成的效率。     

改进的基于高斯混合模型的运动目标检测方法

针对固定摄像机的视频监控系统，提出了一种改进的基于混合高斯模型的运动目标检测方法。在模型学习方面，均值与方差采用了不同的学习率，其中均值更新采用自适应的学习率，方差的学习率取固定值；引入权值均值概念，然后结合权值进行像素点的前景和背景分类；利用了背景图像消除阴影。实验结果表明，改进的方法与传统方法相比具有更好的学习能力，能提高在繁忙场景中，大而慢的运动目标检测的正确率。     

深度学习在癫痫检测中的应用进展

随着癫痫患者数量的逐年增加，及时准确地检测出癫痫疾病具有重要的现实意义。如今深度学习发展迅速，被广泛用于医疗领域，基于深度学习的癫痫检测任务也成为目前的研究热点。通过梳理近几年的相关文献后，对深度学习在癫痫检测中的算法应用进行了系统概述。介绍了癫痫的发病原理、病因和治疗方法等；讲解了癫痫检测时所使用的脑电图和癫痫发作的整体过程划分；简单对比了传统机器学习和深度学习在此领域应用的不同之处；重点综述了利用深度学习检测癫痫各阶段脑电信号的研究进展，包括癫痫双阶段、三阶段和多阶段的脑电检测，并对癫痫各阶段的检测算法进行了比较；最后对该领域的研究现状和未来发展方向进行了总结和展望。     

移动机器人运动规划中的深度强化学习方法

随着移动机器人作业环境复杂度的提高、随机性的增强、信息量的减少,移动机器人的运动规划能力受到了严峻的挑战.研究移动机器人高效自主的运动规划理论与方法,使其在长期任务中始终保持良好的复杂环境适应能力,对保障工作安全和提升任务效率具有重要意义.对此,从移动机器人运动规划典型应用出发,重点综述了更加适应于机器人动态复杂环境的运动规划方法——深度强化学习方法.分别从基于价值、基于策略和基于行动者-评论家三类强化学习运动规划方法入手,深入分析深度强化学习规划方法的特点和实际应用场景,对比了它们的优势和不足.进而对此类算法的改进和优化方向进行分类归纳,提出了目前深度强化学习运动规划方法所面临的挑战和亟待解决的问题,并展望了未来的发展方向,为机器人智能化的发展提供参考.     

基于深度学习的单阶段目标检测算法综述

目标检测技术是计算机视觉技术的一个热点研究方向，该技术广泛应用于车辆导航、航空及其他重要领域，发展前景广阔。将深度学习应用到图像目标检测中能够学习到图像的高级特征，弥补传统算法的不足。首先，重点介绍了基于深度学习的单阶段目标检测算法；分析了多种算法的结构和优缺点，然后对各算法做了归纳总结；最后，结合目标检测算法提出未来发展的方向与趋势。     

机器人运动轨迹的模仿学习综述EI北大核心CSCD

作为机器人技能学习中的一个重要分支,模仿学习近年来在机器人系统中得到了广泛的应用.模仿学习能够将人类的技能以一种相对直接的方式迁移到机器人系统中,其思路是先从少量示教样本中提取相应的运动特征,然后将该特征泛化到新的情形.本文针对机器人运动轨迹的模仿学习进行综述.首先详细解释模仿学习中的技能泛化、收敛性和外插等基本问题;其次从原理上对动态运动基元、概率运动基元和核化运动基元等主要的模仿学习算法进行介绍;然后深入地讨论模仿学习中姿态和刚度矩阵的学习问题、协同和不确定性预测的问题以及人机交互中的模仿学习等若干关键问题;最后本文探讨了结合因果推理的模仿学习等几个未来的发展方向.     

面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

基于时序性面部动作信息的驾驶员状态检测框架

通过网络摄像头获取驾驶员面部视频输入网络进行检测的方法主要通过分析驾驶员口型等面部表情来判断是否疲劳驾驶,但说话等很多类似的状态也被误检为疲劳。针对以上问题提出了一种基于时序性面部动作信息的检测框架,对驾驶员状态进行检测,从而提高检测准确率、降低误检率。该框架通过检测视频中的脸部轮廓,提取脸部的多种特征,形成面部动作单元;通过训练对应的LSTM网络,形成时序性的面部动作单元,根据其相关性进行多种动作单元融合,检测最终驾驶员的状态。在公共YawDD数据集上的检测结果表明,相比于现有的方法,该检测方法的准确率提高到了93.1%,同时大幅降低了疲劳状态的误检率。     

复杂场景下的人体行为识别研究新进展

人体行为识别是计算机视觉的研究难点和热点,主流的研究框架包括行为特征提取、人体行为表示和识别算法3个方面,目前简单场景下的人体简单动作的识别已基本得到解决,而复杂场景下的行为识别仍面临很多困难。对近几年人体行为识别的发展做了比较详细的研究,从人体行为识别的研究范畴、特征提取以及行为模型等方面综述了目前复杂场景下人体行为识别的研究方法。与已有的相关综述文献不同的是,文中结合了近三年国内外人体行为识别领域中新的研究热点和成果,如姿态特征的提取和表示、基于稀疏编码和卷积神经网络的人体行为表示方法等。最后阐述了该领域目前存在的困难以及可能的发展趋向。     

视觉深度伪造检测技术综述

随着生成式深度学习算法的发展,深度伪造技术发展并应用于各个领域。深度伪造技术的滥用使人们逐渐意识到其带来的威胁,伪造检测技术随之而生。本文基于视觉深度伪造技术研究进行综述。1）简要介绍了视觉深度伪造技术的发展历程及技术原理,包括生成对抗网络在深度伪造制品中的应用;2）对现有的视觉深度伪造数据集进行汇总并归类;3）对目前的视觉深度伪造检测技术进行了分类,将现有的检测方法归纳为基于具体伪影的、基于数据驱动的、基于信息不一致和其他类型视觉深度伪造检测等4种分类。其中,基于伪影的检测方法着重于寻找伪造制品与真实图像之间的像素级差异,通过机器学习识别深度伪造制品中的人工伪影痕迹,基于信息不一致的方法则着重于寻找伪造制品与真实图像或视频之间的信息级差异,这两种方法都具有识别效率高、训练便捷等优点;基于数据驱动的方法通过大量的数据集和机器学习训练,直接使用神经网络本身对深度伪造制品进行训练,并通过改善网络架构增进模型以提高训练效率,因为其模型的多变和高精确率成为目前深度伪造检测的热门方向。同时,本文分析了4种方法的具体优缺点,并进一步给出了未来视觉深度伪造检测研究的重点和难点。     

基于深度学习的人体行为识别方法综述

人体行为识别作为计算机视觉领域的重要研究热点,在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景,备受国内外学者的关注。基于传统手工特征的方法难以处理复杂场景下的人体行为识别。随着深度学习在图像分类方面取得巨大成功,将深度学习用于人体行为识别方法中已逐渐成为一种发展趋势,但其仍然存在一些困难与挑战。首先,根据特征提取方法的不同,简单回顾了早期基于传统手工特征的行为识别方法;然后,从网络结构的角度着重对近年来一些基于深度学习的人体行为识别方法进行论述和分析,其中包括目前常用的双流网络架构和三维卷积网络架构等;另外,还介绍了目前用于评价方法性能的人体行为识别数据集,同时总结了部分典型方法在UCF-101和HMDB51两个著名的公开数据集上的性能;最后,从性能和应用两个方面对基于深度学习的人体行为识别方法的未来发展方向进行了展望,并指出了当前方法存在的不足之处。     

人脸活动单元自动识别研究综述

人脸活动单元(action units,AU)的自动识别能应用于行为科学、人机交互、安全、医疗诊断等众多领域,近年来得到了广泛关注.文中阐述了AU自动识别的基本概念、一般过程及其主要特征提取和分类方法,介绍了具有AU编码的代表性人脸表情数据库,并对单个AU与AU组合的识别、AU强度与AU动态性分析的研究现状进行了评述.最后总结了目前AU自动识别研究中存在的主要难点,并展望了其发展方向.     

深度学习人脸特征点自动定位综述

人脸特征点定位是根据输入的人脸数据自动定位出预先按人脸生理特征定义的眼角、鼻尖、嘴角和脸部轮廓等面部关键特征点,在人脸识别和分析等系统中起着至关重要的作用。本文对基于深度学习的人脸特征点自动定位进行综述,阐释了人脸特征点自动定位的含义,归纳了目前常用的人脸公开数据集,系统阐述了针对2维和3维数据特征点的自动定位方法,总结了各方法的研究现状及其应用,分析了当前人脸特征点自动定位技术在深度学习应用中的现状、存在问题及发展趋势。在公开的2维和3维人脸数据集上对不同方法进行了比较。通过研究可以看出,基于深度学习的2维人脸特征点的自动定位方法研究相对比较深入,而3维人脸特征点定位方法的研究在模型表示、处理方法和样本数量上都存在挑战。未来基于深度学习的3维人脸特征点定位方法将成为研究趋势。     

骨骼信息的人体行为识别综述

基于骨骼信息的人体行为识别旨在从输入的包含一个或多个行为的骨骼序列中,正确地分析出行为的种类,是计算机视觉领域的研究热点之一。与基于图像的人体行为识别方法相比,基于骨骼信息的人体行为识别方法不受背景、人体外观等干扰因素的影响,具有更高的准确性、鲁棒性和计算效率。针对基于骨骼信息的人体行为识别方法的重要性和前沿性,对其进行全面和系统的总结分析具有十分重要的意义。本文首先回顾了9个广泛应用的骨骼行为识别数据集,按照数据收集视角的差异将它们分为单视角数据集和多视角数据集,并着重探讨了不同数据集的特点和用法。其次,根据算法所使用的基础网络,将基于骨骼信息的行为识别方法分为基于手工制作特征的方法、基于循环神经网络的方法、基于卷积神经网络的方法、基于图卷积网络的方法以及基于Transformer的方法,重点阐述分析了这些方法的原理及优缺点。其中,图卷积方法因其强大的空间关系捕捉能力而成为目前应用最为广泛的方法。采用了全新的归纳方法,对图卷积方法进行了全面综述,旨在为研究人员提供更多的思路和方法。最后,从8个方面总结现有方法存在的问题,并针对性地提出工作展望。