基于动作单元分析的人体动画合成方法研究

从运动捕获数据中提取出反映人体运动规律的基本动作单元,合成新的人体动画已成为研究热点.但已有动作单元提取方法忽略了运动序列的时序性和不同关节之间的运动相关性.针对该问题,提出了一种新的基本动作单元提取方法,首先,采用PCA方法对高维人体运动数据进行降维分析,并采用马氏距离平方度量姿态间的相似性;其次,结合动态时间归整方法和误差平方和准则对时序运动序列进行自动切分和标注;最后,建立不同动作单元之间的概率转移模型构建运动图,并根据约束条件合成新的逼真人体动画.     

人体动作行为识别研究综述

人体动作行为识别因其在视频监控、虚拟现实、人机智能交互等领域的广泛应用而成为计算机视觉领域的研究热点.文中将人体动作行为识别问题归纳为计算机经过检测动作数据而获取并符号化动作信息,继而提取和理解动作特征以实现动作行为分类的过程,在此基础上,从运动目标检测、动作特征提取和动作特征理解3个方面对涉及到的技术进行回顾分析,对相关方法进行分类,并讨论相关难点和研究方向.     

儿童运动协调障碍AI诊断系统研究综述

运动协调障碍是儿童生长发育过程中的一种高发问题,严重影响儿童身心健康并对成年后的远期健康造成多种不良影响。随着人工智能的发展,可利用计算机视觉领域的人体姿态估计和动作识别技术辅助诊断这类疾病,有利于提升医疗普惠程度和医疗效率,对缓解医疗资源不足有着重要意义。报告了儿童运动协调障碍AI诊断系统的研究现状,介绍了儿童运动协调障碍的临床诊断方式,并基于此提出了计算机辅助诊断该类疾病的诊断技术路线,总结了人体姿态估计和动作识别任务的深度学习方法,分析了目前主流使用的人体姿态估计与动作识别任务评估指标与其对应数据集,讨论了其应用于计算机辅助诊断的问题及挑战。     

人体骨架模型的建立

人体运动分析在计算机视觉研究领域中具有广泛的应用前景。人体骨架包含了很多的人体运动信息,且简单明了,所以对人体骨架提取具有很重要的意义。本文提出了一种人体骨架模型的建立方法,该方法在骨架提取方面有较强的去噪和抗干扰能力,有很好的鲁棒性,可提取更加有效的骨架图像,进一步结合人体解剖学的基础,建立了人体骨架模型,为人体特征识别(HID)和运动人体的实时追踪打下了坚实的基础。     

融合动作特征的多模态情绪识别

近年来,利用计算机技术实现基于多模态数据的情绪识别成为自然人机交互和人工智能领域重要 的研究方向之一。利用视觉模态信息的情绪识别工作通常都将重点放在脸部特征上,很少考虑动作特征以及融合 动作特征的多模态特征。虽然动作与情绪之间有着紧密的联系,但是从视觉模态中提取有效的动作信息用于情绪 识别的难度较大。以动作与情绪的关系作为出发点,在经典的 MELD 多模态情绪识别数据集中引入视觉模态的 动作数据,采用 ST-GCN 网络模型提取肢体动作特征,并利用该特征实现基于 LSTM 网络模型的单模态情绪识别。 进一步在 MELD 数据集文本特征和音频特征的基础上引入肢体动作特征,提升了基于 LSTM 网络融合模型的多 模态情绪识别准确率,并且结合文本特征和肢体动作特征提升了上下文记忆模型的文本单模态情绪识别准确率, 实验显示虽然肢体动作特征用于单模态情绪识别的准确度无法超越传统的文本特征和音频特征,但是该特征对于 多模态情绪识别具有重要作用。基于单模态和多模态特征的情绪识别实验验证了人体动作中含有情绪信息,利用 肢体动作特征实现多模态情绪识别具有重要的发展潜力。     

基于轻量级图卷积的人体骨架动作识别方法

视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。     

复杂场景下的人体行为识别研究新进展

人体行为识别是计算机视觉的研究难点和热点,主流的研究框架包括行为特征提取、人体行为表示和识别算法3个方面,目前简单场景下的人体简单动作的识别已基本得到解决,而复杂场景下的行为识别仍面临很多困难。对近几年人体行为识别的发展做了比较详细的研究,从人体行为识别的研究范畴、特征提取以及行为模型等方面综述了目前复杂场景下人体行为识别的研究方法。与已有的相关综述文献不同的是,文中结合了近三年国内外人体行为识别领域中新的研究热点和成果,如姿态特征的提取和表示、基于稀疏编码和卷积神经网络的人体行为表示方法等。最后阐述了该领域目前存在的困难以及可能的发展趋向。     

Wi-Do: WiFi信号下的高鲁棒人员动作感知模型

人机交互是物联网迈向智能化的重要途径,而人体动作识别已成为智能环境实现的关键环节.由于WiFi具有良好的用户体验和极高的普适性以及低廉的部署成本,基于WiFi的人体运动识别技术从众多交互技术中脱颖而出,已在智能安防、运动保健、老年活跃检测等领域展现了巨大的应用价值.现有的WiFi动作识别工作中,动作识别受人体的运动方向影响严重,为了确保识别精度往往需要固定动作方向,这种方向依赖性对基于WiFi的动作识别技术造成了极大的阻碍.为了克服这一限制,提出一种方向无关的动作识别模型.该模型利用天线分集消除随机的相位偏移,将人体运动在频域上造成的多普勒频移与快速傅里叶变换值作为识别特征,并引入注意力机制的双向GRU(gate recurrent unit)来对运动进行分类识别.该模型将空间特征集成到时间模型中,提升了无线信号对人体动作识别的鲁棒性与准确性.在典型室内环境下的实验结果显示了优越的性能与93%的准确率,验证了该模型优于之前的识别模型.     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。     

基于深度学习的人体动作识别方法

对基于机器视觉的人体动作识别的成果进行研究,为提高视频数据集中人体动作的识别率,提出一种改进的深度网络模型。采用稠密光流方法处理数据,结合二维卷积神经网络(2DCNN)、三维卷积神经网络(3DCNN)和长短期记忆神经网络(LSTM)对动作特征进行提取,利用Softmax分类器识别分类。通过KTH数据集进行实验对比验证,分析结果表明,改进模型相比其它已有模型具有更高的识别率,动作识别效果更优。     

虚拟人动机驱动的自主情绪模型研究

模拟虚拟人的各种情绪计算模型在很多领域具有重要意义,一个可信的虚拟人不仅要有3维几何形状,而且也要具有自主的情绪。基于已有的情绪模型研究,建立了一种新的基于动机驱动的自主情绪模型。根据心理学和认知科学,提出了虚拟人的认知结构,该结构集成了知觉、情绪、心境、个性和行为。构建了内部动机和外部刺激的一种形式化描述,基本情绪强度可以采用这种模型来计算,而情绪状态是各种基本情绪状态的合成。为了实现情绪的自适应,提出了情绪的增强学习方法。在微机上实现了一个包含虚拟人的3维虚拟场景,这种新的情绪模型能够使虚拟人的自主情绪表现更加可信,实验结果表明了该方法是有效的。     

虚拟人情绪模型研究的现状和问题

情绪体验能够有效地提高虚拟现实系统用户的兴趣,虚拟人的情绪设计正成为构建虚拟环境的一项核心技术,目前的虚拟人情绪模型仍然处于初级阶段.综述了情绪模型的研究,讨论了情绪模型尚未解决的问题.根据情绪模型相关研究和认知科学的成果,提出了建立虚拟人情绪模型的一种新思,其目标是提高虚拟人情绪设计的效率,虚拟人的情绪状态通过情绪模型来控制,虚拟人可以具有感知、动机、情绪、个性,并可在虚拟环境中表现出恰当的自主情绪.情绪设计软件可以融合软计算理论和人机交互技术,为建立人性化的图形界面提供一种高效工具.     

基于知网的虚拟人情感建模研究

虚拟人及其和谐交互技术是当前信息科学和生命科学研究的热点。情感信息处理是人工智能和认知科学研究一直关注的问题。本文将研究基于知网的虚拟人情感模型,该模型由冷静、愤怒、快乐、悲伤、放松和恐惧六个维度组成六维空间。通过实例模拟表明,此模型可以很好地对人类的情感进行仿真。     

基于人工智能的情感模型建立

以OCC情感模型和心理学家Ekman的情感分类两大理论为基础，建立了一个机器人情感模型．本模型通过设计一系列通用型参数，来达到模型适用于多种环境的目的，例如虚拟游戏人物、智能玩具．此外，还引入了情感空间设计，并在情感空间中设计了一系列情感点，可以通过移动情感点或者修改情感点区域的大小，来达到改变情感模型性格特征的目的．     

自闭症干预中无监督自编码的语音情感识别

语音情感识别是人机交互中重要的研究内容,儿童自闭症干预治疗中的语音情感识别系统有助于自闭症儿童的康复,但是由于目前语音信号中的情感特征多而杂,特征提取本身就是一项具有挑战性的工作,这样不利于整个系统的识别性能.针对这一问题,提出了一种语音情感特征提取算法,利用无监督自编码网络自动学习语音信号中的情感特征,通过构建一个3层的自编码网络提取语音情感特征,把多层编码网络学习完的高层特征作为极限学习机分类器的输入进行分类,其识别率为84.14%,比传统的基于提取人为定义特征的识别方法有所提高.     

Survey of visual sentiment prediction for social media analysis

Recent years have witnessed a rapid spread of multi-modality microblogs like Twitter and Sina Weibo composed of image, text and emoticon. Visual sentiment prediction of such microblog based social media has recently attracted ever-increasing research focus with broad application prospect. In this paper, we give a systematic review of the recent advances and cutting-edge techniques for visual sentiment analysis. To this end, in this paper we review the most recent works in this topic, in which detailed comparison as well as experimental evaluation are given over the cutting-edge methods. We further reveal and discuss the future trends and potential directions for visual sentiment prediction.     

基于产品的情感体验探究

本文从认知心理学情感产生的原理入手,比较两种情感测量的途径,最后以一套可用的产品情感测试工具(the Product Emotion Measurement Instrument,简称为PrEmo)为案例进行分析,探究测量基于产品的情感体验的方法,帮助设计师针对不同的目标人群得到有效的产品评估结果。     

一种基于情绪表达与情绪认知分离的新型情绪词典

目前的情绪词典通常对情绪词语进行情绪类别和强度的标注,但缺乏对词语的情绪表达和情绪认知结果进行区分的能力。同时,直接在词语条目上进行标注经常由于词语的语义歧义导致情绪标注结果存在歧义。该文在对个体情绪产生和迁移机制进行分析的基础上,建立了基于“刺激认知—反射表达”的文本情绪计算框架。并在此框架下对情绪相关词语的功能和特性进行分析,探索了一种新型情绪词典建设方法。首先,引入HowNet提供的词语语义信息,将同一词语转变为不同语义的多个词条进行标注减少情绪标注歧义。其次,将词语的情绪表达方式和情绪认知结果加以区分,分别标注从不同角度观测到的词条情绪类别和强度,同时对词语的情绪表达和情绪认知类型进行了细化分类。最终初步构建出一个具有清晰框架、丰富情绪信息和较低歧义的新型情绪词典。     

基于ConvLSTM网络的维度情感识别模型研究

学业情绪能够影响和调节学习者的注意、记忆、思维等认知活动,情绪自动识别是智慧学习环境中情感交互和教学决策的基础。目前情绪识别研究主要集中在离散情绪的识别,其在时间轴上是非连续的,无法精准刻画学生学业情绪演变过程,为解决这个问题,基于众包方法建立真实在线学习情境中的中学生学习维度情感数据集,设计基于连续维度情感预测的深度学习分析模型。实验中根据学生学习风格确定触发学生学业情绪的学习材料,并招募32位实验人员进行自主在线学习,实时采集被试面部图像,获取157个学生学业情绪视频;对每个视频进行情感Arousal和Valence二维化,建立包含2 178张学生面部表情的维度数据库;建立基于ConvLSTM网络的维度情感模型,并在面向中学生的维度情感数据库上进行实验,得到一致性相关系数（Concordance Correlation Coefficient,CCC）均值为0.581,同时在Aff-Wild公开数据集上进行实验,得到的一致相关系数均值为0.222。实验表明,提出的基于维度情感模型在Aff-Wild公开数据集维度情绪识别中CCC相关度系数指标提升了7.6%~43.0%。