咽拭子采集机器人表情识别与交互

咽拭子采集机器人对采集人的表情识别、情绪表达等感知交互,对于咽拭子采集机器人成功执行任务具有重要的意义。咽拭子机器人采集到的数据样本在训练过程中要解决遮挡去除及微表情识别的拓展、自采集数据集的定义、关键帧识别及处理、表情分类及划定、交互集成等关键问题。针对以上问题,设计了一种高效自修复网络（efficient self-cured network,ESCN）,构建了具有类识别人脸能力的特征提取加权模型,通过多尺度注意力机制捕捉受试者的面部表情区,通过重标签校正的线性聚合模型识别咽拭子采集者的面部表情。实验在真实数据集RAF-DB、FER2013和自采集数据集上进行验证。实验结果表明,ESCN比经典模型的准确率提升4.643~11.058个百分点,同时参数量相对较小,便于轻量化和集成。     

面向学前教育对话机器人的多模态情感识别实现关键技术

为进一步提高学前教育对话机器人交互过程的准确性，结合多模态融合思想，提出一种基于面部表情情感和语音情感融合的识别技术。其中，为解决面部表情异常视频帧的问题，采用卷积神经网络对人脸进行检测，然后基于Gabor小波变换对人脸表情进行特征提取，最后通过残差网络对面部表情情感进行识别；为提高情感识别的准确性，协助学前教育机器人更好地理解儿童情感，在采用MFCC对连续语音特征进行提取后，通过残差网络对连续语音情感进行识别；利用多元线性回归算法对面部和语音情感识别结果进行融合。在AVEC2019数据集上的验证结果表明，表情情感识别和连续语音情感识别均具有较高识别精度；与传统的单一情感识别相比，多模态融合识别的一致性相关系数最高，达0.77。由此得出，将多模态情感识别的方法将有助于提高学前教育对话机器人交互过程中的情感识别水平，提高对话机器人的智能化。     

不同个性的情感机器人表情研究

在情感机器人研究中,不同个性的面部表情是情感机器人增强真实感的重要基础。为实现情感机器人更加丰富细腻的表情,将人类的个性特征引入情感机器人,分析个性理论和情感模型理论,得知不同个性机器人的情感强度。结合面部动作编码系统中面部表情与机器人控制点之间的映射关系,得到情感机器人不同个性的基本表情实现方法。利用Solidworks建立情感机器人脸部模型,在ANSYS工程软件中将SHFR-Ⅲ情感机器人脸部模型设置为弹性体,通过有限元仿真计算方法,对表情的有限元仿真方法进行了探究,得到实现SHFR-Ⅲ不同个性基本表情的控制区域载荷大小和仿真结果。最后,根据仿真结果,进行SHFR-Ⅲ情感机器人不同个性的表情动作实验。实验结果表明,有限元表情仿真可以指导SHFR-Ⅲ情感机器人实现近似人类的不同个性的基本面部表情。     

学习情绪研究在远程教学系统中的应用探索

将学习情绪的研究应用到远程教学系统中.针对传统智能教学系统在情感方面的缺陷,介绍了远程教学系统的设计,智能教学系统的模型.该系统主要由情绪模型、认知模型、交互模型、教师模型和学生模型等主要模块构成.概括论述了人脸检测和面部表情识别的一般方法,人机情感交互系统过程和情感模型的建立流程.综合OCC情绪模型和具有反向情绪的二维情绪模型提出了一种新的适合学习情绪研究的情感建模方法,实现远程教学中认知和情感的交互.     

基于嵌入式系统的服务机器人研究与开发

本文设计并实现了一种服务机器人系统,采用嵌入式系统,传感器阵列,语音识别与语音合成技术、无线数据通信技术,能够完成人脸跟踪、语音交互、自主移动、动作响应、远程遥控.实际实验表明,该机器人能够和人进行自然的交互,可以为人类提供一定的机器人服务功能.     

基于人脸表情识别的智能网络教学系统研究

针对传统智能网络教学系统中存在情感缺失的问题,探索性地设计并提出了一种基于人脸表情识别的智能网络教学系统模型.该模型以教育心理学为理论基础,以人脸面部表情识别为关键技术,通过捕捉和识别学习者的表情,判断和理解其情绪状态,然后根据学习者特定的情绪状态给出相应的情感鼓励或情感补偿.该系统模型促进了人机和谐交互,从一定程度上补偿了网络教育中的情感缺失,为解决网络教育中的情感缺失并实现和谐人机情感交互做出了有益的基础性工作.     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著...     

深度人脸表情识别研究进展

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境,在深度学习技术的迅猛发展下,深度神经网络能够学习出具有判别能力的特征,逐渐应用于自动人脸表情识别任务。目前的深度人脸表情识别系统致力于解决以下两个问题：1）由于缺乏足量训练数据导致的过拟合问题;2）真实世界环境下其他与表情无关因素变量（例如光照、头部姿态和身份特征）带来的干扰问题。本文首先对近十年深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行概括。然后,将目前基于深度学习的人脸表情识别方法分为两类：静态人脸表情识别和动态人脸表情识别,并对这两类方法分别进行介绍和综述。针对目前领域内先进的深度表情识别算法,对其在常见表情数据库上的性能进行了对比并详细分析了各类算法的优缺点。最后本文对该领域的未来研究方向和机遇挑战进行了总结和展望：考虑到表情本质上是面部肌肉运动的动态活动,基于动态序列的深度表情识别网络往往能够取得比静态表情识别网络更好的识别效果。此外,结合其他表情模型如面部动作单元模型以及其他多媒体模态,如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。     

基于智能交互机器人平台的教学与实践

为了将智能机器人及其相关技术更好地引入到智能学科的教学与科研之中,我们研制了具有17个自由度的双足步行机器人教学平台。在该平台上可以完成12个与智能科学相关的试验。为了使人与机器人之间的交互能像人与人一样自然、亲切和生动,我们以仿生学为基础,设计并研制了具有某种程度的情感处理和表达能力的情感机器人。该机器人通过视觉、听觉和触觉等来感知外部环境的变化,利用六种面部表情、肢体动作和语音来表达自身的情感。     

基于嵌入式机器视觉的流水线分拣机器人设计

针对传统流水线上人工错误率高、速度慢和人工成本高的问题,设计了一种深度学习的流水线智能分拣机器人来缓解流水线的压力。该机器人采用分层结构设计,上位机采用Jetson Nano来完成机器人的图像采集、识别和处理,下位机由STM32G0作为主控,通过舵机和电机实现机器人的功能控制。同时上位机与下位机之间进行有效的数据交互,实现了机器人的抓取和分拣协调工作。在实验测试中,该机器人能够通过学习样本实现自动分拣不同类型的对象,并且能够精确识别。该流水线分拣机器人融入了计算机视觉与嵌入式系统,不仅使分拣机器人结构更紧凑,而且有利于提高社会生产力水平,具有良好的应用前景。     

基于自发表情数据集预训练的多任务深度网络表情识别方法

为了更好地将现有深度卷积神经网络应用于表情识别,提出将构建自然表情图像集预训练和多任务深度学习相结合的方法。首先,利用社交网络图像构建一个自发面部表情数据集,对现有深度卷积神经网络进行预训练;然后,以双层树分类器替换输出层的平面softmax分类器,构建深度多任务人脸表情识别模型。实验结果表明,本文提出的方法有效提高了人脸表情识别准确率。     

图像生成和深度度量学习的身份感知面部表情识别方法

为解决面部表情识别中不同图像的背景信息和身份特征会干扰分类准确率的问题,提出一种将图像合成技术和深度度量学习相结合的身份感知人脸表情识别方法,通过在面部表情识别任务中创建相同身份下的表情组,对人脸图像特征进行比较分类.其结构中对抗生成网络,目标在于学习表情信息并生成表情组;特征提取网络用于将图像转化成为可进行度量学习的...     

基于多光源红外传感技术的手势识别系统

手势识别是一种有效的人机交互手段,针对识别算法复杂或适用范围窄等问题,设计一种基于多光源红外传感技术的手势识别系统。首先获取手势动作数据,然后结合不同手势的运动特征,采用区间概率算法识别手势类型,最终完成动作指令输出。通过实验对常见6种手势进行识别,平均识别率达93.67%。该系统操作简单、成本低,可用于多种智能交互场合。     

基于意图识别的智能语音交互机器人设计

为提高智能语音交互机器人语音交互的准确率,提出一种基于意图识别的机器人智能英语语音交互方法。通过引入Glove＿BiGRU＿Self-attention分类预测模型构建意图识别功能模块,并采用ROS分布式架构对系统功能模块进行整合,实现人机的智能语音交互。仿真结果表明,采用所提方法进行的语音意图识别,具有更高的准确率,相较于基于DCNN模型、基于CNN-LSTM模型与基于单向构建的GRU-Self-attention模型的意图识别方法,识别准确率分别高出8.03%、4.07%和2.14%,具有更好的识别效果;在特征提取上,训练时间较传统基于BiLSTM模型的提取方法,BiGRU的训练时间缩短了4倍,训练效率更高。实验结果表明,采用所提意图识别方法搭建的语音交互系统,对用户英语语音指令的识别准确率和识别效率依然拥有较好的结果,识别平均准确率达到了89.72%,识别时间均在0.35 s之内,证明所提方法可以应用于实际语音交互之中。应用实验表明,采用基于意图识别方法搭建的智能语音交互机器人,无论是在问答交互还是控制命令上,都可以准确对用户英语指令进行识别,根据用户要求进行相关回答或完成相应动...     

基于情感交互的仿人头部机器人

本研究的目的是设计一台机器人,使它可以与人互动,并在日常生活中和常见的地方协助人类．为了 完成这些任务,机器人必须友好地显示出一些情感,表现出友好的特点和个性．依据仿生学,研制了一台仿人头部 机器人,建立了机器人的行为决策模型．该机器人具有人类的6 种基本面部表情,以及人脸检测、语音情感识别与 合成、情感行为决策等能力,能够通过机器视觉、语音交互、情感表达等方式与人进行有效的情感交互．     

基于深度学习的面部表情识别研究

针对基于深度学习的静态人脸图像表情识别方法进行研究,首先介绍了深度学习的原理,并归纳了目前公开且常用的面部表情数据集;然后介绍了基于深度学习的表情识别的三个步骤,归纳了图像预处理和表情分类的主要方法,重点总结了目前性能较好用来提取特征的深度学习框架以及这些方法的基本原理和优劣势比较;最后指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

基于深度信息的特征学习与动作识别方法

为了进行复杂交互动作识别,提出基于深度信息的特征学习方法,并使用两层分类策略解决相似动作识别问题.该方法从频域的角度分析深度图像动作序列,提取频域特征,利用VAE对特征进行空间特征压缩表示,建立HMM模拟时序变化并进行第一层动作识别.为了解决相似动作识别问题,引入三维关节点特征进行第二层动作识别.实验结果表明,两种特征在动作数据集SBU-Kinect上能够有效地表示姿态含义,策略简单有效,识别准确率较高.     

基于Boost改进的嵌入式隐马尔可夫模型的实时表情识别

在人机交互过程中，理解人类的情绪是计算机和人进行交流必备的技能之一。最能表达人类情绪的就是面部表情。设计任何现实情景中的人机界面，面部表情识别是必不可少的。在本文中，我们提出了交互式计算环境中的一种新的实时面部表情识别框架。文章对这个领域的研究主要有两大贡献：第一，提出了一种新的网络结构和基于AdaBoost的嵌入式HMM的参数学习算法。第二，将这种优化的嵌入式HMM用于实时面部表情识别。本文中，嵌入式HMM把二维离散余弦变形后的系数作为观测向量，这和以前利用像素深度来构建观测向量的嵌入式HMM方法不同。因为算法同时修正了嵌入式HMM的网络结构和参数，大大提高了分类的精确度。该系统减少了训练和识别系统的复杂程度，提供了更加灵活的框架，且能应用于实时人机交互应用软件中。实验结果显示该方法是一种高效的面部表情识别方法。     

面向类内差距表情的深度学习识别

目的 为解决真实环境中由类内差距引起的面部表情识别率低及室内外复杂环境对类内差距较大的面部表情识别难度大等问题,提出一种利用生成对抗网络（generative adversarial network,GAN）识别面部表情的方法。方法 在GAN生成对抗的思想下,构建一种IC-GAN（intra-class gap GAN）网络结构,使用卷积组建编码器、解码器对自制混合表情图像进行更深层次的特征提取,使用基于动量的Adam（adaptive moment estimation）优化算法进行网络权重更新,重点针对真实环境面部表情识别过程中的类内差距较大的表情进行识别,使其更好地适应类内差异较大的任务。结果 基于Pytorch环境,在自制的面部表情数据集上进行训练,在面部表情验证集上进行测试,并与深度置信网络（deep belief network,DBN）和GoogLeNet网络进行对比实验,最终IC-GAN网络的识别结果比DBN网络和GoogLeNet网络分别提高11%和8.3%。结论 实验验证了IC-GAN在类内差距较大的面部表情识别中的精度,降低了面部表情在类内差距较大情况下的误识率,提高了系统鲁棒性,为面部表情的生成工作打下了坚实的基础。     

基于PCA与SVM结合的面部表情识别的智能轮椅控制

为了实现基于面部表情识别的智能轮椅控制,在传统的支持向量机(SVM)面部表情识别与分类方法的基础上,采用基于"八眼"的面部有效区域提取方法,将基于主成分分析(PCA)的面部表情特征提取方法与支持向量机分类方法相结合,实现了面部表情的识别与分类,并最终实现基于面部表情识别的智能轮椅的运动控制。实验结果表明,所采用的方法在识别率上明显优于传统SVM与PCA方法。