一种基于人脸识别的课堂教学监控系统

设计并开发了一款基于人脸识别的课堂教学监控系统,该系统通过识别学生上课的表情信息,分析课堂教学情况。首先提出一种基于图像递归切割和OpenCV的人脸检测方法,以提高人脸检测召回率;然后使用百度AI开放平台的在线接口识别人脸表情信息,并将信息插入数据库;最后根据学生表情信息分析低头率、活跃度等课堂情况。实际部署测试后分析了系统的运行效果及时间消耗,结果表明该系统可有效监控课堂教学情况。     

基于情感建模的教学辅助系统的研究*

设计了一个以情感交互为核心的人性化的教学辅助系统.该系统综合了情感计算、计算机图形图像技术和移动Agent技术.系统以心理学和人工心理理论为基础构建了情感认知模型,定义了情绪空间、基本情绪和基本学习心理状态,并建立了基本情绪和基本学习心理状态与情绪空间的映射关系.通过情感认知模型对识别表情的处理,得到学生的学习心理状态及状态评价值.采用基于图像处理的人脸检测、表情识别和姿态识别方法编程实现了教学辅助系统.     

基于人脸表情识别的智能网络教学系统研究

针对传统智能网络教学系统中存在情感缺失的问题,探索性地设计并提出了一种基于人脸表情识别的智能网络教学系统模型.该模型以教育心理学为理论基础,以人脸面部表情识别为关键技术,通过捕捉和识别学习者的表情,判断和理解其情绪状态,然后根据学习者特定的情绪状态给出相应的情感鼓励或情感补偿.该系统模型促进了人机和谐交互,从一定程度上补偿了网络教育中的情感缺失,为解决网络教育中的情感缺失并实现和谐人机情感交互做出了有益的基础性工作.     

基于深度学习的学生课堂注意力评价

针对学生课堂行为状态识别准确率较低的问题, 提出一种基于YOLOv4的改进模型. 通过建立学生课堂行为状态数据集, 调整YOLOv4算法训练模型的参数, 修改卷积块激活函数为ELU函数以优化模型, 同时提出将DIoU-Soft-NMS作为非极大值抑制机制, 识别分析教室中学生课堂行为状态; 根据各状态持续时长及状态变化频率计算学生听课有效时长, 并参考山东高考赋分原则, 建立学生课堂注意力量化评价准则, 同时建立教师课堂授课效果量化评价标准. 实验结果表明, 以同一评价指标衡量模型, 该模型在学生课堂行为检测速率不变的情况下, 平均精度均值(mAP)达到98.8%, 比原YOLOv4模型提升了3.53%, 学生服课堂注意力量化评价准则, 有较高的契合度.     

基于深度学习和证据理论的表情识别模型

表情识别是在人脸检测基础之上的更进一步研究,是计算机视觉领域的一个重要研究方向。将研究的目标定位于基于微视频的表情自动识别,研究在大数据环境下,如何使用深度学习技术来辅助和促进表情识别技术的发展。针对表情智能识别过程中存在的一些关键性技术难题,设计了一个全自动表情识别模型。该模型结合深度自编码网络和自注意力机制,构建了一个人脸表情特征自动提取子模型,然后结合证据理论对多特征分类结果进行有效融合。实验结果表明,该模型能显著提升表情识别的准确度,具有重要的理论意义和研究价值。     

基于面部表情识别的学习疲劳识别和干预方法

针对网络学习者经常出现的身体或心理上的疲劳或疲惫情绪状态即"学习疲劳"状态,提出了一种基于面部表情识别的学习疲劳识别和干预方法.考虑到网络学习的特点,定义了专注、疲劳和中性3种与学习相关的表情,利用一种基于肤色分割和模版匹配相结合的人脸检测算法检测出网络学习者的人脸区域,然后根据建立的人脸表情面部模型对学习者的面部特征进行提取,主要包括眼睛特征和嘴巴特征,最后采用基于规则的表情分类方法,识别出学习者是否处于学习疲劳状态,并采取相应的情感干预措施.实验结果表明,该方法能够快速识别网络学习者是否处于学习疲劳状态,实现实时学习疲劳干预.     

基于大数据和人工智能的教学分析系统的研究

信息网络技术的飞速发展,越来越多的大学生沉浸在种类繁多的网络信息中而忽视了课堂知识,学生对课程或授课方式的感兴趣程度也直接影响着学校教学质量。对此,我们研究设计基于大数据和人工智能的教学分析系统,调用人脸模型检测学生人脸,结合人工智能和神经网络研究方法,利用抬头角度训练适合本系统的抬头模型,根据抬头的人数与检测到的总人数的比值计算出抬头率,反映学生上课行为的相关参数。分析出学生的抬头情况,能很大程度上助推授课教师根据学生的听课状态及时做出调整,促使"教学互动行为"成为可能,达到高校教学评估多样化和育人宗旨。     

基于人脸表情识别的在线课堂学生专注度分析

针对人脸表情识别在特征提取时容易丢失大量有用的特征信息, 无法提取更加全面的人脸表情特征的问题, 提出了一种多尺度特征融合网络模型(DS-EfficientNet). 该模型包括深层网络和浅层网络两部分, 浅层网络用来提取面部表情的细节纹理信息, 深层网络提取表情的全局信息. 并在浅层网络中加入注意力机制, 增强对浅层细节信息的提取能力. 最终在通道上进行特征融合, 融合之后网络可以提取更加丰富的人脸表情信息. 为了减少模型参数, 提高模型的泛化性能, 将全连接层替换为全局平均池化层, 加入批归一化. 本文提出的方法在Fer2013和CK+上进行实验, 识别准确率达到了73.47%和98.84%. 实验证明该方法可以提取人脸更加丰富的表情信息, 模型具有更强的泛化能力.     

一种机器视觉的人脸表情识别检测系统

针对目前老师无法及时发现学生在课堂上走神、不认真听讲的现象,以及课堂教学质量和效率较低等问题,提出了一种基于机器视觉技术的人脸表情识别检测系统。通过VS与OpenCv开发的人脸表情识别算法,对获取到的学生面部表情图像进行预处理,经过阈值分割处理后得到面部表情二值化图像,结合开闭运算对不同面部的不同表情特征进行形态学的运算,提取到不同面部的表情特征,实现对不同面部的不同表情的特征识别与检测。根据该系统所确定的功能进行设计和开发,确保该系统能够进行对人脸表情的识别和检测,以及确保识别准确性较好,识别速度较快,具有一定的学术研究价值和应用推广价值。     

无注意力胶囊网络的面部表情识别方法

表情识别技术可以从人类的表情中分析出识别对象的情感活动，针对面部表情图像复杂的空间关系和特征信息时，不能建立有效特征提取和映射模型的问题，稀疏多层感知机（spare multilayer perceptron,sMLP）使用很少的参数量让每个空间位置进行交流，而胶囊网络也可以表现特征的空间姿态信息，因此提出了一种新的面部表情识别模型sMLP-CapsNet，以提升表情识别空间关系映射的能力。采用CK+数据集和RAF-DB数据集，通过改进的胶囊神经网络从轮廓到细节提取面部表情图片特征，进而实现面部表情分类。相比于其他面部表情识别算法，模型精度提升效果明显，在CK+数据集和RAF-DB数据集上分别可达到99.48%以及85.69%的识别率，展现了该算法的先进性。     

基于残差神经网络的学生面部表情识别方法

传统学生面部表情识别方法耗时较长,为此提出基于残差神经网络的学生面部表情识别方法。首先,分析残差神经网络模型结构,用于检测图像中的人脸并定位其坐标;其次,训练基于MobileNet＿v2神经网络模型的上课表情识别方法,并将检测到的人脸图像传入模型以识别上课注意力状态;最后,进行实验分析。实验结果表明,整个过程所需时间和资源占用量少于其他算法,说明该方法具有较高的实用性。     

动态多阶段强波动型表情识别模型

考虑到问卷调查顾客的满意度评价时存在样本获取困难、主观误差等问题,利用表情识别技术分析视频中顾客的情感表达,但实际应用存在人物表情变化波动过大的强波动型表情识别问题.为更好地挖掘强波动型表情变化的信息,提出一种动态多阶段强波动型表情识别模型(LNsCo),该模型包括长期情绪波动状态生成器(LEF)、近短期表情特征生成器(NsSE)、平行共同注意力网络(co-attention network).将图像序列预处理后,分别送到LEF和NsSE提取表情的隐藏特征,利用共同注意网络生成二者相互依赖的表征,用分类器进行表情分类.在公共数据集和真实应用场景下的结果表明,所述方法具有良好的性能.     

持续学习改进的人脸表情识别

目的 大量标注数据和深度学习方法极大地提升了图像识别性能。然而,表情识别的标注数据缺乏,训练出的深度模型极易过拟合,研究表明使用人脸识别的预训练网络可以缓解这一问题。但是预训练的人脸网络可能会保留大量身份信息,不利于表情识别。本文探究如何有效利用人脸识别的预训练网络来提升表情识别的性能。方法 本文引入持续学习的思想,利用人脸识别和表情识别之间的联系来指导表情识别。方法指出网络中对人脸识别整体损失函数的下降贡献最大的参数与捕获人脸公共特征相关,对表情识别来说为重要参数,能够帮助感知面部特征。该方法由两个阶段组成：首先训练一个人脸识别网络,同时计算并记录网络中每个参数的重要性;然后利用预训练的模型进行表情识别的训练,同时通过限制重要参数的变化来保留模型对于面部特征的强大感知能力,另外非重要参数能够以较大的幅度变化,从而学习更多表情特有的信息。这种方法称之为参数重要性正则。结果 该方法在RAF-DB（real-world affective faces database）,CK+（the extended Cohn-Kanade database）和Oulu-CASIA这3个数据集上进行了实验评估。在主流数据集RAF-DB上,该方法达到了88.04%的精度,相比于直接用预训练网络微调的方法提升了1.83%。其他数据集的实验结果也表明了该方法的有效性。结论 提出的参数重要性正则,通过利用人脸识别和表情识别之间的联系,充分发挥人脸识别预训练模型的作用,使得表情识别模型更加鲁棒。     

基于Android的多模态情感识别APP的设计与开发

在团队自建的中文多模态情感识别语料库的基础上，训练了多模态情感识别深度神经网络模型，能综合视频中图片、音频和文本三个模态信息进行情感识别。基于该情感识别模型，设计并开发了一款基于Android平台的移动应用程序，捕获视频中人物的话语文本、声音和面部表情，识别出人物的情感状态，以支撑后续共情聊天机器人的研发。     

基于改进卷积神经网络的多视角人脸表情识别

人脸表情识别是计算机视觉领域的研究热点之一。针对自然状态下的人脸存在多视角变化、脸部信息缺失等问题,提出了一种基于MVFE-LightNet（Multi-View Facial Expression Lightweight Network）的多视角人脸表情识别方法。首先,在残差网络的基础上设计卷积网络提取不同视角下的表情特征,引入深度可分离卷积来减少网络参数。其次,嵌入压缩和奖惩网络模块学习特征权重,利用特征重新标定方式提高网络表示能力,并通过加入空间金字塔池化增强网络的鲁棒性。最后,为了进一步优化识别结果,采用AdamW（Adam with Weight decay）优化方法使网络模型加速收敛。在RaFD、BU-3DFE和Fer2013表情库上的实验表明,该方法具有较高的识别率,且减少网络计算时间。     

基于深度学习的课堂表情识别研究

学生的课堂表情常常反映了学生对知识的理解和掌握情况,这对分析学生的学习状态是非常有帮助的.然而,这些微妙的表情变化往往不能被及时发现和引起关注.鉴于此,作者构建了深度学习标签识别模型,利用采集的课堂图像,实时捕捉每个学生的课堂表情,并分析学生的表情特征,对表情特征进行标识和分类,从而为线下、线上教学提供有价值的教学反馈...     

基于改进YOWO算法的学生课堂行为识别

当前,大部分的学生课堂行为识别工作主要基于单帧图像进行,忽略了行为的连贯性,因此不能充分利用视频信息来对学生的课堂行为进行准确刻画.所以,本文提出一种改进的YOWO算法模型,有效利用视频信息对学生课堂行为进行识别.首先,本文采集某高校真实课堂教学中的授课录像,制作出包含5类学生课堂行为的AVA格式视频数据集;其次,采用时移模块TSM (temporal shift module),用来增强模型获取时间上下文信息的能力;最后,采用非局部操作模块non-local来提高模型提取关键位置信息的能力.实验结果表明,通过对YOWO模型的优化,使得网络的识别性能更佳.在学生课堂行为数据集上,改进后的算法的mAP值为95.7%,相较于原YOWO算法在mAP值上提高了4.6%;模型参数量为81.97×10⁶,计算量为22.6 GFLOPs,参数量和计算量分别降低32.3%和9.6%;检测速度为24.03 f/s,提升了约3 f/s.     

一种基于词频‐逆文档频率和混合损失的表情识别算法

面部表情能自然高效地表达人类的心理活动和思想状态,影响着人们的沟通交流过程。在诸多智能化应用中,人脸表情识别是人类与机器间建立情感交互的重要基础。在细粒度人脸表情识别任务中,由于特征提取网络对表情产生区域的关键特征处理不足,从而引发细节特征信息丢失问题。提出一种词频-逆文档频率注意力机制TF-IDF SPA,通过该机制调整表情产生关键区域的注意力分布,强化网络对该区域关键细节特征的提取能力。同时,为了应对表情识别任务中普遍存在的类间差异小、类内差异大的问题,设计一种改进型混合加权损失函数,以增强表情类内聚拢性同时增大类间距离。依据数据集中样本的数量分布情况,动态调整损失函数的分类权重值,从而强化模型对小数据量样本的学习能力。在此基础上,将结构简单的TF-IDF SPA模块与卷积层共同堆叠以构建人脸表情识别网络。实验结果表明,该网络具有较好的人脸表情识别性能,在FER2013和CK+数据集上的分类准确率分别达到73.52%和98.27%。     

类间学习神经网络的人脸表情识别*

针对目前表情识别类间信息无关状态,提出了一种表情类间学习的神经网络分类识别算法。该算法首先构建一个BP网络学习对和一个距离判据单元,该距离判据单元仅用来计算类间的实际距离,类间期望距离是根据大量实验结果获得的;然后通过类内实际输出和类间期望距离来修正该网络;最后给出一组实例样本进行表情分类识别。实验结果表明,该算法能有效地识别人脸表情,能紧密地将各类表情间的信息联系起来,效率和准确性均有明显提高。     

基于深度学习模型的自发学习表情识别方法研究

课堂教学环境中,面部表情自动识别是获取学习者情绪状态的重要方式。针对传统方法提取特征不全面、融合特征维度较高等问题,提出一种融合局部与全局特征的学习表情自动识别方法。该方法提取并融合表情图像的局部几何特征、KPCA降维的CLBP全局浅层纹理特征和CNN全局深度网络特征。此外,还构建一个全新的自发学习表情数据库,将课堂学习中的情绪分为困惑、快乐、疲倦、惊讶和中性等5种类型,用于CNN模型的训练。对比实验表明,该方法的识别正确率在CK+库、中国情绪图片系统和自发学习表情数据库中分别达到96.3%、86.7%和95.6%,高于传统的面部表情识别方法。该方法能够有效获取课堂中学生情绪变化,帮助教师准确全面地掌握班级学生的整体情况,促进课堂教学质量的提高。