融合语音、脑电和人脸表情的多模态情绪识别

本文提出了一种多模态情绪识别方法, 该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪, 有效地解决了过去研究中准确率低、模型鲁棒性差的问题. 对于语音信号, 本文设计了一个轻量级全卷积神经网络, 该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势. 对于脑电信号, 本文提出了一个树状LSTM模型, 可以全面学习每个阶段的情绪特征. 对于人脸信号, 本文使用GhostNet进行特征学习, 并改进了GhostNet的结构使其性能大幅提升. 此外, 我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合, 从而得到更全面、更准确的结果. 上述方法在EMO-DB与CK+数据集上分别达到了94.36%与98.27%的准确率, 且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25%与89.33%的准确率. 我们的实验结果表明, 与使用单一模态以及传统的融合方式进行情绪识别相比, 本文提出的多模态情绪识别方法有效地提高了识别准确率.     

基于对称双通道脑电信号的注意力检测

注意力不能集中是一种注意力障碍,该现象普遍存在于青少年中,这直接影响人们的学习和工作效率.传统的注意力检测方法大多依赖对表情、姿势等行为的观察,难以客观精准地反映注意力情况.随着生理检测技术的迅猛发展,基于脑电信号的注意力检测近年来受到极大的关注.然而,相关研究仍存在检测准确率不高的问题.本研究收集了155位大学生在注意力集中、注意力非集中和放松3种状态下的脑电信号,并基于信号的小波特征、微分熵特征及功率谱特征,采用多种机器学习方法对3种注意力状态进行了识别.结果表明,脑电信号的小波特征,微分熵特征及功率谱特征可以有效区分被试的注意力状态,且基于对称双通道特征的平均准确率为(80.84±3)%,其检测精度明显高于基于单通道特征的检测精度.     

采用多路图注意力网络的情绪脑电信号识别方法

情绪是一种大脑产生的主观认知的概括。脑信号解码技术可以以一种较客观的方式来有效地研究人的情绪及其相关认知行为。本文提出了一种基于图注意力网络的脑电情绪识别方法(multi-path graph attention networks, MPGAT),该方法通过对脑电信号通道建图,利用卷积层提取脑电信号的时域特征以及各频带的特征,使用图注意力网络进一步捕捉情绪脑电信号的局部特征以及各脑区之间的内在功能关系,进而构建出更好的脑电信号表征。MPGAT在SEED和SEED-IV数据集的跨被试情绪识别平均准确率分别为86.03%、72.71%,在DREAMER数据集的效价(valence)和唤醒(arousal)维度的跨被试平均准确率分别为76.35%和75.46%,达到并部分超过了目前最先进脑电情绪识别方法的性能。本文所提出的脑电信号处理方法有望为情绪认知科学研究与情绪脑机接口系统提供新的技术手段。     

西安户外运动人群夏季生理参数及热舒适的关联性研究

不同人群对热条件的偏好可能会有所不同,这取决于本地的气候特点。当人群从一个气候区迁移到另一个气候区时,因迁移形成的气候地域变化被作为影响人体生理参数和热舒适的重要因素。通过招募大一学生（n=61）于2021年5月16日至5月28日在西安校园里进行户外运动。研究期间对热舒适和心率、氧饱和度等生理参数进行了调查。结果表明,非本地人的心率高于本地人,但本地人的血氧饱和度高于非本地人。本地人与非本地人在热舒适和热感觉方面存在明显差异,非本地人和本地人相比对环境的忍受力更低,在夏季更加不耐热。对于了解已适应人群（本地人）和未适应人群（非本地人）的生理参数和热舒适都是必要的。尤其是未来在运动状态中解决热不适,预防更严重的热相关疾病提供参考。     

基于物品的改进协同过滤算法及应用

针对电视产品信息资源量过载导致用户选择困难的问题,本文主要研究了基于物品的协同过滤算法在电视产品推荐系统中的改进及应用,将个性化推荐技术和电视产品系统有机结合来满足用户和运营商的需求.在推荐过程中,首先收集用户的偏好建立数据模型,以用户观看电视产品的时长作为用户偏好的显式特征,然后在传统的协同过滤算法中引入点播金额权重进行改进,并采用欧几里德距离法计算物品相似度,最后根据邻居集合预测目标用户对电视产品的观看时长,得到推荐结果.实验表明,通过引入点播金额权重这一改进能够提高推荐的准确性.     

视频监控场景下基于单视角步态的人体身份及属性识别系统

基于步态的特征识别是一种新兴的生物特征识别技术,旨在通过人们走路的姿态进行身份和相关属性的分析.与其他的生物识别技术相比,基于步态的识别方法具有难隐藏性、非接触性和可远距离使用的优点.本文设计出一个视频监控场景下基于单视角步态的人体身份及属性识别系统,该系统通过图像处理方法从复杂的监控视频中实时检测出人体的步态,经过利用深度学习训练过的算法进行分析后,获取人体的身份、性别和年龄信息.实验表明,系统的身份识别准确率达98.1%,性别预测准确率达97.1%,年龄预测平均绝对误差为6.21岁,实验结果均优于传统基准算法,且系统开发成本低,支持实时检测,能充分满足中小规模步态研究与分析的需要.     

基于层次聚类算法的二氧化硅熔融表征模型

将二氧化硅复合熔融过程转化为其数据信息,为高温熔融过程建立了可靠的时序规则,对改进高炉渣直接成纤技术具有重要意义.首先,利用层次聚类算法对灰度图像进行边缘检测,然后利用区域生长和形态学处理进行图像分割,从而确定二氧化硅颗粒的质心位置坐标,绘制运动轨迹.其次,选取面积和广义半径作为边缘轮廓特征的指标.实验结果表明,二氧化硅的面积、广义半径和时间与二次曲线拟合程度的关系最大.本研究表明这两项指标可用于表征硅石的熔化过程和估算硅石的实际熔化速率.     

基于多面部特征融合的驾驶员疲劳检测算法

本文将卷积神经网络（Convolutional Neural Network,CNN）应用到视频理解中,提出一种基于多面部特征融合的驾驶员疲劳检测算法.本文使用多任务级联卷积网络（Multi-Task Cascaded Convolutional Networks,MTCNN）定位驾驶员的嘴部、左眼,使用CNN从驾驶员嘴部、左眼图像中提取静态特征,结合CNN从嘴部、左眼光流图中提取动态特征进行训练分类.实验结果表明,该算法比只使用静态图像进行驾驶员疲劳检测效果更好,准确率达到87.4%,而且可以很好地区别在静态图像中很相似的打哈欠和讲话动作.     

基于脑电信号和肌电信号协同控制的智能小车系统

智能轮椅能有效提高行动不便者在日常生活中的活动能力和自理能力, 但目前智能轮椅的控制方案往往存在着控制动作困难, 响应速度慢等难题. 针对这一情况, 本文结合现有生物电机械接口技术和设备控制技术, 提出一套基于脑电信号和肌电信号协同控制的设备控制方案, 该方案允许用户仅通过4种简单的头部动作, 即使用眨眼、左咬合、右咬...