融合语音、脑电和人脸表情的多模态情绪识别

本文提出了一种多模态情绪识别方法, 该方法融合语音、脑电及人脸的情绪识别结果来从多个角度综合判断人的情绪, 有效地解决了过去研究中准确率低、模型鲁棒性差的问题. 对于语音信号, 本文设计了一个轻量级全卷积神经网络, 该网络能够很好地学习语音情绪特征且在轻量级方面拥有绝对的优势. 对于脑电信号, 本文提出了一个树状LSTM模型, 可以全面学习每个阶段的情绪特征. 对于人脸信号, 本文使用GhostNet进行特征学习, 并改进了GhostNet的结构使其性能大幅提升. 此外, 我们设计了一个最优权重分布算法来搜寻各模态识别结果的可信度来进行决策级融合, 从而得到更全面、更准确的结果. 上述方法在EMO-DB与CK+数据集上分别达到了94.36%与98.27%的准确率, 且提出的融合方法在MAHNOB-HCI数据库的唤醒效价两个维度上分别得到了90.25%与89.33%的准确率. 我们的实验结果表明, 与使用单一模态以及传统的融合方式进行情绪识别相比, 本文提出的多模态情绪识别方法有效地提高了识别准确率.     

基于对称双通道脑电信号的注意力检测

注意力不能集中是一种注意力障碍,该现象普遍存在于青少年中,这直接影响人们的学习和工作效率.传统的注意力检测方法大多依赖对表情、姿势等行为的观察,难以客观精准地反映注意力情况.随着生理检测技术的迅猛发展,基于脑电信号的注意力检测近年来受到极大的关注.然而,相关研究仍存在检测准确率不高的问题.本研究收集了155位大学生在注意力集中、注意力非集中和放松3种状态下的脑电信号,并基于信号的小波特征、微分熵特征及功率谱特征,采用多种机器学习方法对3种注意力状态进行了识别.结果表明,脑电信号的小波特征,微分熵特征及功率谱特征可以有效区分被试的注意力状态,且基于对称双通道特征的平均准确率为(80.84±3)%,其检测精度明显高于基于单通道特征的检测精度.     

结合位置指纹和行人航迹的室内定位技术

主要对室内定位技术展开研究,首先通过手持智能设备收集指定范围样本点的坐标及wifi热点信息;然后应用位置指纹定位方法进行绝对定位;为了提高行走过程中定位的准确性和实时性,采用行人航迹推算算法,即通过手机传感器采集并经处理的数据进行步频检测、步长估算和方向检测,实现相对位置变化的估算.行人航迹算法克服位置指纹定位的不稳定性,而位置指纹定位算法及时调整行人航迹算法带来的累积误差.实验结果表明两种室内定位技术的结合有效提高了室内定位的准确性,能充分应用到实际生活中.     

基于物品的改进协同过滤算法及应用

针对电视产品信息资源量过载导致用户选择困难的问题,本文主要研究了基于物品的协同过滤算法在电视产品推荐系统中的改进及应用,将个性化推荐技术和电视产品系统有机结合来满足用户和运营商的需求.在推荐过程中,首先收集用户的偏好建立数据模型,以用户观看电视产品的时长作为用户偏好的显式特征,然后在传统的协同过滤算法中引入点播金额权重进行改进,并采用欧几里德距离法计算物品相似度,最后根据邻居集合预测目标用户对电视产品的观看时长,得到推荐结果.实验表明,通过引入点播金额权重这一改进能够提高推荐的准确性.     

视频监控场景下基于单视角步态的人体身份及属性识别系统

基于步态的特征识别是一种新兴的生物特征识别技术, 旨在通过人们走路的姿态进行身份和相关属性的分析. 与其他的生物识别技术相比, 基于步态的识别方法具有难隐藏性、非接触性和可远距离使用的优点. 本文设计出一个视频监控场景下基于单视角步态的人体身份及属性识别系统, 该系统通过图像处理方法从复杂的监控视频中实时检测出人体的步态, 经过利用深度学习训练过的算法进行分析后, 获取人体的身份、性别和年龄信息. 实验表明, 系统的身份识别准确率达98.1%, 性别预测准确率达97.1%, 年龄预测平均绝对误差为6.21岁, 实验结果均优于传统基准算法, 且系统开发成本低, 支持实时检测, 能充分满足中小规模步态研究与分析的需要.     

基于层次聚类算法的二氧化硅熔融表征模型

将二氧化硅复合熔融过程转化为其数据信息,为高温熔融过程建立了可靠的时序规则,对改进高炉渣直接成纤技术具有重要意义.首先,利用层次聚类算法对灰度图像进行边缘检测,然后利用区域生长和形态学处理进行图像分割,从而确定二氧化硅颗粒的质心位置坐标,绘制运动轨迹.其次,选取面积和广义半径作为边缘轮廓特征的指标.实验结果表明,二氧化硅的面积、广义半径和时间与二次曲线拟合程度的关系最大.本研究表明这两项指标可用于表征硅石的熔化过程和估算硅石的实际熔化速率.     

基于多面部特征融合的驾驶员疲劳检测算法

本文将卷积神经网络（Convolutional Neural Network,CNN）应用到视频理解中,提出一种基于多面部特征融合的驾驶员疲劳检测算法.本文使用多任务级联卷积网络（Multi-Task Cascaded Convolutional Networks,MTCNN）定位驾驶员的嘴部、左眼,使用CNN从驾驶员嘴部、左眼图像中提取静态特征,结合CNN从嘴部、左眼光流图中提取动态特征进行训练分类.实验结果表明,该算法比只使用静态图像进行驾驶员疲劳检测效果更好,准确率达到87.4%,而且可以很好地区别在静态图像中很相似的打哈欠和讲话动作.     

云计算环境下高复杂度动态数据的增量密度快速聚类算法研究

针对传统的聚类算法存在开销大、聚类质量差、聚类速度慢等问题,提出一种新的云计算环境下高复杂度动态数据的增量密度快速聚类算法。首先,依据密度对云计算环境下高复杂度动态数据进行聚类,从数据空间中找到部分子空间,使得数据映射至该空间后可产生高密度点集区域,将连通区域的集合看作聚类结果;其次,通过DBSCAN算法进行增量聚类,并对插入或删除数据导致的原聚类合并或分裂进行研究;最后,在更新的过程中通过改变核心状态数据的邻域中含有的全部核心数据进行处理,从插入或删除数据两方面进行增量聚类分析。实验结果表明,所提算法开销低、聚类速度快、聚类质量高。     

采用多路图注意力网络的情绪脑电信号识别方法

情绪是一种大脑产生的主观认知的概括。脑信号解码技术可以以一种较客观的方式来有效地研究人的情绪及其相关认知行为。本文提出了一种基于图注意力网络的脑电情绪识别方法(multi-path graph attention networks, MPGAT),该方法通过对脑电信号通道建图,利用卷积层提取脑电信号的时域特征以及各频带的特征,使用图注意力网络进一步捕捉情绪脑电信号的局部特征以及各脑区之间的内在功能关系,进而构建出更好的脑电信号表征。MPGAT在SEED和SEED-IV数据集的跨被试情绪识别平均准确率分别为86.03%、72.71%,在DREAMER数据集的效价(valence)和唤醒(arousal)维度的跨被试平均准确率分别为76.35%和75.46%,达到并部分超过了目前最先进脑电情绪识别方法的性能。本文所提出的脑电信号处理方法有望为情绪认知科学研究与情绪脑机接口系统提供新的技术手段。