基于混合注意力神经网络的表情识别

针对人脸表情识别研究中存在的表情类间差异小而导致的表情易混淆的问题,提出了一种改进模型。通过在残差网络的基础上引入混合注意力机制,强化模型对表情局部特征的关注,通过引入Focal Loss强化模型对复杂表情的学习,引入Center Loss帮助模型过滤出显著特征。实验表明,该方法在公开人脸表情数据集RER2013上的识别准确率为73.74%。     

基于深度学习的带式输送机非煤异物识别方法

针对现有非煤异物图像识别法识别目标单一、模型缺乏定位能力等问题,提出一种基于深度学习的带式输送机非煤异物识别方法。该方法以目标检测算法YOLOv3为基础框架,采用Focal Loss函数替换YOLOv3模型中的交叉熵损失函数,对YOLOv3模型进行改进;通过调节最佳超参数(权重参数α和焦点参数γ)来平衡样本之间的比例,解决非煤异物样本不平衡问题,使模型在训练时更专注学习复杂目标样本特征,提高模型预测性能;搭建了异物数据集,并通过异物数据集对分类性能和速度进行实验。结果表明:Focal Loss函数在异物数据集中表现优于交叉熵损失函数,在γ=2,α=0.75时准确率提升5%,故最佳超参数为γ=2,α=0.75;改进后的YOLOv3模型对锚杆、角铁、螺母3种非煤异物的识别精确率分别提升了约4.7%,3.5%和6.8%,召回率分别提升了约6.6%,3.5%和6.0%;模型在2080Ti平台下每张图像预测类别与实际类别一致,且置信度在94%以上。     

基于双注意力模型和迁移学习的Apex帧微表情识别

微表情具有持续时间短、强度低的特点,其识别准确率普遍不高。针对该问题提出了一种改进的深度学习识别方法,该方法取微表情视频序列中的Apex帧,采用集成空间、通道双注意力模块的ResNet18网络,引入Focal Loss函数解决微表情数据样本不平衡的问题,并将宏表情识别领域的先验知识迁移到微表情识别领域,以提高识别效果。在CASME II微表情数据集上使用“留一交叉验证法”进行实验,结果表明本文方法相比一些现有的方法识别准确率及 ${F_1}$ 值更高。     

Bert在微博短文本情感分类中的应用与优化

微博短文本是一种典型的用户生成数据(user generate data),蕴含了丰富的用户情感信息,微博短文本情感分类在舆情分析等众多应用中具有较强的实用价值.微博短文本具有简洁不规范、话题性强等特征,现有研究表明基于有监督的深度学习模型能够显著提升分类效果.本文针对广播电视领域微博文本展开情感分类研究,实验对比了多种文本分类模型,结果表明基于Bert的情感分类方法准确率最高.深入分析实验结果发现,Bert模型对于困难样本的分类错误率较高,为此本文引入Focal Loss作为Bert模型的损失函数,提出一种基于Bert与Focal Loss的微博短文本情感分类方法(简称为Bert-FL方法),使得Bert模型能够更容易学习到困难样本的类别边界信息,实验表明Bert-FL方法的分类准确率绝对提升了0.8%,同时对困难样本的分类准确率也有显著提升.     

一种基于词频‐逆文档频率和混合损失的表情识别算法

面部表情能自然高效地表达人类的心理活动和思想状态,影响着人们的沟通交流过程。在诸多智能化应用中,人脸表情识别是人类与机器间建立情感交互的重要基础。在细粒度人脸表情识别任务中,由于特征提取网络对表情产生区域的关键特征处理不足,从而引发细节特征信息丢失问题。提出一种词频-逆文档频率注意力机制TF-IDF SPA,通过该机制调整表情产生关键区域的注意力分布,强化网络对该区域关键细节特征的提取能力。同时,为了应对表情识别任务中普遍存在的类间差异小、类内差异大的问题,设计一种改进型混合加权损失函数,以增强表情类内聚拢性同时增大类间距离。依据数据集中样本的数量分布情况,动态调整损失函数的分类权重值,从而强化模型对小数据量样本的学习能力。在此基础上,将结构简单的TF-IDF SPA模块与卷积层共同堆叠以构建人脸表情识别网络。实验结果表明,该网络具有较好的人脸表情识别性能,在FER2013和CK+数据集上的分类准确率分别达到73.52%和98.27%。     

基于VGGNet的人脸表情识别研究

针对传统卷积神经网络(Convolutional Neural Network,CNN)在人脸表情识别中有效特征提取不够、泛化能力不强及识别准确性不高等缺点,研究选用具有更小卷积核和更深池化层的视觉几何组网络(Visual Geometry Group Network,VGGNet)进行人脸表情识别系统的设计。为了验证识别效果,在传统CNN和VGGNet框架下进行人脸表情识别系统的搭建,使用FER2013公开数据集进行训练和测试,并对测试结果进行对比分析。实验表明,传统CNN模型在人脸表情识别任务中的识别率仅为88%,而VGGNet则能够取得高达98%的识别率。此外,利用真人实际测试验证了研究搭建的VGGNet模型具有很好的表情识别效果。     

基于边界自适应SMOTE和Focal Loss函数改进LightGBM的信用风险预测模型

针对信用风险评估中数据集不平衡影响模型预测效果的问题,提出一种基于边界自适应合成少数类过采样方法（BA-SMOTE）和利用Focal Loss函数改进LightGBM损失函数的算法（FLLightGBM）相结合的信用风险预测模型。首先,在边界合成少数类过采样（Borderline-SMOTE）的基础上,引入自适应思想和新的插值方式,使每个处于边界的少数类样本生成不同数量的新样本,并且新样本的位置更靠近原少数类样本,以此来平衡数据集;其次,利用Focal Loss函数来改进LightGBM算法的损失函数,并以改进的算法训练新的数据集以得到最终结合BA-SMOTE方法和FLLightGBM算法建立的BA-SMOTE-FLLightGBM模型;最后,在Lending Club数据集上进行信用风险预测。实验结果表明,与其他不平衡分类算法RUSBoost、CUSBoost、KSMOTE-AdaBoost和AK-SMOTE-Catboost相比,所建立的模型在G-mean和AUC两个指标上都有明显的提升,提升了9.0%~31.3%和5.0%~14.1%。以上结果验证了所提出的模型在信用风险评估中具有更好的违约预测效果。     

基于轻量化卷积神经网络的多肉植物种类识别研究

目前多肉植物产业在我国发展较快，市场前景广阔，由于其具有品种繁多、形态多变、类间相似度高等特点，导致多肉植物种类辨别难度较大。方法：针对上述问题,本研究提出一种基于改进MobileNet V3网络与迁移学习的多肉植物图像分类方法，将Bottleneck模块前六层的ReLU激活函数换成LeakyReLU激活函数，优化了SE模块，添加了Dropout层提高模型的泛化性。结果：试验通过改进MobileNet V3网络对13种多肉植物图像进行种类识别，准确率为97.35%，并且可以实时稳定地对多肉植物图像进行分类,使用Focal Loss代替交叉熵损失函数，达到平衡样本的目的。结论：研究结果表明，利用改进MobileNet V3网络对多肉植物种类识别具有一定可行性。     

基于多粒度与自修复融合的人脸表情识别

为有效提取和融合表情多粒度特征信息，降低自然场景人脸表情数据集存在不确定性和错误数据等因素致使准确率难以满足现实需求的问题，基于深度卷积神经网络提出多粒度与自修复融合的表情识别模型。采用拼图生成器生成不同粒度图像，利用渐进式的训练过程学习不同粒度图像之间互补的特征信息，采用自修复方法避免网络过度拟合错误样本图像，对错误样本进行重新标注。在AffectNet数据集和RAF-DB数据集上准确率分别达到了63.94%和87.10%,实验结果表明，该模型具有较高的准确率和良好的鲁棒性。     

结合缠论和深度学习的股价拐点预测研究

针对股市存在伪分型且分型数据集的类别样本不平衡问题,提出了一种结合缠论和深度学习的拐点预测方法（SMOTE-FLCN-WSVM）。在缠论的基础上,对数据集进行拐点的标注。深度学习模型从数据、特征以及分类算法三个层面对不平衡问题进行改进。首先采用SMOTE过采样算法对数据集进行预处理;再针对不平衡数据集特征提取困难的问题,使用引入Focal Loss的卷积神经网络挖掘数据的深层特征;然后利用引入类别权重参数的支持向量机对提取的特征进行分类。实验从实用性与有效性出发,选择绝对收益、相对收益与准确率对模型进行对比实验与收益评估。实验结果表明,所提模型具有可行性与实际应用价值。     

基于Mixer Layer的人脸表情识别

目前人脸表情识别研究多数采用卷积神经网络(CNN)提取人脸特征并分类, CNN的缺点是网络结构复杂, 消耗计算资源. 针对以上缺点, 本文采用基于多层感知机(MLP)的Mixer Layer网络结构用于人脸表情识别. 采用数据增强和迁移学习方法解决数据集样本不足的问题, 搭建了不同层数的Mixer Layer网络. 经过实验比较, 4层Mixer Layer网络在CK+和JAFFE 数据集上的识别准确率分别达到了98.71%和95.93%, 8层Mixer Layer网络在Fer2013数据集上的识别准确率达到了63.06%. 实验结果表明, 无卷积结构的Mixer Layer网络在人脸表情识别任务上表现出良好的学习能力和泛化能力.     

基于局部流形注意力的人脸表情识别

人脸表情识别在各种人机交互场景中有广泛的应用, 但在表情模糊或存在遮挡情况下, 现有的表情识别方法效果并不理想. 针对表情模糊和遮挡问题, 本文提出了一种基于局部流形注意力(SPD-Attention)的网络架构, 利用流形学习得到具有更强描述能力的二阶统计信息以加强对表情细节特征的学习, 抑制遮挡区域无关特征对网络的影响. 同时, 针对流形学习过程中由于对数计算导致的梯度消失和爆炸, 本文提出了相应的正则约束加速网络收敛. 本文在公开表情识别数据集上测试了算法效果, 与VGG等经典方法相比取得了显著提升, 在AffectNet、CK+、FER2013、FER2013plus、RAF-DB、SFEW上正确率分别为: 57.10%、99.01%、69.51%、87.90%、86.63%、49.18%, 并在模糊、遮挡表情数据集上相比于Covariance Pooling等目前先进方法提升了1.85%.     

自适应聚焦损失的图像目标检测算法

现代目标检测算法仍然存在由现有目标检测架构引起的正负样本不平衡和训练数据引起的难易样本不平衡。现有方法一般采用基于类别频率的重采样或基于类别预测概率的重新加权,虽然减轻了类别的不平衡问题,但是引入了新的超参数,为每个训练任务需要进行大量的手动调整超参数。为此在现有Focal Loss损失函数基础上提出了一个新的损失函数自适应聚焦损失（Adaptive Focal Loss）,使模型聚焦于对训练过程贡献更大的困难样本,并且可自适应地调整超参数。根据训练过程中每批图像标签中的正负样本数量计算出自适应的加权因子来实现对正负样本的动态平衡。根据训练过程中不同阶段各类真实标签的期望概率计算出自适应的调制因子来自适应地平衡难易样本。为验证方法的有效性,在PASCAL VOC2007测试数据集中平均精度均值达到80.75%,相比较于原算法提高了3.45个百分点。在PASCAL VOC2012测试数据集中平均精度均值达到77.17%,相比较于原算法提高了1.87个百分点。实验结果表明,把Adaptive Focal Loss作为网络的损失函数,相比于原始的Focal Loss损失函数检测精度有所提升,并具有较大的实用价值。     

融合头部姿态和面部表情的互动式活体检测

为了阻挡人脸识别系统中的照片及视频攻击,提出了一种将头部姿态和面部表情融合的互动式活体检测算法。首先,对VGGNet的卷积核数目、网络层数、正则化等进行了调整优化,构建了一个多层卷积的头部姿态估计网络;其次,引入全局平均池化、局部响应归一化和卷积替代池化等方法对VGGNet进行改进,构建了一个表情识别网络;最后,融合上述两个网络实现了互动式活体检测系统,对用户发出随机指令实时完成活体检测。实验结果表明,所提出的头部姿态估计网络和表情识别网络分别在CAS-PEAL-R1数据集和CK+数据集上取得了99.87%和99.60%的准确率,而活体检测系统的综合准确率达到了96.70%,运行速度达到了每秒20~28帧,在实际应用中泛化能力突出。     

基于CNN集成学习的人脸表情识别系统的设计

随着计算机计算资源的提升以及深度学习理论的不断丰富,自动的人脸表情识别技术已经得到了进一步的发展。但由于表情存在复杂性以及微妙性,实现实时的人脸表情识别仍是一大难题。文章设计了一种基于CNN集成学习的人脸表情识别系统,该系统在FER2013数据集上表情的识别准确率达到70.84%,能够实现实时的、高精度的表情识别。     

面向类内差距表情的深度学习识别

目的 为解决真实环境中由类内差距引起的面部表情识别率低及室内外复杂环境对类内差距较大的面部表情识别难度大等问题,提出一种利用生成对抗网络（generative adversarial network,GAN）识别面部表情的方法。方法 在GAN生成对抗的思想下,构建一种IC-GAN（intra-class gap GAN）网络结构,使用卷积组建编码器、解码器对自制混合表情图像进行更深层次的特征提取,使用基于动量的Adam（adaptive moment estimation）优化算法进行网络权重更新,重点针对真实环境面部表情识别过程中的类内差距较大的表情进行识别,使其更好地适应类内差异较大的任务。结果 基于Pytorch环境,在自制的面部表情数据集上进行训练,在面部表情验证集上进行测试,并与深度置信网络（deep belief network,DBN）和GoogLeNet网络进行对比实验,最终IC-GAN网络的识别结果比DBN网络和GoogLeNet网络分别提高11%和8.3%。结论 实验验证了IC-GAN在类内差距较大的面部表情识别中的精度,降低了面部表情在类内差距较大情况下的误识率,提高了系统鲁棒性,为面部表情的生成工作打下了坚实的基础。     

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。