基于CNN-BiLSTM的自动睡眠分期算法

睡眠分期是睡眠数据分析的基础,针对目前睡眠分期存在的依赖人工提取、人工判别效率低、自动睡眠分期准确率不高等问题,本文研究模型是基于卷积神经网络和双向长短时记忆神经网络2个深度学习神经网络相结合的,利用脑电信号来进行自动睡眠分期的模型方法.算法能提取得到原始脑电信号的梅尔频谱,利用卷积神经网络和双向长短时记忆神经网络进行...     

基于多特征和深度神经网络的维吾尔文情感分类

针对传统机器学习的情感分类方法存在长距离依赖问题、深度学习存在忽略情感词库的弊端,提出了一种基于注意力机制与双向长短记忆网络和卷积神经网络模型相结合的维吾尔文情感分类方法。将多特征拼接向量作为双向长短记忆网络的输入捕获文本上下文信息,使用注意力机制和卷积网络获取文本隐藏情感特征信息,有效增强了对文本情感语义的捕获能力。实验结果表明,该方法在二分类和五分类情感数据集上的◢F◣▼1▽值相比于机器学习方法分别提高了5.59%和7.73%。     

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

面向语音谎言检测的智能机器学习特征融合算法研究

针对目前语音谎言检测识别效果差、特征提取不充分等问题,提出了一种基于注意力机制的欺骗语音识别网络。首先,将双向长短时记忆与帧级声学特征相结合,其中帧级声学特征的维数随语音长度的变化而变化,从而有效提取声学特征。其次,采用基于时间注意增强卷积双向长短时记忆模型作为分类算法,使分类器能够从输入中学习与任务相关的深层信息,提高识别性能。最后,采用跳跃连接机制将时间注意增强卷积双向长短时记忆模型的底层输出直接连接到全连接层,从而充分利用了学习到的特征,避免了消失梯度的问题。实验阶段,与LSTM以及其他基准模型进行对比,所提模型性能最优。仿真结果进一步验证了所提模型对语音谎言检测领域发展及提升识别率提供了一定借鉴作用。     

基于多层级卷积融合网络的自动睡眠分期方法

针对原始数据不均衡、多层级特征利用不充分等原因造成的基于脑电(EEG)信号分析的睡眠分期方法精度长期驻足不前的问题,提出了一种多层级卷积融合网络的睡眠分期方法,在以SMOTE算法对原始EEG数据进行均衡化处理,并构建时-空信息特征矩阵对网络的输入量进行二维化处理的基础上,通过搭建和优化不同深度的卷积网络,自动提取并融合多层级、多尺度的EEG信号睡眠特征,实现睡眠分期。实验结果表明：所提方法在Sleep-EDF数据集上的分期精度可达到92.35%,宏F1-score达到84.4%,分期精度最低的N1期F1-score可达到53.3%,睡眠分期性能优于其他深度学习模型。     

基于谱带融合的EEG自动睡眠分期算法

由于当前数据集类别不均衡造成基于深度学习的睡眠阶段分期模型性能较差。论文提出了一种基于谱带融合数据增强的自动睡眠分期算法（EEGFusionNet,EFNet）,以解决上述问题提高模型性能。该算法首先对样本数据进行谱带融合的数据增强处理,通过由卷积神经网络与双向门控循环单元提取EEG中的时频特征与时序特征,将特征融合进行睡眠阶段分期。将Sleep EDF数据集中153名健康受试者的EEG信号作为本模型的样本数据进行训练,得到模型的准确率约为84.4%,kappa值为83.8%。与传统的基线模型相比,论文提出的基于谱带融合的睡眠分期模型在准确性和一致性方面具有显著提升。     

时空卷积注意力网络用于动作识别

在视频动作识别任务中,无论是在视频的空间维度还是时序维度,如何充分学习和利用特征之间相关性,对最终识别性能的影响非常大。卷积操作通过计算邻域内特征点之间的相关性获得局部特征,而自注意力机制通过所有特征点之间的信息交互学习到全局信息。单个卷积层不具备在全局视角上学习特征相关性的能力,即使是重复堆叠多层也只是获得了若干个更大的感受野。自注意力层虽然具有全局视角,但其关注的核心仅是不同特征点所表达的内容联系,忽略了局部的位置特性。为了解决以上问题,提出了一种时空卷积注意力网络用于动作识别。时空卷积注意力网络由空间卷积注意力网络和时序卷积注意力网络共同组成。空间卷积注意力网络使用自注意力方法捕捉空间维度的表观特征联系,用一维卷积提取动态信息。时序卷积注意力网络通过自注意力方法来获取时序维度上帧级特征间的关联信息,用2D卷积学习空间特征。时空卷积注意力网络集成两种网络的共同测试结果来提升模型识别性能。在HMDB51数据集上进行实验,以ResNet50为基线,引入时空卷积注意力模块后,神经网络的识别准确率在空间流和时序流上分别提升了6.25和5.13个百分点。与当前先进方法进行比较,时空卷积注意力...     

基于特征聚合的假新闻内容检测模型

针对假新闻内容检测中分类算法模型的检测性能与泛化性能无法兼顾的问题,提出了一种基于特征聚合的假新闻检测模型CCNN。首先,通过双向长短时循环神经网络提取文本的全局时序特征,并采用卷积神经网络（CNN）提取窗口范围内的词语或词组特征;然后,在卷积神经网络池化层之后,采用基于双中心损失训练的特征聚合层;最后,将双向长短时记忆网络（Bi-LSTM）和CNN的特征数据按深度方向拼接成一个向量之后提供给全连接层,采用均匀损失函数uniform-sigmoid训练模型后输出最终的分类结果。实验结果表明,该模型的F1值为80.5%,在训练集和验证集上的差值为1.3个百分点;与传统的支持向量机（SVM）、朴素贝叶斯（NB）和随机森林（RF）模型相比,所提模型的F1值提升了9~14个百分点;与长短时记忆网络（LSTM）、快速文本分类（FastText）等神经网络模型相比,所提模型的泛化性能提升了1.3~2.5个百分点。由此可见,所提模型能够在提高分类性能的同时保证一定的泛化能力,提升整体性能。     

融合注意力机制与并行混合网络的DGA域名检测

基于统计特征的DGA域名检测方法依赖复杂的特征工程,而现有端到端的深度学习方法在DGA域名家族的多分类任务中性能表现不佳。针对上述问题,提出一种融合注意力机制与并行混合网络的DGA域名检测方法。首先,引入深层金字塔卷积神经网络,提取域名深层语义信息,并使用通道注意力块SENet进行改进构建DPCNN-SE,自适应学习通道间关系,抑制无用特征的传递;同时,将自注意力机制与双向长短时记忆网络结合构建BiLSTM-SA网络,捕获域名数据中最具代表性的全局时序特征;最后,融合2个网络提取的特征,输入softmax层输出分类结果。实验结果表明,该方法在域名家族的多分类任务中相比CNN、LSTM的单一模型,F1值分别提高了10.30个百分点、10.18个百分点;相较于现有的混合网络方法Bilbo和BiGRU-MCNN,F1值分别提高了5.97个百分点、4.87个百分点,并且具有更低的计算复杂度。     

基于ResNet-BLSTM的端到端语音识别

基于深度学习的端到端语音识别模型中,由于模型的输入采用固定长度的语音帧,造成时域信息和部分高频信息损失进而导致识别率不高、鲁棒性差等问题。针对上述问题,提出了一种基于残差网络与双向长短时记忆网络相结合的模型,该模型采用语谱图作为输入,同时在残差网络中设计并行卷积层,提取不同尺度的特征,然后进行特征融合,最后采用连接时序分类方法进行分类,实现一个端到端的语音识别模型。实验结果表明,该模型在Aishell-1语音集上字错误率相较于传统端到端模型的WER下降2.52%,且鲁棒性较好。     

一种循环卷积注意力模型的文本情感分类方法

情感分类对推荐系统、自动问答、阅读理解等下游应用具有重要应用价值,是自然语言处理领域的重要研究方向。情感分类任务直接依赖于上下文,包括全局和局部信息,而现有的神经网络模型无法同时捕获上下文局部信息和全局信息。文中针对单标记和多标记情感分类任务,提出一种循环卷积注意力模型(LSTM-CNN-ATT,LCA)。该模型利用注意力机制融合卷积神经网络(Convolutional Neural Network,CNN)的局部信息提取能力和循环神经网络(Recurrent Neural Network,RNN)的全局信息提取能力,包括词嵌入层、上下文表示层、卷积层和注意力层。对于多标记情感分类任务,在注意力层上附加主题信息,进一步指导多标记情感倾向的精确提取。在两个单标记数据集上的F1指标达到82.1%,与前沿单标记模型相当;在两个多标记数据集上,小数据集实验结果接近基准模型,大数据集上的F1指标达到78.38%,超过前沿模型,表明LCA模型具有较高的稳定性和较强的通用性。     

基于小样本学习的LCD产品缺陷自动检测方法

针对高分辨率液晶显示器产品(liquid crystal display, LCD)质量在线检测需求,基于深度学习提出一种LCD缺陷自动检测方法。通过设计自适应浅层特征提取层,并引入稀疏卷积结构,多维度、多尺度的提取深层特征,采用迁移学习和深度卷积生成对抗生网络扩充数据强化训练,构建基于小样本学习的LCD表面缺陷检测模型。其特征在于,采用设计的自动分割与定位预处理软件将高分辨率图像划分成适于卷积神经网络学习的图像子块,并根据模型对图像子块的判定类别和定位坐标,同时获取多类型缺陷检测结果。实验结果表明,本文模型可以有效提高检出率,并减少漏检率。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于双通道脑电信号的在线实时睡眠分期系统

当代社会睡眠问题日益突出,及时检测评估睡眠质量有助于诊断睡眠疾病.针对目前市面上睡眠监测类产品发展参差不齐的现状,本文搭建了一个基于双通道脑电信号的在线实时睡眠分期系统,利用第三方接口脑环获取脑电数据,结合CNN-BiLSTM神经网络模型,在PC电脑端实现了在线的实时睡眠分期与音乐调控功能.系统使用基于卷积神经网络CNN和双向长短时记忆神经网络BiLSTM相结合的算法模型对脑电信号进行自动特征提取,CNN能够提取高阶特征, BiLSTM可以捕捉睡眠数据前后的依赖性和关联性,睡眠分期准确率更高.实验结果表明,本文算法模型在Sleep-EDF公共数据集上的四分类任务中取得了92.33%的分期准确率,其Kappa系数为0.84,本系统的实时睡眠分期功能在自采集睡眠数据分期实验中取得79.17%的分期准确率,其Kappa系数为0.70.相比其他睡眠监测类产品,本系统睡眠分期准确率更高,应用场景更多样,实时性和可靠性强,并且可以根据分期结果对用户进行相应的音乐调控,改善用户睡眠质量.     

基于3CNN-BiGRU的睡眠自动分期研究

针对单通道脑电信号睡眠自动分期效率和准确率问题，提出采用三尺度并行卷积神经网络提取睡眠信号特征和双向门控循环单元学习睡眠阶段之间内部时间关系的3CNN-BiGRU睡眠自动分期模型。首先对原始单通道脑电信号进行带通滤波处理，并采用合成少数类过采样技术进行类平衡，然后送入搭建的模型中进行训练和验证实验，其中采用预训练和微调训练对模型进行优化，采用10次和20次交叉验证提高训练可靠性。不同数据集下的不同模型对比实验结果表明，3CNN-BiGRU模型取得了更高的训练效率和更好的分期准确率。     

舒尔特方格与LSTM的注意力分级建模

在基于脑电信号的注意力分级研究中,存在两个亟待解决的技术难点。第一不同注意类型的脑电数据采集及标注困难;第二脑电特征提取算法忽视原始脑电信号时序特征。针对以上问题,设计了基于视觉搜索和反应时技术的舒尔特方格范式,实现对不同注意类型脑电数据的采集以及自动标注;设计长短期记忆深度学习网络（LSTM）实现对注意力分级,保存原始脑电信号的时序特征。实验结果表明,注意力分级模型可以很好区分高中低三种注意力水平;对比现有的五种基于EEG信号的注意力分级算法,小波变换（DWT）、近似熵、共空间模式（CSP）、基于相干系数的脑网络和卷积神经网络（CNN）,在相同的EEG数据集上,该注意力分级模型识别准确率最高,高出DWT算法21.49个百分点;高出近似熵算法25.82个百分点;高出CSP算法20.53个百分点;高出基于相干系数的脑网络算法13.32个百分点;高出CNN9.05个百分点。     

基于改进卷积神经网络的多标记分类算法

良好的特征表达是提高模型性能的关键，然而当前在多标记学习领域，特征表达依然采用人工设计的方式，所提取的特征抽象程度不高，包含的可区分性信息不足。针对此问题，提出了基于卷积神经网络的多标记分类模型ML_DCCNN，该模型利用卷积神经网络强大的特征提取能力，自动学习能刻画数据本质的特征。为了解决深度卷积神经网络预测精度高，但训练时间复杂度不低的问题，ML_DCCNN利用迁移学习方法缩减模型的训练时间，同时改进卷积神经网络的全连接层，提出双通道神经元，减少全连接层的参数量。实验表明，与传统的多标记分类算法以及已有的基于深度学习的多标记分类模型相比，ML_DCCNN保持了较高的分类精度并有效地提高了分类效率，具有一定的理论与实际价值。     

面向手机动画的基于注意力机制和卷积神经网络的短信情感分析

2008年,中科院张松懋研究员提出了将3D动画自动生成技术应用在手机短信中.短信情感分析是手机3D动画自动生成系统的一个重要环节.目前系统中使用的方法是传统的机器学习方法,准确率较低,无法达到实用的目的.而近几年,深度学习在情感分析任务中取到了较好的效果,卷积神经网络可以自动提取短信中的语义情感特征,且注意力机制可以自动为词加权获取信息.为此,本文提出将深度学习中的注意力机制和卷积神经网络相结合应用于手机短信自动生成系统中的情感分类.实验表明,基于注意力机制的卷积神经网络比之前的方法准确率、召回率和F值都有明显的提高.