结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络（BiLSTM）和卷积神经网络（CNN）很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制（self_attention）和残差网络（ResNet）的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。     

基于双通道脑电信号的在线实时睡眠分期系统

当代社会睡眠问题日益突出,及时检测评估睡眠质量有助于诊断睡眠疾病.针对目前市面上睡眠监测类产品发展参差不齐的现状,本文搭建了一个基于双通道脑电信号的在线实时睡眠分期系统,利用第三方接口脑环获取脑电数据,结合CNN-BiLSTM神经网络模型,在PC电脑端实现了在线的实时睡眠分期与音乐调控功能.系统使用基于卷积神经网络CNN和双向长短时记忆神经网络BiLSTM相结合的算法模型对脑电信号进行自动特征提取,CNN能够提取高阶特征, BiLSTM可以捕捉睡眠数据前后的依赖性和关联性,睡眠分期准确率更高.实验结果表明,本文算法模型在Sleep-EDF公共数据集上的四分类任务中取得了92.33%的分期准确率,其Kappa系数为0.84,本系统的实时睡眠分期功能在自采集睡眠数据分期实验中取得79.17%的分期准确率,其Kappa系数为0.70.相比其他睡眠监测类产品,本系统睡眠分期准确率更高,应用场景更多样,实时性和可靠性强,并且可以根据分期结果对用户进行相应的音乐调控,改善用户睡眠质量.     

基于BERT和多窗口门控CNN的电机领域命名实体识别

针对电机领域命名实体识别困难、精度不高的问题,提出了一种基于BERT和多窗口门控CNN的电机领域命名实体识别模型。该模型首先利用BERT预训练模型生成句子的字向量序列,根据电机领域文本的上下文动态微调字向量,增强字向量的语义表达;其次,构建具有全局时序特征感知单元和多窗口门控CNN单元的双分支特征提取层,形成句子的多级语义特征表示;最后,通过CRF对字符序列进行解码,得到每个字符对应的标签。在小规模的自建电机领域数据集与多组模型进行的对比实验结果表明,该模型命名实体识别性能均优于其他模型,macro-F1值达到了90.16%,验证了该方法对电机领域实体识别的有效性。     

集成自适应啁啾模态分解和Bi LSTM的短期负荷组合预测模型

为提高用户侧短期负荷预测的精度,提出了一种基于自适应啁啾模态分解(adaptive chirp mode decomposition,ACMD)和麻雀搜索算法(sparrowsearchalgorithm, SSA)优化双向长短时记忆网络(bi-directionallongshort-term memory, BiLSTM)的短期负荷组合预测方法。针对短期电力负荷存在波动性强和非平稳性的问题,采用ACMD将短期负荷时间序列分解为多个相对简单的子分量,使用BiLSTM分别对各子分量进行预测。同时,为克服BiLSTM参数取值不同导致预测结果不稳定的问题,使用SSA优化BiLSTM模型的超参数。最后将各子分量预测结果叠加得到最终预测结果。通过具体算例,分别与单一预测模型和多种组合预测模型进行比较,实验结果表明该方法具有更高的预测精度。     

基于CEEMDAN-BiLSTM的月降水量预测模型

准确预报降水量对防洪防涝、水资源高效开发和利用起着至关重要的作用。由于降水量序列具有较强的非线性和突变性,使得传统的统计预测模型难以准确表征其时序特征。因此,本文提出了基于完全自适应噪声集合经验模态分解（CEEMDAN）和双向长短时记忆网络（BiLSTM）的月降水量预测模型,通过对1960年1月～2013年12月的江西宜春气象站降水量数据进行预测,并与长短时记忆网络模型（LSTM）、BiLSTM、互补集合经验模态分解和长短时记忆网络模型（CEEMD-LSTM）、CEEMD-BiLSTM 和CEEMDAN-LSTM 模型进行了对比。结果表明：基于CEEMDAN 法能够得到具有波动性更小的降水量分量序列,以此构建的BiLSTM 模型能够很好地捕捉降水量序列的变化特征;相较于其他模型,其预测结果的均方根误差、平均绝对误差和平均绝对百分比误差更小,且相关系数更大,即CEEMDAN-BiLSTM 模型在降水量预测上具有更为良好的性能,该模型可为降水量预测提供一种新方法。     

基于BiLSTM的滚动轴承故障诊断研究

针对滚动轴承的故障诊断,设计并实现了一种基于双向长短期记忆网络(BiLSTM)的诊断模型.将原始振动信号直接作为模型输入,自动提取滚动轴承故障特征,可以对内圈、滚动体、外圈不同故障类型及不同损伤程度的滚动轴承进行故障识别.该模型通过BiLSTM神经网络自动提取轴承振动信号的深层信息,弥补了传统故障诊断方法需要人工提取特...     

基于ALBERT的中文医疗病历命名实体识别

医疗病历命名实体识别的主要任务是将临床电子病历中的非结构化文本转化为结构化数据,进而为面向医疗领域任务开展的数据挖掘提供基础支撑. 提出一种基于ALBERT模型融合学习的中文医疗病历命名实体识别模型. 首先,采用人工标注方式扩展样本数据集,结合ALBERT模型对数据集进行微调; 其次,采用双向长短记忆网络(BiLSTM)提取文本的全局特征; 最后,基于条件随机场模型(CRF)命名实体的序列标记. 在标准数据集上的实验结果表明,该方法进一步提高了医疗文本命名识别精度,减少了时间开销.     

基于密集连接网络和多维特征融合的文本匹配模型

针对文本匹配过程中存在语义损失和句子对间信息交互不充分的问题,提出基于密集连接网络和多维特征融合的文本匹配方法. 模型的编码端使用BiLSTM网络对句子进行编码,获取句子的上下文语义特征;密集连接网络将最底层的词嵌入特征和最高层的密集模块特征连接,丰富句子的语义特征;基于注意力机制单词级的信息交互,将句子对间的相似性特征、差异性特征和关键性特征进行多维特征融合,使模型捕获更多句子对间的语义关系. 在4个基准数据集上对模型进行评估,与其他强基准模型相比,所提模型的文本匹配准确率显著提升,准确率分别提高0.3%、0.3%、0.6%和1.81%. 在释义识别Quora数据集上的有效性验证实验结果表明,所提方法对句子语义相似度具有精准的匹配效果.     

BiLSTM_DPCNN模型在电力客服工单数据分类中的应用

电力客服工单数据以文本形式记录电力用户的需求信息,合理的工单分类方法有利于准确定位用户需求,提升电力系统的运行效率.针对工单数据特征稀疏、依赖性强等问题,本文对基于字符级嵌入的长短时记忆网络(Bidirectional Long Short-Term Memory network,BiLSTM)和卷积神经网络(Conv...     

基于逆类别注意力机制的电商文本分类

电商数据所属类别对于分析电商数据有重要意义,基于人力的分类无法适应如今海量的电商数据,基于传统算法模型的分类难以提取有价值的人工特征.本文采用BiLSTM模型并且引入注意力机制,将其应用于电商数据分类中.该模型包括Embedding层、BiLSTM层、注意力机制层和输出层.Embedding层加载Word2Vec开源工...