基于Capsule-BiGRU的文本相似度分析算法

针对传统神经网络模型不能很好地提取文本特征的问题,提出基于capsule-BiGRU的文本相似度分析方法,该方法将胶囊网络（capsule）提取的文本的局部特征矩阵和双向门控循环单元网络（BiGRU）提取的文本的全局特征矩阵分别进行相似度分析,得到文本的相似度矩阵,将相似度矩阵融合,得到两个文本的多层次相似度向量,从而进行文本相似度的判定。将传统的胶囊网络进行改进,把与文本语义无关的单词视为噪声胶囊,赋予较小权值,从而减轻对后续任务的影响。针对文本相似度的任务,在文本特征矩阵提取前加入互注意力机制,对于待分析的两个文本,通过计算一个文本中单词与另一文本中所有单词的相似度来对词向量赋予权值,从而能更准确地判断文本的相似度。在Quora Questions Pairs数据集进行实验,实验结果表明所提出的方法准确率为86.16%,F1值为88.77%,结果优于其他方法。     

基于LAAE网络的跨语言短文本情感分析方法

跨语言短文本情感分析作为自然语言处理领域的一项重要的任务, 近年来备受关注. 跨语言情感分析能够利用资源丰富的源语言标注数据对资源匮乏的目标语言数据进行情感分析, 建立语言之间的联系是该任务的核心.与传统的机器翻译建立联系方法相比, 迁移学习更胜一筹, 而高质量的跨语言文本向量则会提升迁移效果. 本文提出LAAE网络模型, 该模型通过长短记忆网络(LSTM)和对抗式自编码器(AAE)获得含上下文情感信息的跨语言向量, 然后利用双向GRU (Gated Recurrent Unite)进行后续情感分类任务. 其中, 分类器首先在源语言上进行训练,最后迁移到目标语言上进行分类任务. 本方法的有效性体现在实验结果中.     

基于改进BiGRU-CNN的中文文本分类方法

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元（BiGRU）网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系。针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络（CNN）文本分类模型SAttBiGRU-MCNN。通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果。     

融合多通道CNN与BiGRU的字词级文本错误检测模型

文本校对是自然语言处理领域的重要分支。深度学习技术因强大的特征提取与学习能力被广泛应用于中文文本校对任务。针对现有中文文本错误检测模型忽略句子连续词间的局部信息、对于长文本的上下文语义信息提取不充分等问题,提出一种基于多通道卷积神经网络（CNN）与双向门控循环单元（BiGRU）的字词级文本错误检测模型。利用Word2vec向量化待检错文本,采用CNN挖掘待检错文本的局部特征,使用BiGRU学习待检错文本的上下文语义信息及长时依赖关系,并通过Softmax处理后输出文本分类结果以判断文本中是否含有字词错误,同时采取L2正则化和dropout策略防止模型过拟合。在SIGHAN2014和SIGHAN2015中文拼写检查任务数据集上的实验结果表明,与基于长短时记忆网络的文本错误检测模型相比,该模型的检错F₁值提升了3.01个百分点,具有更优的字词级文本错误检测效果。     

基于自编码压缩与多尺度特征提取的抽水蓄能机组劣化趋势评估与预测

恶劣的运行环境为抽水蓄能机组安全运行带来严峻挑战,抽水蓄能机组劣化趋势评估与预测技术能够有效反映机组运行状况并预测机组未来劣化情况,为机组状态检修提供重要依据。然而,机组运行工况参数中存在大量冗余或干扰信息,严重影响劣化趋势评估的可靠性;此外,难以对复杂的劣化趋势序列实现准确的预测。为解决上述问题,提出一种基于自编码压缩与多尺度特征提取的抽水蓄能机组劣化评估预测模型。首先,为降低拟合误差,利用深度自编码器(DAE)凝练工况参数中的关键信息,结合多层感知机(MLP)建立健康模型;其次,根据机组运行数据与健康模型,生成机组劣化度;最后,以一维卷积神经网络(1DCNN)提取局部空间特征,以双向门控循环单元(BiGRU)提取双向全局时序特征,结合二者的优势,构建多尺度特征提取网络,实现精确的劣化趋势预测。通过某抽水蓄能机组验证了该模型的有效性。与其他模型相比,自编码压缩模型的拟合误差最低,能够生成可靠的劣化趋势;多尺度特征提取网络能够学习劣化趋势序列中的长期趋势与局部波动信息,预测精度更高。     

基于Attention和残差网络的非侵入式负荷监测

非侵入式负荷监测（Non-Intrusive Load Monitoring, NILM）可以从家庭电表的总功率读数,估算出各用电器的功率。由于对于同一类用电器,其状态种类、各状态持续时长、各状态的功率波形都不同,这使得基于特征工程和聚类的模型的泛化能力不强;回归模型的分解功率难以迅速跟踪真实功率。针对这些问题,文中将回归问题转化为在序列每个时刻的多分类问题,并提出基于Attention和残差网络的非侵入式负荷监测模型。该模型基于具有编码器和解码器的seq2seq框架,首先通过嵌入矩阵将高维稀疏one-hot向量映射为低维稠密向量;在编码部分,通过双向GRU从前后两个方向提取序列信息,引入Attention机制计算序列中当前时刻最重要的信息,引入残差连接学习残差部分输入输出之间的差异;在解码部分,用回归层组合BiGRU解码结果,取经过softmax函数处理的最大概率功率类别作为结果。该模型在选取REFIT数据集中表现良好,其中测试集与训练集完全独立,表明训练好的模型可以直接应用在新的住宅用户中。     

基于BERT的复合网络模型的中文文本分类

针对自然语言在语句结构上有着较强的前后依赖关系,提出一种基于BERT的复合网络模型进行中文新闻分类。首先利用BERT的基于注意力机制的多层双向transformer特征提取器获得字词以及句子之间更加全局的特征关系表达。然后将所得数据输入门结构更加简单的双向门控循环神经网络层将特征增强的同时减少时间代价,加强数据特征的选取精确度。最后将不同权重的文本特征信息输入softmax函数层进行新闻分类。通过在cnews新浪新闻数据集上进行实验,获得97.21%的F1值,结果表明所提特征融合模型较其他模型分类效果更好。     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.     

基于BiGRU深度神经网络的心肌梗死检测

针对目前智能医疗诊断领域的研究现状,结合心电信号的时序性和多导联关联性特点,为降低心肌梗死疾病的误诊率,提出一种基于双向门控循环单元神经网络(Bidirectional Gated Recurrent Unit,BiGRU)和多导联心电图(electrocardiogram,ECG)信号的深度神经网络学习算法。对原始心电信号进行去噪处理,分割成心拍序列;将心拍序列送入深度神经网络训练模型学习分类;采用Physikalisch-Technische Bundesanstalt(PTB)心电数据库验证多导联BiGRU算法。算法对心梗检测的灵敏度为99.93%、特异性为99.72%、准确率为99.89%。实验结果表明,该算法的检测效果明显优于其他文献的检测算法,对提高心肌梗死的正确诊断率具有重要意义。