基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于BERT的复合网络模型的中文文本分类

针对自然语言在语句结构上有着较强的前后依赖关系,提出一种基于BERT的复合网络模型进行中文新闻分类。首先利用BERT的基于注意力机制的多层双向transformer特征提取器获得字词以及句子之间更加全局的特征关系表达。然后将所得数据输入门结构更加简单的双向门控循环神经网络层将特征增强的同时减少时间代价,加强数据特征的选取精确度。最后将不同权重的文本特征信息输入softmax函数层进行新闻分类。通过在cnews新浪新闻数据集上进行实验,获得97.21%的F1值,结果表明所提特征融合模型较其他模型分类效果更好。     

基于自编码压缩与多尺度特征提取的抽水蓄能机组劣化趋势评估与预测

恶劣的运行环境为抽水蓄能机组安全运行带来严峻挑战,抽水蓄能机组劣化趋势评估与预测技术能够有效反映机组运行状况并预测机组未来劣化情况,为机组状态检修提供重要依据。然而,机组运行工况参数中存在大量冗余或干扰信息,严重影响劣化趋势评估的可靠性;此外,难以对复杂的劣化趋势序列实现准确的预测。为解决上述问题,提出一种基于自编码压缩与多尺度特征提取的抽水蓄能机组劣化评估预测模型。首先,为降低拟合误差,利用深度自编码器(DAE)凝练工况参数中的关键信息,结合多层感知机(MLP)建立健康模型;其次,根据机组运行数据与健康模型,生成机组劣化度;最后,以一维卷积神经网络(1DCNN)提取局部空间特征,以双向门控循环单元(BiGRU)提取双向全局时序特征,结合二者的优势,构建多尺度特征提取网络,实现精确的劣化趋势预测。通过某抽水蓄能机组验证了该模型的有效性。与其他模型相比,自编码压缩模型的拟合误差最低,能够生成可靠的劣化趋势;多尺度特征提取网络能够学习劣化趋势序列中的长期趋势与局部波动信息,预测精度更高。     

基于改进BiGRU-CNN的中文文本分类方法

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元（BiGRU）网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系。针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络（CNN）文本分类模型SAttBiGRU-MCNN。通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果。     

融合多通道CNN与BiGRU的字词级文本错误检测模型

文本校对是自然语言处理领域的重要分支。深度学习技术因强大的特征提取与学习能力被广泛应用于中文文本校对任务。针对现有中文文本错误检测模型忽略句子连续词间的局部信息、对于长文本的上下文语义信息提取不充分等问题,提出一种基于多通道卷积神经网络（CNN）与双向门控循环单元（BiGRU）的字词级文本错误检测模型。利用Word2vec向量化待检错文本,采用CNN挖掘待检错文本的局部特征,使用BiGRU学习待检错文本的上下文语义信息及长时依赖关系,并通过Softmax处理后输出文本分类结果以判断文本中是否含有字词错误,同时采取L2正则化和dropout策略防止模型过拟合。在SIGHAN2014和SIGHAN2015中文拼写检查任务数据集上的实验结果表明,与基于长短时记忆网络的文本错误检测模型相比,该模型的检错F₁值提升了3.01个百分点,具有更优的字词级文本错误检测效果。     

基于注意力机制的CNN-BiGRU短期光伏发电功率预测

精确的光伏发电短期预测在微电网智能能源管理系统中起着至关重要的作用;文章提出一种基于注意力机制的CNN-BiGRU短期光伏发电功率预测模型;其核心思想是通过CNN提取光伏数据的空间特征,把CNN提取的这些空间特征送入到BiGRU神经网络中,利用BiGRU模型捕捉光伏时序数据集的双向信息流,学习光伏特征的动态变化规律,引入Attention机制为CNN-BiGRU的隐藏层输出赋予权重,减少因时序过长造成的信息丢失,并且突出强相关特征的影响,减少弱相关特征的影响。在美国俄勒冈州本德市公开数据集上做了验证,并与BP神经网络、GRU、BiGRU、基于Attention机制的BiLSTM以及基于Attention机制的BiGRU进行对比,实验结果表明所提模型在预测精度上更有优越性。     

新的基于融合向量的DGA域名检测方法

由于词典类DGA域名的字符分布随机性低,单词组合随机性高,基于传统机器学习的恶意域名检测方法难以识别,虽然利用LSTM等深度学习的检测方法能捕捉域名字符序列特征,但缺乏局部词根组合特征,检测准确率低。针对以上问题,提出一种基于融合嵌入层的DGA域名检测方法。在域名词嵌入阶段,基于分词技术,进行字符和词根的融合嵌入向量表示,结合一维卷积神经网络（CNN）和双向门控循环单元（BiGRU）,构建混合的深度学习模型,实现DGA域名检测。实验表明,该方法与单一采用CNN或LSTM模型相比,在域名二分类任务中的准确率分别提高3.1%和4.3%,针对词典类DGA家族matsnu、suppobox、ngioweb的检测具有更高的精确率。     

基于Capsule-BiGRU的文本相似度分析算法

针对传统神经网络模型不能很好地提取文本特征的问题,提出基于capsule-BiGRU的文本相似度分析方法,该方法将胶囊网络（capsule）提取的文本的局部特征矩阵和双向门控循环单元网络（BiGRU）提取的文本的全局特征矩阵分别进行相似度分析,得到文本的相似度矩阵,将相似度矩阵融合,得到两个文本的多层次相似度向量,从而进行文本相似度的判定。将传统的胶囊网络进行改进,把与文本语义无关的单词视为噪声胶囊,赋予较小权值,从而减轻对后续任务的影响。针对文本相似度的任务,在文本特征矩阵提取前加入互注意力机制,对于待分析的两个文本,通过计算一个文本中单词与另一文本中所有单词的相似度来对词向量赋予权值,从而能更准确地判断文本的相似度。在Quora Questions Pairs数据集进行实验,实验结果表明所提出的方法准确率为86.16%,F1值为88.77%,结果优于其他方法。     

基于LAAE网络的跨语言短文本情感分析方法

跨语言短文本情感分析作为自然语言处理领域的一项重要的任务, 近年来备受关注. 跨语言情感分析能够利用资源丰富的源语言标注数据对资源匮乏的目标语言数据进行情感分析, 建立语言之间的联系是该任务的核心.与传统的机器翻译建立联系方法相比, 迁移学习更胜一筹, 而高质量的跨语言文本向量则会提升迁移效果. 本文提出LAAE网络模型, 该模型通过长短记忆网络(LSTM)和对抗式自编码器(AAE)获得含上下文情感信息的跨语言向量, 然后利用双向GRU (Gated Recurrent Unite)进行后续情感分类任务. 其中, 分类器首先在源语言上进行训练,最后迁移到目标语言上进行分类任务. 本方法的有效性体现在实验结果中.     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.