基于双向循环神经网络的字符级文本分类

针对传统的文本分类深度学习模型由于收敛速度慢或严重依赖于预先训练好的词向量,在大规模数据集上通常耗时较长,提出了一种结合卷积神经网络(CNN)、门控循环单元(GRU)和高速公路网络(HN)的字符级短文本分类模型,该模型具有快速收敛的捕获全局和局部文本语义的能力.此外,将误差最小化极值学习机(EM-ELM)引入到模型中,进一步提高了分类精度.实验表明,与现有方法相比,该方法在大规模文本数据集上取得了更好的性能.     

基于词性过滤和改进边权重的短文本分类算法

针对短文本存在特征稀疏和信息不规范等特点,文中在TextGCN模型的基础上通过增加词性过滤减弱无关词对特征选择的影响,并加入TF-CR算法提高类别无关词权重,最后,通过与几个经典模型进行对比,验证改进模型的有效性。     

基于伪相关反馈的短文本扩展与分类

针对短文本分类问题,提出基于伪相关反馈(PFR)的短文本扩展与分类方法.在保持语义不变的情况下,利用互联网中的相似语料对短文本的内容进行了扩展.对现有的仅使用局部特征的扩展语料特征抽取方法进行改进,引入全局特征抽取,将全局特征与局部特征相结合得到了更好的特征向量,有效地解决了分类过程中由短文本长度有限导致的特征矩阵高度稀疏的问题.通过在开放数据集上的测试和与其他文献的结果比对,验证了该方法在短文本分类的问题上可以取得较好的效果.     

LSTM-TextCNN联合模型的短文本分类研究

为了能在文本分类模型中获取到更具有代表性的信息,增加分类的准确率.本文提出了一种LSTM-TextCNN联合模型.文中以设备维修手册中采集的文本作为数据集,并对文本进行相应的预处理,将处理过的文本通过Word2Vec模型转化为词向量,最终搭建出联合模型并进行训练,实现了对文本的分类,并将文中的联合模型与单模型LSTM和...     

中文短文本分类技术研究综述

随着信息技术的迅速发展,网络上产生了海量的中文短文本数据.利用中文短文本分类技术,在低信息量的数据中挖掘出有价值的信息是当前的一个研究热点.中文短文本相较于长文本,存在字数少、歧义多、特征稀疏和信息不规范等特点,导致使用传统文本分类技术效果不佳.首先介绍中文短文本分类技术的研究现状;其次围绕中文短文本分类的基本流程和关...     

基于卷积门控循环网络的齿轮箱故障诊断

为充分利用信号的时序相关性特征,增强模型对数据信息的全面挖掘能力,以进一步提高卷积神经网络(CNN)诊断精度,本文将CNN与善于处理数据时序相关性特征的门控循环单元(GRU)相结合,提出了一种新的齿轮箱故障诊断模型。CNN通过端对端的方式提取数据空间特征,并将提取的特征作为GRU的输入进一步提取时空特征,最后将GRU提取的时空特征作为SoftMax的输入进行故障识别。两组齿轮箱实验数据分析结果显示:平均故障诊断精度分别可达99.86%和99.85%,与其它现有模型的结果对比体现了本文模型的有效性和优越性。     

基于改进Rocchio算法的短文本自动分类研究

为了利用已有的分类方法对短文本信息进行分类,选取大量长文本作为训练集,以此形成“词典”,并利用改进的简单向量距离算法实现分类.理论和实验结果表明,该方法非常适用于短文本信息的分类.     

基于卷积神经网络的多标签图像分类

针对BING算法对物体建模的不足,提出了multi-BING算法.该算法计算训练样本的CS-LBP特征,并对其进行聚类,对聚类后的数据建立BING模型.在物体检测过程中,融合了多个模型结果进行候选框判别,将多标签图像分类问题转化为多个单标签分类问题.以Fast R-CNN模型为基础,将采用本文物体检测方法得到的候选框作...     

基于融合特征以及卷积神经网络的环境声音分类系统研究

环境声音识别系统主要基于深度神经网络以及种类繁多的听觉特征对环境声音进行分类识别.分析基于深度神经网络的环境分类任务中,哪种听觉特征更适合环境声音识别系统十分必要.选择了基于2个广泛使用的滤波器:梅尔和Gammatone滤波器组提取的3种声音特征.随后,提出了一个MFCC和GFCC融合的特征MGCC.最后采用文中提出的...     

基于ERNIE-BiGRU模型的中文文本分类方法

针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性,利用知识增强的语义表示(ERNIE)预训练模型,根据上下文计算出字的向量表示,在保留该字上下文信息的同时也能根据字的多义性进行调整,增强了字的语义表示。在ERNIE模型后增加了双向门限循环单元(Bi GRU),将训练后的词向量作为Bi GRU的输入进行训练,得到文本分类结果。实验表明,该模型在新浪新闻的公开数据集THUCNews上的精确率为94. 32%,召回率为94. 12%,F1值为0. 942 2,在中文文本分类任务中具有良好的性能。     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

基于特征选择及ISSA-CNN-BiGRU的短期风功率预测

针对风电功率随机性及非平稳性大,直接输入预测模型往往难以取得较高精度问题,提出了一种基于特征选择及改进麻雀搜索算法(improved sparrow search algorithm,ISSA)优化卷积神经网络-双向门控循环单元(convolutional neural network-bidirectional gated recurrent unit,CNN-BiGRU)的短期风电功率预测方法。首先,利用变分模态分解(variational mode decomposition,VMD)将原始功率分解为一组包含不同信息的子分量,以降低原始功率序列的非平稳性,提升可预测性,同时通过观察中心频率方式确定模态分解数。其次,对每一分量采用随机森林(random forest,RF)特征重要度的方法进行特征选择,从风速、风向、温度、空气密度等气象特征因素中,选取对各个分量预测贡献度较高的影响因素组成输入特征向量。然后,建立各分量的CNN-BiGRU预测模型,针对神经网络算法参数难调手动配置参数随机性大问题,利用ISSA对模型超参数寻优,自适应搜寻最优参数组合。最后,叠加各分量的预测值,得到最终的预测结果。以中国内蒙古某风电场实际数据进行仿真实验,与多种单一及组合预测方法进行对比,结果表明本文所提方法相比于其他方法具有更高的预测精度,其中平均绝对百分比误差值达到2.6440%,并在其他数据上进行模型准确性及泛化性验证,平均绝对百分比误差值分别为4.3853%、3.1749%、1.5761%和1.3588%,均保持在5%以内,证明本文所提方法具有较好的预测精度及泛化能力。     

大规模情感词典的构建及其在情感分类中的应用

为了有效获取短文本评论隐含的语义信息进行情感倾向性识别,提出一种基于CNN-LSTM模型的短文本情感分类方法.利用卷积神经网络（convolutional neural network,CNN）模型设置不同大小的卷积窗口,提取短文本的语义特征.引入长短时记忆（long short-term memory,LSTM）神经网络模型对短文本的情感倾向进行预测.在3种不同的中英文短文本评论数据集上进行验证取得较好的性能,其中,在NLPCC评测数据集上,正、负向情感识别的F₁值分别达到0.768 3和0.772 4（优于NLPCC评测的最优结果）.相较于传统的机器学习分类模型,t-test检验结果表明性能提升显著.

     

GRU结合STL分解的短期电量预测方法

基于循环神经网络的模型具有出色的捕获非线性关系的能力,在电量预测中具有良好的性能。但它无法完全捕获历史信息,影响了预测结果的准确性。为了解决这些问题,提出了一种门控循环单元（GRU）模型结合STL分解的方法。评估结果表明,该方法能较好地捕获局部和全局信息,并具有比传统模型更高的预测精度。     

基于时间模式注意力机制的CNN-BiGRU短期负荷预测

准确的短期负荷预测可以缓解电力供需矛盾,协调负荷管理,保障电力系统安全。短期电力负荷具有很强的非线性和时间依赖性,并与气候变化和实时电价等诸多外部因素有关,给精准预测短期负荷带来了困难。为此,提出一种基于时间模式注意力(temporal pattern attention, TPA)机制的卷积神经网络(convolutional neural network, CNN)-双向门控循环单元(bidirectional gated recurrent unit, BiGRU)短期负荷预测方法。其中,卷积神经网络用于挖掘不同输入变量与当前负荷间的非线性空间联系,双向门控循环单元用于从时间序列中捕获长期依赖关系,时间模式注意力机制引入以自适应加权赋予特征权重,突出重要信息,实现短期负荷预测。以澳大利亚公开负荷数据集作为实例验证所提方法的效果,预测精度达到了97.651%,与CNN-LSTM、RNN预测模型进行对比,精度分别提高了0.531%和5.992%,实验结果表明：所提的TPA-CNN-BiGRU预测方法具有更高的预测精度和普适性。     

融合多头自注意力机制的语音增强方法

由于人类在听觉感知过程中存在掩蔽效应,因此能量高的信号会屏蔽掉其他能量低的信号.受到这一现象启发,结合自注意力方法和多头注意力方法,提出融合多头自注意力机制的语音增强方法.通过对输入的含噪语音特征施加多头自注意力计算,可以使得输入语音特征的干净语音部分和噪声部分有较为明显的区分,从而使得后续的处理能够更有效地抑制噪声....     

Classifying health questions with local semantic and global structural information

Considering the shortcomings of existing research methods in the Chinese medical health questions classification task, this paper proposes a new health questions classification method that incorporates the health questions’ local semantic information and global structural information. We first obtain the questions’ local semantic representation and global structural representation by the convolutional neural network (CNN) and independent recurrent neural network (IndRNN). Then, we extract the questions’ semantic representation, and especially we get the questions’ semantic representation by fusing the local semantic representation and global structural representation using a self-attention mechanism. Finally, we classify the semantic representation of the medical health question through the softmax layer and output classification result. Experimental results show that this method leads to a good performance in the Chinese medical health questions dataset, and that it effectively improves the semantic representation ability of the model and significantly resolves the gradient vanishing and gradient explosion problems.     

融合局部语义和全局结构信息的健康问句分类

针对已有的中文医疗健康问句分类方法的不足,提出了一种融合句子局部语义信息和全局结构信息的中文医疗健康问句分类方法。首先,通过卷积神经网络和独立循环神经网络获得医疗健康问句的局部语义表示和全部结构表示;然后,利用自注意力机制将得到的局部语义表示和全局结构表示向量融合,生成医疗健康问句的最终语义表示向量;最后,通过分类层分类并输出分类结果。实验结果表明,这种方法可以有效地提高模型的语义表示能力,且有效地改善了梯度消失和梯度爆炸问题,在中文医疗健康问句数据集上具有很好的性能。