基于BERT-AWC的文本分类方法研究

针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题,对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征,为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征,再进一步获取到文本的局部特征,由此弥补了BERT模型无法提取词向量的缺...     

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F₁分值上分别提高了3.7%和5.1%。     

基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

基于深度特征和注意力机制的艺术图像情感分类研究

作为人类精神活动产物的艺术图像,其本身蕴含着丰富的情感语义信息,研究艺术图像的情感分类有助于艺术图像的鉴赏与保护,以图像为对象的情感分类研究已成为情感计算的研究热点,但该分类主要依赖于图像低层特征的抽取,从而导致图像情感分类结果不高.本文提出了一种基于底层特征和注意力机制的艺术图像情感分类模型,即提取艺术图像的CLAH...     

基于多通道注意力机制的文本分类模型

为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后利用CNN和BiLSTM提取文本的局部特征和上下文关联信息,接着以注意力机制对各通道的输出...     

基于卷积注意力机制的电视节目评论情感分析方法研究

本文提出一个基于卷积注意力机制的文本分类方法,该方法利用卷积神经网络抓取上下文信息,自适应生成注意力权重,并与LSTM模型相融合进行分类。在IMDB影评分类测试中,本文所提方法的分类准确率比基准模型高3.6%,证明了本文所提方法的有效性。     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.     

基于多门混合专家网络的情感分析与文本摘要多任务模型

在目前机器学习应用场景中，大多数方法仍然专注于孤立地学习单个任务，即为每个任务建立一个单独的模型。然而许多现实问题需要多模态的方法来解决，因此需要采用多任务模型。目前多门混合专家网络MMoE在多任务领域取得了不错的效果，然而在针对特定领域的学习仍然存在没有专注于独立任务的信息学习、学习任务之间联系能力不足的问题。为此，文中在多门混合网络专家模型上针对情感分析和文本摘要这一特定领域进行了优化，采用基于解码器的架构针对MMoE的架构进行重构；为解决重新设计架构带来的数据格式和流向变化的问题，同时增加针对任务独有信息的学习，设计了新的门控制网络架构；基于情感分析与文本摘要互助理论，提出两种门控制网络权值修改机制，并通过实验选择性能最佳的机制和参数。最后通过改进前后的性能对比和消融实验，证明了在情感分析和文本摘要领域，所提模型有着更优于MMoE的性能，并且每个优化都对模型性能提升有所贡献。     

中文文本情感倾向性五元模型研究

目前,情感倾向性判断正成为文本信息服务技术研究的热点和难点之一,而＂中文文本情感倾向性观点＂表示模型是文本情感倾向性判断的基础。情感倾向性五元模型从情感倾向性观点的持有者、倾向性的来源、倾向性的指向、倾向性的立场和倾向性的种类五个方面刻画中文文本情感倾向性的概念,丰富了情感倾向性的表示方法,提高了文本情感倾向性判断的精度,并以此为基础给出了句子级文本情感倾向性判断的定义和过程。     

结合改进Bi-LSTM和CNN的文本情感分析

针对目前用于文本情感分析神经网络非常缺乏的问题,提出了一种级联RNN的体系结构.该体系结构首先将RNN放在全局平均池化层上,用于捕获与CNN之间的长期依赖关系,然后通过GloVe嵌入方法对词向量进行处理,最终作为输入数据,进行训练.该方法与Twitter语料库中的基线模型相比,实验表现出更好的情感分类效果,该方法在Tw...     

基于Attention-CTC的自然场景文本识别算法

针对自然场景下文本识别所存在的字符分割困难、识别精度依赖字典等问题,文中提出了一种基于注意力机制与连接时间分类损失相结合的文本识别算法。利用卷积神经网络与双向长短时期记忆网络实现对图像的特征编码,再使用Attention-CTC结构实现对特征序列的解码,有效解决Attention解码无约束的问题。该算法避免了对标签进行额外对齐预处理和后续语法处理,在加快训练收敛速度的同时显著提高了文本识别率。实验结果表明,该算法对字体模糊、背景复杂的文本图像都具有很好的鲁棒性。     

面向方面级情感分析的交互图注意力网络模型

方面级情感分析目前主要采用注意力机制与传统神经网络相结合的方法对方面与上下文词进行建模。这类方法忽略了句子中方面与上下文词之间的句法依存信息及位置信息,从而导致注意力权重分配不合理。为此,该文提出一种面向方面级情感分析的交互图注意力网络模型(IGATs)。该模型首先使用双向长短期记忆网络(BiLSTM)学习句子的语义特征表示,并结合位置信息生成新的句子特征表示,然后在新生成的特征表示上构建图注意力网络以捕获句法依存信息,再通过交互注意力机制建模方面与上下文词之间的语义关系,最后利用softmax进行分类输出。在3个公开数据集上的实验结果表明,与其他现有模型相比,IGATs的准确率与宏平均F1值均得到显著提升。     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

基于ARG模型匹配算法的人脸特征定位

本文研究了基于 ＡＲＧ（ Ａｔｔｒｉｂｕｔｅｄ Ｒｅｌａｔｉｏｎ Ｇｒａｐｈ）模型匹配算法的人脸图象的特征定位方法。该方法可有效地完成眼、口、眉的自动定位。基于人脸生理特征我们建立人脸图象的ＡＲＧ模型对人脸图象进行了精确的描述。在此基础上本义采用了连续型Ｈｏｐｆｉｅｌｄ神经网络模型并行处理进行ＡＲＧ模型匹配,通过能量函数极小化得到全局最优的特征定位结果。实验结果证实了该方法有效、稳定、且具有较快的收敛速度。     

基于多尺度注意力CNN的SAR遥感目标识别

目标识别是合成孔径雷达（Synthetic Aperture Radar,SAR）图像解译的重要步骤。鉴于卷积神经网络（Convolutional Neural Network, CNN）在自然图像分类领域表现优越,基于CNN的SAR图像目标识别方法成为了当前的研究热点。SAR图像目标的散射特征往往存在于多个尺度当中,且存在固有的噪声斑,含有冗余信息,因此,SAR图像目标智能识别成为了一项挑战。针对以上问题,本文提出一种多尺度注意力卷积神经网络,结合多尺度特征提取和注意力机制,设计了基于注意力的多尺度残差特征提取模块,实现了高精度的SAR遥感图像目标识别。该方法在MSTAR数据集10类目标识别任务中的总体准确率达到了99.84%,明显优于其他算法。在测试集加入4种型号变体后,10类目标识别任务中的总体准确率达到了99.28%,验证了该方法在复杂情况下的有效性。     

融合注意力机制的混合神经网络文本情感分析模型

以往的文本情感分析模型存在忽略文本边缘信息、池化层破坏文本序列特征的问题,并且特征提取能力与识别关键信息的能力也存在不足。为了进一步提升情感分析的效果,提出了一种基于注意力机制的动态卷积神经网络(Dynamic Convolutional Neural Network,DCNN)与双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)的文本情感分析模型DCNN-BiGRU-Att。首先,利用宽卷积核提取文本边缘特征,采用动态k-max池化保留了文本的相对位置序列特征。其次,构建了DCNN与BiGRU的并行混合结构,避免了部分特征损失问题,并同时保留局部特征与全局上下文信息两种特征,提高了模型的特征提取能力。最后,在特征融合之后引入注意力机制,将注意力机制的作用全局化,提高了模型识别关键信息的能力。将该模型在MR与SST-2两个公开数据集上与多个深度学习模型进行对比,其准确率分别提高了1.27%和1.07%,充分证明了该模型的合理有效性。     

结合LSTM与CNN的野外车辆声信号分类

针对野外环境下微声传感器采集的小型轮式车、大型轮式车和履带车3种车辆声信号受风噪影响严重、分类性能较低的问题,提出了一种长短时记忆网络(LSTM)与多尺度、多层次特征融合卷积神经网络(CNN)相结合的分类算法——野外车辆识别算法(FVNet).该算法先采用一层LSTM网络提取声信号的时序特征,充分利用声信号的长时依赖关...     

基于滤波重构和卷积神经网络的心电信号分类

计算机自动分类心电信号能够减轻医生工作压力并大幅提高诊断速度和准确率。文中针对传统算法中特征提取过程复杂及抗干扰能力弱的问题,提出了一种结合滤波重构和卷积神经网络的心电信号分类算法。该算法首先通过传统信号滤波和心拍序列重构去除原始心电信号中的噪声干扰,然后构建卷积神经网络来自动学习心电信号特征并完成分类。在PhysioNet/CinC Challenge 2017数据集上的分类实验结果表明,该方法的平均F₁(查准率、召回率的调和平均)达到了0.8471,优于人工特征提取和常规卷积网络方法,且具有很强的抗干扰能力。