基于注意力机制和双通道神经网络的文本情感分析

深度学习网络对文本情感分析具有重要意义,通过神经网络可以深层次挖掘文本信息,捕获文本情感。针对单模型神经网络结构单一、无法充分提取文本特征的问题,首先提出一种融合注意力机制的双通道复合神经网络(Attention-DRNN),在嵌入层利用word2vec方法进行层嵌入,融入注意力机制对输入词向量进行动态加权。其次,采用双通道结构,利用Text-CNN提取文本局部特征、Bi-LSTM提取文本全局特征,并进行特征融合。然后,通过softmax分类器进行分类。最后,在两个标准数据集上进行测试,通过与LSTM、Bi-LSTM、RNN、Text-CNN单模型神经网络进行对比实验。实验表明Attention-DRNN网络在情感分类任务上具有较好的效果。     

融合多头注意力机制和BiLSTM的电商评论情感分析研究

针对电商评论数据缺乏深层次的情感分析和语义知识关联,不利于系统挖掘潜在的消费情感和客户满意度信息问题,以京东电商评论数据为例,提出一种融合多头注意力机制和双向长短时记忆网络模型(bi-directional long short-term memory,BiLSTM)的电商评论情感分析模型。首先,通过词嵌入将文本数据转化为句向量;其次,构建融合多头注意力机制的BiLSTM模型,利用BiLSTM捕获长距离依赖关系,利用Transformer突出全局关键特征;最后,构建分类器实现电商评论的情感分析。实验结果表明,文章提出方法优于现有的机器学习和深度学习方法,其F₁值为0.927 6。同时,通过详细的对比实验证明了该方法能实现评论文本情感特征的细粒度提取,并能在少样本标注的情况下取得更好的准确率,具有良好的鲁棒性和准确性。     

基于复制和覆盖率机制的生成式文本摘要方法研究

文本自动摘要生成技术将给定的冗长文本数据中的重点信息提取出来组成文本摘要,有利于信息的搜集和后续处理.以序列到序列模型为基础,模型使用双向长短期记忆神经网络作为编码器单元获取上下文相关隐藏状态向量,针对文本摘要生成领域的长期依赖问题、未登录词问题和目标摘要中字词重复问题,分别使用注意力机制、复制机制和覆盖率机制,在中文...     

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F₁分值上分别提高了3.7%和5.1%。     

基于CNNCIFG-Attention模型的文本情感分类

神经网络在处理中文文本情感分类任务时,文本显著特征提取能力较弱,学习速率也相对缓慢.针对这一问题,文中提出一种基于注意力机制的混合网络模型.首先对文本语料进行预处理,利用传统的卷积神经网络对样本向量的局部信息进行特征提取,并将其输入耦合输入和遗忘门网络模型,用以学习前后词句之间的联系.随后,再加入注意力机制层,对深层次...     

基于注意力机制的脑肿瘤分割算法研究

文章针对形状复杂、边界模糊的脑肿瘤难以实现精确分割的问题,提出一种基于卷积注意力机制和Transformer多头注意力机制的U型分割网络。文章首先设计了基于通道注意力和空间注意力的卷积模块,提高了模块对局部关键特征的提取能力;其次使用一种结构更精简的Transformer模块作为网络的瓶颈层,利用其多头注意力机制对全局特征进行充分感知;最后在BraTS 2021数据集上进行了实验。实验结果表明文章算法在增强肿瘤区域、肿瘤核心区域和整个肿瘤区域的Dice系数评分分别为87.51%,90.69%和93.47%,可以有效提高脑肿瘤分割精度。     

基于Transformer的多编码器端到端语音识别

当前广泛使用的Transformer模型具有良好的全局依赖关系捕捉能力,但其在浅层时容易忽略局部特征信息。针对该问题,文中提出了一种使用多个编码器来改善语音特征信息提取能力的方法。通过附加一个额外的卷积编码器分支来强化对局部特征信息的捕捉,弥补浅层Transformer对局部特征信息的忽视,有效实现音频特征序列全局和局部依赖关系的融合,即提出了基于Transformer的多编码器模型。在开源中文普通话数据集Aishell-1上的实验表明,在没有外部语言模型的情况下,相比于Transformer模型,基于Transformer的多编码器模型的字符错误率降低了4.00%。在内部非公开的上海话方言数据集上,文中所提模型的性能提升更加明显,其字符错误率从19.92%降低至10.31%,降低了48.24%。     

基于注意力机制的行人多目标跟踪方法

多目标跟踪(Multi-Object Tracking,MOT)是智能交通和智慧城市的关键技术之一。针对真实场景下行人多目标跟踪困难的问题,提出了一种基于注意力机制的行人多目标跟踪(Pedestrian Multi-Object Tracking based on Self-Attention,PMOT)算法。在特征提取网络增加注意力机制模块,利用Transformer的编码器结构对行人特征的空间信息进行编码以增强行人的局部特征,实现目标关联精度的提升。为了改善由于长时间遮挡导致的行人目标丢失问题,PMOT算法在数据关联中扩展一个参考特征分支,并结合行人运动特征与外观特征的相似度来实现目标匹配。实验结果表明,提出的算法在MOT17数据集上取得77.0%的跟踪准确度,有效提高了行人目标的跟踪效果。     

面向医学图像分割的U型Transformer模型

为了更加准确地根据医学图像进行医学类疾病诊断,可采用U型结构的全卷积神经网络模型对医学图像进行分割,并且可在分割的过程中,引入空间注意力机制和通道注意力机制,分别从空间维度和通道维度提取输入特征图的重要信息和抑制非重要信息。根据该思想,设计了一种基于通道和空间注意力机制的U型Transformer模型（SC U-Transformer）。SC U-Transformer包含编码和解码过程,编码过程使用Swin-Transformer作为编码器,提取上下文特征并实现下采样;解码过程使用包含扩展图像块的对称Swin-Transformer模型,并添加空间注意力模块和通道注意力模块,分别使模型更加关注前景和相关联的特征通道。根据ACDC数据集的实验结果表明,SC U-Transformer能有效提高医学图像分割的准确率。     

基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

基于改进Transformer模型的文本摘要生成方法

传统的文本摘要方法,如基于循环神经网络和Encoder-Decoder框架构建的摘要生成模型等,在生成文本摘要时存在并行能力不足或长期依赖的性能缺陷,以及文本摘要生成的准确率和流畅度的问题。对此,提出了一种动态词嵌入摘要生成方法。该方法基于改进的Transformer模型,在文本预处理阶段引入先验知识,将ELMo(Embeddings from Language Models)动态词向量作为训练文本的词表征,结合此词对应当句的文本句向量拼接生成输入文本矩阵,将文本矩阵输入到Encoder生成固定长度的文本向量表达,然后通过Decoder将此向量表达解码生成目标文本摘要。实验采用Rouge值作为摘要的评测指标,与其他方法进行的对比实验结果表明,所提方法所生成的文本摘要的准确率和流畅度更高。     

基于深度学习的语法纠错算法建模研究

基于基础seq2seq深度学习算法在语法纠错准确率和召回率方面存在的不足,提出了融合Attention机制和Transformer模块的改进型seq2seq语法纠错算法。通过引入Attention机制来记录decoder端和encoder端语言信息,提升信息完整性,采用beam-search和copy机制进行启发式搜索,缓解解空间对机器内存的消耗,利用Transformer模块进行自注意力机制的特征抽取,实现了语句向量数据的扩充并得到可解析上下文纠错。最后选择合适的语料库,对不同的语法纠错算法的准确率、召唤率和F 0.5数据语法纠错效果评价指标进行了比较,结果表明了文中改进的算法模型的有效性,提高了语法纠错的准确率和召回率。     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.     

基于胶囊网络的中长微博情感分析

针对通过微博文本获取用户情感倾向,以提高舆情监控效率的问题。利用深度学习的方法实现微博语料的情感分类,构建符合近年文本长度分布特点的高质量微博情感分类数据集,分析微博文本长度对情感分类的影响。由于中长语料主观性强、句子关联度弱,其检测准确率偏低。针对此问题,本文提出一种基于胶囊网络的中长微博情感分析模型。采用注意力机制,在融合局部特征与全局特征的基础上,利用胶囊向量实现深层情感特征提取,提高中长语料的检测效果。利用本文搜集的数据集进行实验,结果表明,相较于多种深度学习算法,本文模型性能更佳。在不同文本长度语料的对比实验中,伴随着文本长度的增加,分类准确率逐渐降低。相较于传统的LSTM算法,本文模型随文本长度增加效果提升,证明了该模型针对中长微博文本情感分类的可行性。     

基于Transformer和空间注意力的红外与可见光图像融合

目前,已经有很多研究人员将卷积神经网络应用到红外与可见光图像融合任务中,并取得了较好的融合效果。其中有很多方法是基于自编码器架构的网络模型,这类方法通过自监督方式进行训练,在测试阶段需要采用手工设计的融合策略对特征进行融合。但现有的基于自编码器网络的方法很少能够充分地利用浅层特征和深层特征,而且卷积神经网络受到感受野的限制,建立长距离依赖较为困难,因而丢失了全局信息。而Transformer借助于自注意力机制,可以建立长距离依赖,有效获取全局上下文信息。在融合策略方面,大多数方法设计的较为粗糙,没有专门考虑不同模态图像的特性。因此,在编码器中结合了CNN和Transformer,使编码器能够提取更加全面的特征。并将注意力模型应用到融合策略中,更精细化地优化特征。实验结果表明,该融合算法相较于其他图像融合算法在主观和客观评价上均取得了优秀的结果。     

文本情感文摘自动提取方法研究

为了快速获取网络文本中主题内容和情感信息,提出了文本情感文摘的概念,同时提出了一种基于条件随机场模型的情感文摘提取方法.首先提取文本中的句子长度、提示词以及情感词语作为基本特征,同时应用浅层狄利赫雷分配的主题模型,分析文本潜在主题信息,提取主题特征,将这两类特征同时应用到条件随机场模型中,从而获取文本的情感文摘.实验结果表明,该方法细腻刻画了文本的主题信息,同时考虑了文本主题的情感色彩,文摘提取效果较理想,能满足用户的实际需要.     

基于卷积神经网络与注意力机制的高光谱图像分类

由于浅层卷积神经网络(convolutional neural network,CNN)模型感受野的限制,无法捕获远距离特征,在高光谱图像 (hyperspectral image,HSI) 分类问题中无法充分利用图像空间-光谱信息,很难获得较高精度的分类结果。针对上述问题,本文提出了一种基于卷积神经网络与注意力机制的模型(model based on convolutional neural network and attention mechanism,CNNAM),该模型利用CA (coordinate attention)对图像通道数据进行位置编码,并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取以解决CNN感受野的限制问题。CNNAM在Indian Pines和Salinas两个数据集上得到的总体分类精度分别为97.63%和99.34%,对比于其他模型,本文提出的模型表现出更好的分类性能。另外,本文以是否结合CA为参考进行了消融实验,并证明了CA在CNNAM中发挥重要作用。实验证明将传统CNN与注意力机制相结合可以在HSI分类问题中获得更高的分类精度。     

结合改进Bi-LSTM和CNN的文本情感分析

针对目前用于文本情感分析神经网络非常缺乏的问题,提出了一种级联RNN的体系结构.该体系结构首先将RNN放在全局平均池化层上,用于捕获与CNN之间的长期依赖关系,然后通过GloVe嵌入方法对词向量进行处理,最终作为输入数据,进行训练.该方法与Twitter语料库中的基线模型相比,实验表现出更好的情感分类效果,该方法在Tw...     

Study of Sentiment Classification for Chinese Microblog Based on Recurrent Neural Network

The sentiment classification of Chinese Microblog is a meaningful topic. Many studies has been done based on the methods of rule and word-bag, and to understand the structure information of a sentence will be the next target. We proposed a sentiment classifica-tion method based on Recurrent neural network (RNN). We adopted the technology of distributed word represen-tation to construct a vector for each word in a sentence;then train sentence vectors with fixed dimension for dif-ferent length sentences with RNN, so that the sentence vectors contain both word semantic features and word se-quence features; at last use softmax regression classifier in the output layer to predict each sentence’s sentiment ori-entation. Experiment results revealed that our method can understand the structure information of negative sentence and double negative sentence and achieve better accuracy. The way of calculating sentence vector can help to learn the deep structure of sentence and will be valuable for dif-ferent research area.