基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

基于Transformer和多通道卷积神经网络的情感分析研究

文本情感分析是自然语言处理的经典领域之一.文中提出了一种基于transformer特征抽取器联合多通道卷积神经网络的文本情感分析的模型.该模型使用transformer特征提取器在传统Word2vector,Glove等方式训练的静态词向量的基础上来进行单词的分层、动态表示,针对特定数据集采用Fine-Tuning方式来进行训练有效提升了词向量的表征能力.多通道卷积神经网络考虑了不同大小范围内词序列之间的依赖关系,有效进行特征抽取并达到降维的目的,能够有效捕捉句子的上下文语义信息,使模型捕获更多的语义情感信息,提升文本的语义表达能力,通过Softmax激活函数达成情感倾向分类的目标.模型分别在IMDb和SST-2电影评论数据集上进行实验,测试集上准确率达90.4％和90.2％,这明所提模型较传统词嵌入结合CNN或RNN的模型在分类精确度上有了一定程度的提升.     

基于卷积循环神经网络的关系抽取

关系抽取是信息抽取领域一项十分具有挑战性的任务,用于将非结构化文本转化为结构化数据。近年来,卷积神经网络和循环神经网络等深度学习模型,被广泛应用于关系抽取的任务中,且取得了不错的效果。卷积网络和循环网络在该任务上各有优势,且存在一定的差异性。其中,卷积网络擅长局部特征提取,循环网络能够捕获序列整体信息。针对该现象,该文综合卷积网络抽取局部特征的优势和循环网络在时序依赖中的建模能力,提出了卷积循环神经网络(convolutional recurrent neural network,CRNN)。该模型分为三层: 首先针对关系实例抽取多粒度局部特征,然后通过聚合层融合不同粒度的特征,最后利用循环网络提取特征序列的整体信息。此外,该文还探究多种聚合策略对信息融合的增益,发现注意力机制对多粒度特征的融合能力最为突出。实验结果显示,CRNN优于主流的卷积神经网络和循环神经网络,在SemEval 2010 Task 8数据集上取得了86.52%的F₁值。     

基于LDA和BiGRU的文本分类

文本分类是自然语言处理的基础任务,文本中的特征稀疏性和提取特征所用的神经网络影响后续的分类效果。针对文本中的特征信息不足以及传统模型上下文依赖关系方面不足的问题,提出经过TF-IDF加权的词向量和LDA主题模型相融合,利用双向门控循环神经网络层(BiGRU)充分提取文本深度信息特征的分类方法。该方法主要使用的数据集是天池比赛新闻文本分类数据集,首先用Word2vec和LDA模型分别在语料库中训练词向量,Word2vec经过TF-IDF进行加权所得的词向量再与LDA训练的经过最大主题概率扩展的词向量进行简单拼接,拼接后得到文本矩阵,将文本矩阵输入到BiGRU神经网络中,分别从前后两个反方向提取文本深层次信息的特征向量,最后使用softmax函数进行多分类,根据输出的概率判断所属的类别。与现有的常用文本分类模型相比,准确率、F1值等评价指标都有了较高的提升。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

结合残差BiLSTM与句袋注意力的远程监督关系抽取

实体关系抽取是从非结构化和程序化的海量文本中识别出实体之间的语义关系,为本体构建、智能检索等任务提供数据支持,然而现有远程监督关系抽取方法普遍存在需要大量人工标注语料库、提取特征含有噪声且忽略了实体与句子之间关联关系等问题。提出一种基于残差双向长短时记忆网络（BiLSTM）与句袋内和句袋间注意力机制的关系抽取模型,在将词向量和位置向量作为模型输入的基础上,通过残差BiLSTM网络提取语句与实体词中的长距离文本信息,利用句袋内和句袋间注意力机制对提取到的特征信息进行处理,使模型在远程监督过程中减少实体之间的特征提取噪声,并提高模型识别准确性。在NYT数据集上的实验结果表明,该模型能够充分利用实体与关系特征,平均精确率达到86.2%,相比于将卷积神经网络和分段卷积神经网络作为句子编码器的同类模型具有更好的远程监督关系抽取性能。     

基于BG-DATT-CNN网络的方面级别情感分析

分析句子针对不同方面的情感极性,深入挖掘评论文本中的信息,为企业生产决策提供建议。针对传统方法多考虑单一层面注意力信息,且基于RNN的模型忽略了局部特征的重要性,而基于CNN的模型不能捕捉长距离依赖的信息的问题,提出了基于双重注意力机制的BG-DATT-CNN模型。在特征表示上,利用BERT对句子和方面词分别进行词向量编码,获得文本的深层语义特征。在特征提取上,设计了双重注意力机制,通过计算两类权重获得综合权重,强化文本的上下文相关特征和方面相关特征。在模型构建上,设计了BG-DATT-CNN网络,结合GRU和CNN各自的优势,Bi-GRU层捕捉文本的上下文全局特征,CNN层包括K-Max池化层和TextCNN层,通过两阶段特征提取获取分类的关键信息。在SemEval 2014数据集上的实验表明,与现有的其他模型相比,提出的模型取得了较好的效果。     

基于GLU-CNN和Attention-BiLSTM的神经网络情感倾向性分析

情感分析是自然语言处理领域(NLP)中重要的语义处理任务,目前处理NLP任务的两大主流模型是卷积神经网络(CNN)和循环神经网络(RNN)以及他们的变体。由于自然语言在结构上存在依赖关系,且重要信息可能出现在句子的任何位置。RNN可能会忽略为了解决这些问题,我们提出了一种新的模型ABGC,将Attention机制加入到BiLSTM中,可以更好捕获句子中最重要的局部信息,同时融合添加GLU(非线性单元)的卷积神经网络(CNN),可以更好捕捉文本的全局信息,然后将两种模型提取到的特征融合,既有效避免了LSTM的梯度消失问题,又解决了CNN忽略上下文语义的问题。我们在两种数据集上进行对比实验,实验结果表明ABGC模型可以有效提高文本分类准确率,同时减少运行时间。     

基于大模型的事件抽取技术及军事应用思考

事件抽取旨在从非结构化文本中抽取出结构化事件信息,以便清晰、方便、直观地掌握并利用相关的关键信息。传统机器学习方法依赖于特征工程,利用人工构建的特征来进行事件抽取。而基于深度学习的方法利用CNN、RNN、GNN等深层神经网络通过提取重要特征来展开,但其依赖于大量的标注数据。近年来,研究者开始利用基于Transformer架构的大规模语言模型如BERT、GPT等采用预训练+微调范式来进行事件抽取并取得显著成效。而最近推出的大模型ChatGPT采用预训练+提示学习范式在自然语言处理领域取得显著成效,可以实现高效准确地抽取出关键的事件信息,将其应用到军事领域会产生重大影响。     

基于Bi-LSTM的财金文本情感分类研究

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络(Bi-LSTM)模型。利用双向循环长短时记忆神经网络(Bi-LSTM)提取文本的上下文信息;然后,对已提取的上下文特征利用LSTM进行局部语义特征提取;最后,采用语法规则,构建情感分类器。通过与RNN、Bi-LSTM等单一模型对比。实验结果表明,多层LSTM结构相比传统RNN(循环神经网络)的ROUGE(语义恢复度)值更高,具有较好的学习能力。     

层次化双注意力神经网络模型的情感分析研究

在篇章级的情感分类中由于篇章级文本较长,特征提取较普通句子级分析相对较难,大多方法使用层次化的模型进行篇章文本的情感分析,但目前的层次化模型多以循环神经网络和注意力机制为主,单一的循环神经网络结构提取的特征不够明显。本文针对篇章级的情感分类任务,提出一种层次化双注意力神经网络模型。首先对卷积神经网络进行改进,构建词注意力卷积神经网络。然后模型从两个层次依次提取篇章特征,第一层次使注意力卷积神经网络发现每个句子中的重要词汇,提取句子的词特征,构建句子特征向量;第二层次以循环神经网络获取整个篇章的语义表示,全局注意力机制发现篇章中每个句子的重要性,分配以不同的权重,最后构建篇章的整体语义表示。在IMDB、YELP 2013、YELP 2014数据集上的实验表明,模型较当前最好的模型更具优越性。     

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络（RNN）产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法。所构建模型由三个部分组成：卷积神经网络（CNN）用于图像特征提取,属性提取模型（ATT）用于图像属性提取,而双向长短时记忆（Bi-LSTM）网络用于单词预测。该模型通过提取图像属性信息来增强图像表示,从而精确描述图中事物,并且使用Bi-LSTM捕捉双向语义依赖,从而进行长期的视觉语言交互学习。首先,使用CNN和ATT分别提取图像全局特征与图像属性特征;其次,将两种特征信息输入到Bi-LSTM中生成能够反映图像内容的句子;最后,在Microsoft COCO Caption、Flickr8k和Flickr30k数据集上验证了所提出算法的有效性。实验结果表明,与m-RNN方法相比,所提出的算法在描述性能方面提高了6.8~11.6个百分点。所提算法能够有效地提高模型对图像的语义描述性能。     

Text-CRNN+attention架构下的多类别文本信息分类

迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分类。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后在RNN进行序列特征建模时引入attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失,最后完成时间和空间上的特征提取。实验结果表明,提出的模型较其他模型准确率提升了2%~3%;在提取文本特征时,该模型既保证了数据的局部相关性又起到强化序列特征的有效组合能力。     

基于LSTM型RNN的CAPTCHA识别方法

全自动区分计算机和人的图灵测试(CAPTCHA)是一种基于人工智能难题的网络安全机制。研究CAPTCHA的识别能够使其变得更加安全,并能促进一些人工智能难题的求解。文中首先对现有的CAPTCHA识别方法进行总结和分析,然后提出一种基于长短时记忆(LSTM)型递归神经网络(RNN)进行识别的方法,并对CAPTCHA识别中的特征提取问题进行研究。最后,为进一步提高RNN的识别率,提出一种解码算法。实验结果表明,文中方法是有效的,灰度值对于RNN是一种较好的特征,提出的解码算法能够取得较高的识别率,又有较低的时间复杂度。     

体域网中基于CSI指纹的身份认证算法研究

无线体域网是实现智慧健康的重要基础,但其采集的生理状态等敏感信息在开放的无线信道传输,攻击者容易伪装成合法用户获取用户隐私数据,因而身份认证成为挑战。对此,提出了一种将无线信道特征CSI与递归神经网络（RNN）相结合的身份认证方法,实现体域网中节点的有效身份认证。利用无线体域网中无线信道的物理层特征CSI作为合法节点认证的指纹特征。为了加快认证速度与效率,通过取特定环境下CSI的数据包,将数据包中子载波的特性作为RNN的输入量,训练出RNN模型来快速识别合法节点。通过实验将所提出的身份认证方法与利用RSS作为指纹特征的认证方法进行比较,结果表明所提方法的认证速度更快、准确率更高。     

基于多尺度CNN-RNN的单图三维重建网络

现有基于深度学习的三维重建算法主要从深度网络的单一层进行特征获取,二维图像特征提取不完整,造成三维重建效果不理想。为提高三维重建模型的精度及准确度,充分利用二维图像细节特征,有效转换为三维网络,提出一种基于多尺度CNN-RNN的单图三维重建网络。模型网络主要由三部分组成：二维编码器、转换器及三维编码器。模型借鉴高斯金字塔模型,构建多尺度网络,保留二维图像不同尺度上的特征值,通过RNN将其转换为三维特征。模型使用公共的ShapeNet数据集进行训练和测试,通过前后对比,发现使用多尺度特征提取的方法,模型具有更好的鲁棒性。与现有方法进行对比,本模型在飞机、柜子、汽车、显示器、灯、音响、沙发等模型的三维重建中拥有更好的重建效果。     

ECG signal classification and arrhythmia detection using ELM-RNN

Arrhythmia is a unique type of heart disease which produces inefficient and irregular heartbeat. This is a cardiac disease which is diagnosed through electrocardiogram (ECG) procedure. Several studies have been focused on the speed and accuracy on the learning algorithm by applying pattern recognition, artificial intelligence in the classification algorithm. In this work a novel classification algorithm is planned based on ELM (Extreme Learning Machine) with Recurrent Neural Network (RNN) by using morphological filtering. The popular publicly available ECG arrhythmia database (MIT-BIH arrhythmia DB) is used to express the performance of the proposed algorithm where the level of accuracy is compared with the existing similar types of work. The comparative study shows that performance of our proposed model is much faster than the models working with RBFN (radial basis function network), BPBB(back propagation neural network) and Support Vector Machine. The experimental result with the MIT BIH database with hidden neurons of ELM with RNN, the accuracy is 96.41%, sensitivity 93.62% and specificity 92.66%. The classification methodology follows main four steps the heart beat detection, the ECG feature extraction, feature selection and the construction of the proposed classifier.