基于深度学习的垃圾邮件文本分类方法

文中旨在研究基于深度学习的垃圾邮件文本分类方法,该方法结合了卷积神经网络（CNN）和循环神经网络（RNN）的模型,通过对邮件文本进行特征提取和分类,能高效、准确地对垃圾邮件进行分类。文中以卷积神经网络和循环神经网络为实验对象,提出了一种垃圾邮件文本分类方法,并在公开数据集上进行了实验。实验结果表明,该方法在垃圾邮件文本分类任务上具有较高的准确率和召回率。     

基于混合神经网络的语言文本分类方法

对数据进行分类处理是当前的研究热点,采用传统机器学习算法对英语文本进行分类有文本特征不明显、训练周期长、词序丢失等诸多缺点.针对传统机器学习算法的不足,文中对Word2vec算法和TF-IDF算法进行融合,生成改进的TF-Word算法.同时应用卷积神经网络组成混合神经网络模型实现文本分类,该方法可以有效提高传统文本分类...     

基于神经网络的文本分类

文章针对基于深度神经网络的方法给出一些具有代表性的文本分类模型,即基于词向量合成的模型、基于RNN/CNN的模型和基于注意力机制的模型,并阐述其基本思想。     

基于LSTM-Attention神经网络的文本特征提取方法

针对当前文本分类神经网络不能充分提取词语与词语和句子与句子之间的语义结构特征信息的问题,提出一种基于LSTM-Attention的神经网络实现文本特征提取的方法。首先,分别使用LSTM网络对文本的词语与词语和句子与句子的特征信息进行提取;其次,使用分层的注意力机制网络层分别对文本中重要的词语和句子进行选择;最后,将网络逐层提取得到的文本特征向量使用softmax分类器进行文本分类。实验结果表明,所提方法可以有效地提取文本的特征,使得准确率得到提高。将该方法应用在IMDB,yelp2013和yelp2014数据集上进行实验,分别得到52.4%,66.0%和67.6%的正确率。     

基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题.采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度.该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神经网络(CNN)模型的优势获取多领域文本间的相关性、文本长期依赖关系、提取文本的局部特征.基于多领域文本分类数据集进行丰富的实验,该文提出的循环卷积多任务学习模型(MTL-LC)不同领域的文本分类平均准确率达到90.1％,比单任务学习模型循环卷积单任务学习模型(STL-LC)提升了6.5％,与当前热门的多任务学习模型完全共享多任务学习模型(FS-MTL)、对抗多任务学习模型(ASP-MTL)、间接交流多任务学习框架(IC-MTL)相比分别提升了5.4％,?4％和2.8％.     

基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题.采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度.该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神...     

基于卷积注意力机制的电视节目评论情感分析方法研究

本文提出一个基于卷积注意力机制的文本分类方法,该方法利用卷积神经网络抓取上下文信息,自适应生成注意力权重,并与LSTM模型相融合进行分类。在IMDB影评分类测试中,本文所提方法的分类准确率比基准模型高3.6%,证明了本文所提方法的有效性。     

基于多视角融合的细粒度图像分类方法

细粒度图像分类的目标是区分同一个常见类下的不同子类,由于数据集往往存在较大的类内差异和较大的类间相似性,细粒度图像分类相比于传统图像分类具有更大的挑战性。以往工作中,基于组件的方法和基于注意力的方法致力于挖掘图像中的判别力区域,而忽视了用来区分易混淆类别的微弱差异。为了解决以上问题,本文提出了一个基于多视角融合的细粒度图像分类方法,包含两个分支,其中一个分支基于特征图挖掘图像的局部特征,另一个分支则学习图像的全局特征。同时引入一种嵌入损失,与传统多分类交叉熵损失函数结合增强特征的判别性,进而提升模型的分类性能。所提方法仅使用图像级标签,在CUB-200-2011,Stanford Cars和FGVC Aircraft这三个基准数据集上的分类准确率分别达到了88.3%,94.3%和92.4%,实验结果表明所提方法相比其它细粒度图像分类方法具有一定的优越性。      

基于Attention-CTC的自然场景文本识别算法

针对自然场景下文本识别所存在的字符分割困难、识别精度依赖字典等问题,文中提出了一种基于注意力机制与连接时间分类损失相结合的文本识别算法。利用卷积神经网络与双向长短时期记忆网络实现对图像的特征编码,再使用Attention-CTC结构实现对特征序列的解码,有效解决Attention解码无约束的问题。该算法避免了对标签进行额外对齐预处理和后续语法处理,在加快训练收敛速度的同时显著提高了文本识别率。实验结果表明,该算法对字体模糊、背景复杂的文本图像都具有很好的鲁棒性。     

基于类别注意力卷积网络的地物分类方法

在近期的研究发展中,语义分割取得了巨大的进步。但大多数方法都是从空间角度出发,来获取更加丰富的上下文信息。与以往的方法不同,本文提出了一种基于类别注意机制的特征融合方法,从类别角度出发,来获取全局上下文信息,并与其他特征信息进行融合,这种方法能够更好地表示图像中各类目标的特征,具有更好的类内聚合性。为此,本文使用了一种ACF（类别注意力特征）模块,以计算和构建图像中各类目标的类别中心,以此为基础得到了一个基于类别注意力的多特征融合语义分割网络,以实现更好的地物分类性能。算法使用ISPRS数据集进行实验,与其他算法进行对比,本文方法具有更好的性能表现。      

基于语义理解注意力神经网络的多元特征融合中文文本分类

在中文文本分类任务中,针对重要特征在中文文本中位置分布分散、稀疏的问题,以及不同文本特征对文本类别识别贡献不同的问题,该文提出一种基于语义理解的注意力神经网络、长短期记忆网络(LSTM)与卷积神经网络(CNN)的多元特征融合中文文本分类模型(3CLA)。模型首先通过文本预处理将中文文本分词、向量化。然后,通过嵌入层分别经过CNN通路、LSTM通路和注意力算法模型通路以提取不同层次、具有不同特点的文本特征。最终,文本特征经融合层融合后,由softmax分类器进行分类。基于中文语料进行了文本分类实验。实验结果表明,相较于CNN结构模型与LSTM结构模型,提出的算法模型对中文文本类别的识别能力最多提升约8%。     

基于多通道注意力机制的文本分类模型

为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后利用CNN和BiLSTM提取文本的局部特征和上下文关联信息,接着以注意力机制对各通道的输出...     

基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

基于多类型池化卷积神经网络的文本分类

为了解决传统的基于机器学习方法的文本分类耗时耗力、不具备通用性、效果不好的问题及提高短文本分类的效果,文章提出了一种基于多类型池化的卷积神经网络分类方法.文章首先使用CNN(卷积神经网络)提取短文本的特征信息,然后利用多种类型的池化操作对提取的特征信息进行筛选,得到最终的分类依据.通过实验表明,文章提出的方法在短文本分...     

基于深度学习的文本分类研究综述

与传统的机器学习模型相比，深度学习模型试图模仿人的学习思路，通过计算机自动进行海量数据的特征提取工作。文本分类是自然语言处理中的一个重要应用，在文本信息处理过程中具有关键作用。过去几年，使用深度学习方法进行文本分类的研究激增并取得了较好效果。文中简要介绍了基于传统模型的文本分类方法和基于深度学习的文本分类方法，回顾了先进文本分类方法并重点关注了其中基于深度学习的模型，对近年来用于文本分类的深度学习模型的研究进展以及成果进行介绍和总结，并对深度学习在文本分类领域的发展趋势和研究的难点进行了总结和展望。     

基于卷积注意力门控循环网络的加密流量分类方法

流量加密技术给流量分类带来了新的挑战,为实现加密流量的快速准确分类,提出了一种基于卷积注意力门控循环网络的加密流量分类方法.将卷积神经网络和门控循环单元相结合,针对流量数据的特点,修改卷积神经网络的池化层以提取单个数据包特征,通过注意力机制寻找单个数据包的关键特征并赋予高权重;然后采用门控循环单元提取流层面数据包间的时...     

基于CNNCIFG-Attention模型的文本情感分类

神经网络在处理中文文本情感分类任务时,文本显著特征提取能力较弱,学习速率也相对缓慢.针对这一问题,文中提出一种基于注意力机制的混合网络模型.首先对文本语料进行预处理,利用传统的卷积神经网络对样本向量的局部信息进行特征提取,并将其输入耦合输入和遗忘门网络模型,用以学习前后词句之间的联系.随后,再加入注意力机制层,对深层次...     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.     

融合注意力机制的多标签文本分类

多标签文本分类的结果很大程度上受到标签相关性的影响.为了更加细致地处理标签相关性问题,提出一种融合注意力机制的多标签文本分类方法.首先,将文本和标签预处理后,对标签输入采用两种不同的嵌入方式提取特征;其次,运用注意力机制处理信息,针对文本和标签信息,自注意力机制进行特征处理,标签注意力机制和交互注意力机制进行依赖关系处理,进而得到两种不同状态下的表示方式;最后,通过两次融合,充分表示文本标签信息,得到较好的标签分类结果.实验结果显示,较之于基线方法,在精度和归一化折损累计增益上,该方法数据总体有所提高.由此,该方法可以有效地融合文本和标签信息,缓解标签相关性问题,有利于提升多标签文本分类任务性能.