基于卷积递归模型的文本分类研究

近年来卷积神经网络和循环神经网络在文本分类领域得到了越来越广泛的的应用。提出一种卷积神经网络和长短时记忆网络特征融合的模型,通过长短期记忆网络作为池化层的替代来获得长期依赖性,从而构建一个联合CNN和RNN的框架来克服单卷积神经网络忽略词语在上下文中语义和语法信息的问题。所提出的方法在减少参数数量和兼顾文本序列全局特征方面起着重要作用,实验结果表明,可以通过更小的框架来实现相同级别的分类性能,并且在准确率方面超越了同类型的其他几种方法。     

基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

基于堆叠模型的司法短文本多标签分类

司法文书短文本的语义多样性和特征稀疏性等特点,对短文本多标签分类精度提出了很大的挑战,传统单一模型的分类算法已无法满足业务需求.为此,提出一种融合深度学习与堆叠模型的多标签分类方法.该方法将分类器划分成两个层次,第一层使用BERT、卷积神经网络、门限循环单元等深度学习方法作为基础分类器,每个基础分类器模型通过K折交叉验...     

基于BGRU池的卷积神经网络文本分类模型

针对深度学习在处理文本分类问题时存在的适应度小、精确度较低等问题,提出一种采用双向门控循环单元(BGRU)进行池化的改进卷积神经网络模型。在池化阶段,将BGRU产生的中间句子表示与由卷积层得到的局部表示进行对比,将相似度高的判定为重要信息,并通过增大其权重来保留此信息。该模型可以进行端到端的训练,对多种类型的文本进行训练,适应性较强。实验结果表明,相较于其他同类模型,提出的改进模型在学习能力上有较大优势,分类精度也有显著提高。     

一种循环卷积注意力模型的文本情感分类方法

情感分类对推荐系统、自动问答、阅读理解等下游应用具有重要应用价值,是自然语言处理领域的重要研究方向。情感分类任务直接依赖于上下文,包括全局和局部信息,而现有的神经网络模型无法同时捕获上下文局部信息和全局信息。文中针对单标记和多标记情感分类任务,提出一种循环卷积注意力模型(LSTM-CNN-ATT,LCA)。该模型利用注意力机制融合卷积神经网络(Convolutional Neural Network,CNN)的局部信息提取能力和循环神经网络(Recurrent Neural Network,RNN)的全局信息提取能力,包括词嵌入层、上下文表示层、卷积层和注意力层。对于多标记情感分类任务,在注意力层上附加主题信息,进一步指导多标记情感倾向的精确提取。在两个单标记数据集上的F1指标达到82.1%,与前沿单标记模型相当;在两个多标记数据集上,小数据集实验结果接近基准模型,大数据集上的F1指标达到78.38%,超过前沿模型,表明LCA模型具有较高的稳定性和较强的通用性。     

基于fcmpCNN模型的网络文本情感多分类标注

由于微博等网络文本所含的上下文信息有限,网络文本情感分析更具有挑战性。针对网络文本情感分析,提出了一种基于全卷积—多池化单元的卷积神经网络模型,实现情感多分类标注。无需手动指定多种上下文窗口大小和尽量保留文本的多层次语义,模型通过堆叠多级全卷积—多池化单元,提取出文本特征向量。该文本特征向量包含多个抽象级别、多种上下文窗口大小和不同层次语义的文本特征。模型最后基于此向量计算情感多分类标注。实验表明：模型的网络文本情感多分类标注正确率达到56.3%,与同类模型比较,提高了情感多分类标注的正确率。     

基于跨连卷积神经网络的性别分类模型

为提高性别分类准确率, 在传统卷积神经网络(Convolutional neural network, CNN)的基础上, 提出一个跨连卷积神经网络(Cross-connected CNN, CCNN)模型. 该模型是一个9层的网络结构, 包含输入层、6个由卷积层和池化层交错构成的隐含层、全连接层和输出层, 其中允许第2个池化层跨过两个层直接与全连接层相连接. 在10个人脸数据集上的性别分类实验结果表明, 跨连卷积网络的准确率均不低于传统卷积网络.     

基于融合机制的多模型神经网络人物群体分类模型

有效识别图像或视频中人物的不同群体, 是进行图像智能分析的重要环节, 归根结底是研究如何获取图像中的“有效特征”. 本文以卷积神经网络模型为基础模型, 提出多模型融合卷积神经网络的方法, 利用ImageNet训练得到的模型参与本文神经网络模型的权值初始化, 在有效节省时间和计算资源成本的前提下获取更多有效的特征. 实验结果证明, 本模型对于自然场景中的个体分类中成年男性、成年女性、儿童识别准确率可以保持在85%左右, 提高了人物群体分类的准确度和可靠度.     

基于短语注意机制的文本分类

基于词注意机制的双向循环神经网络在解决文本分类问题时,存在如下问题:直接对词加权生成文本表示会损失大量信息,从而难以在小规模数据集上训练网络。此外,词必须结合上下文构成短语才具有明确语义,且文本语义常常是由其中几个关键短语决定,所以通过学习短语的权重来合成的文本语义表示要比通过学习词的权重来合成的更准确。为此,该文提出一种基于短语注意机制的神经网络框架NN-PA。其架构是在词嵌入层后加入卷积层提取N-gram短语的表示,再用带注意机制的双向循环神经网络学习文本表示。该文还尝试了五种注意机制。实验表明: 基于不同注意机制的NN-PA系列模型不仅在大、小规模数据集上都能明显提高分类正确率,而且收敛更快。其中,模型NN-PA1和NN-PA2明显优于主流的深度学习模型,且NN-PA2在斯坦福情感树库数据集的五分类任务上达到目前最高的正确率53.35%。     

基于CBLSTM算法的脑电信号特征分类

由于传统的脑电信号分类方法识别率较低,且识别率随着脑电信号类别的增加逐渐下降,针对脑电信号时空特征结合的特点,设计了一个多层的卷积双向LSTM型递归神经网络（CBLSTM）分类模型。此分类模型利用多层的卷积神经网络有效提取脑电序列的频域特征,采用双向LSTM提取脑电信号的时域特征,并将脑电信号序列逐帧输入到此分类模型中进行标记,最后输出分类结果。对比研究验证了所提出方法的可行性,实验表明此分类模型平均分类识别率得到了提高,且鲁棒性较好。     

基于循环卷积神经网络的藏文句类识别

句子是语言的最小使用单位,句类识别是为了进一步细化句法和句义研究。由于藏文句尾通常没有特殊的标点符号来识别不同句类,因此这一藏文语言特性就变成了一大难题。该文提出了基于语境和功能特征为一体的句子用途分类方案。首先,该文介绍了文法中藏文句子分类及其特征。其次,收集了大量藏文句子并对其进行了人工标注。最后,采用循环卷积神经网络对藏文句类进行了自动识别。实验表明,该模型对藏文句类识别有较为显著的效果。     

GCN-PU:基于图卷积网络的PU文本分类算法

针对PU（Positive and Unlabeled）文本分类问题,提出了一种基于图卷积网络的PU文本分类算法（GCN-PU）,基本思想是给未标注样本加以不同的损失权重。将未标注样本全部视为负类样本,用以训练基于卷积神经网络的文本分类器;取卷积神经网络的倒数第二层的向量为文本的特征向量,以及对应的类别概率,作为图卷积网络的输入;利用图卷积网络得出的类别概率计算每个未标注样本的损失权重,重新训练文本分类器。不断重复上述三个步骤,直到算法参数稳定。在公开数据集20newsgroup上的实验结果表明,GCN-PU算法优于现有的方法,尤其在正类样本较少的情况下。     

基于轻量级深层卷积神经网络的花卉图像分类系统

为解决深层卷积神经网络（Deep convolutional neural network, DCNN）模型在算力弱、存储成本高的AI边缘计算设备上难以高效应用的现实问题,本文利用重量级网络辅助训练轻量级网络,设计了一种基于轻量级神经网络的花卉图像分类系统。首先利用重量级DCNN并结合迁移学习、爬虫技术与最大连通区域分割方法,构建了适用于轻量级网络训练的扩充花卉数据集。然后基于Tiny-darknet与Darknet-reference两种网络及扩充后的花卉数据集训练得到两种面向弱算力设备的轻量级DCNN模型。训练得到的两种花卉分类网络在Oxford102花卉数据集上的平均分类准确率可达98.07%与98.83%,模型大小分别为4 MB与28 MB,在AI边缘计算设备中具有较好的应用前景。     

基于卷积神经网络的T波形态分类

T波形态分类有助于诊断心肌缺血、急性心包炎和心脏猝死等疾病,是心电图远程监控中一个重要的研究课题.传统的T波分类算法依赖于T波检测,在准确定位T波的关键点之后再提取T波特征,完成分类.但是由于T波位置可能发生一定程度偏移,T波的形态多变且受到多种噪声的干扰,T波检测是一个难题.为了解决上述问题,本文提出基于卷积神经网络的T波分类算法:首先根据QRS波群位置及医学统计规律确定一个T波候选段,然后采用卷积神经网络直接完成T波分类.由于卷积神经网络有稀疏连接、权值共享的特性,能够通过训练自动获取T波特征,并且其特征对微小平移具备不变性且对噪声不敏感,从而能够有效解决T波形态分类问题.最后在MIT-BIH QT心电数据库上对本文方法进行测试,实验结果表明,本文方法可以在T波起始点未确定的情况下,能够识别单峰直立、单峰倒置、低平、负正双向、正负双向五类T 波形态,正确率达到了99.1%.     

基于迁移学习的人脸姿态分类方法

人脸姿态分类在智能人机交互、虚拟现实、智能控制以及人脸识别等多个领域都有广泛的应用。由于人脸姿态分类过程中存在不同角度间特征重叠率高的问题,导致其分类精度过低。为提高人脸姿态分类的准确率与鲁棒性,提出了基于迁移学习的人脸姿态分类方法。该方法利用卷积神经网络的特征提取和学习能力,对特征进行识别和分类,从而得到单方向人脸姿态的训练参数。利用迁移学习,将卷积神经网络训练好的参数应用于训练两个方向的人脸姿态模型中。使用该方法在CAS-PEAL数据集上进行了实验,最终结果的准确率达到98. 7%,并且与AlexNet、VGGNet和ResNet等网络模型做对比实验,得到了更好的人脸姿态分类效果。实验结果表明,所提出的方法显著提高了人脸姿态分类的准确率与鲁棒性。