基于多尺度特征融合的恶意HTTP请求检测方法

针对当前网络环境中恶意HTTP请求攻击泛滥的问题,提出了一种多尺度特征融合的检测方法。首先从单词级和字符级两个尺度对HTTP请求进行建模,然后使用卷积神经网络提取其高阶语义特征;再借助多尺度特征融合技术,学习HTTP请求的多尺度公共向量表示;最后使用线性分类器进行分类。实验结果表明该方法性能在HTTP CSIC 2010数据集和WAF真实数据集上优于现有方法。     

联合Fisher核编码和卷积神经网络的影像场景分类

针对高分辨率遥感影像场景分类中使用中、低层特征不能有效表达高分影像的语义信息,造成分类精度不高的问题,提出了一种联合Fisher核编码和卷积神经网络的高分影像场景分类方法。首先利用Fisher核编码框架提取影像的中层语义特征,然后利用深度卷积神经网络提取影像高层语义特征,最后融合中、高层特征利用支持向量机进行分类。实验采用迁移学习方法来克服深度卷积神经网络对训练数据量的需求。实验数据采用UC-Merced 21类和WHURS 19类2个高分影像数据集。实验结果表明,中、高层融合特征包含更丰富的场景信息,增加了目标的可区分性,相比已有方法,该方法能够有效提高分类精度;迁移学习方法能够克服深度卷积神经网络对训练数据量的依赖性。     

基于边缘的双路卷积神经网络及其可视化

为提高小尺度复杂图像识别准确率,通过对LeNet-5卷积神经网络并入一个新通道,让其处理与边缘有关的信息。结合两种通道产生的不同特征构造分类器,提出一种基于边缘的双路卷积神经网络,对小尺度复杂数据集进行识别。在包含10类产品数据上分类的结果表明,双路卷积神经网络的识别准确率远高于传统网络。最后通过神经网络可视化算法对双路卷积神经网络进行了可视化分析。     

基于重构误差的同构图分类模型

目前深度学习方法应用于图分类模型的重点集中在将卷积神经网络迁移到图数据领域,包括重定义卷积层和池化层。卷积操作泛化到图数据上是有效的方法,但无论是卷积还是池化都存在较大的改进空间,尤其是在提取网络拓扑结构信息方面。提出一种基于重构误差的同构图分类模型,一方面利用改进的同构图卷积网络WaveGIC增强提取拓扑结构信息能力;另一方面利用多重注意力机制表征全图,使得模型能够关注关键节点信息。由于网络加深过程,局部拓扑结构的特征表达越来越不明显。在分类损失基础上添加重构误差损失,使分类器同时考虑图的节点特征和拓扑结构。在基准数据集上的实验结果表明,提出的方法具有较高的图分类准确度。     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

基于改进TF-IDF和ABLCNN的中文文本分类模型

文本分类是自然语言处理领域中的重要内容,常用于信息检索、情感分析等领域.针对传统的文本分类模型文本特征提取不全面、文本语义表达弱的问题,提出一种基于改进TF-IDF算法、带有注意力机制的长短期记忆卷积网络(Attention base on Bi-LSTM and CNN,ABLCNN)相结合的文本分类模型.该模型首先利用特征项在类内、类间的分布关系和位置信息改进TF-IDF算法,突出特征项的重要性,并结合Word2vec工具训练的词向量对文本进行表示;然后使用ABLCNN提取文本特征,ABLCNN结合了注意力机制、长短期记忆网络和卷积神经网络的优点,既可以有重点地提取文本的上下文语义特征,又兼顾了局部语义特征;最后,将特征向量通过softmax函数进行文本分类.在THUCNews数据集和online_shopping_10_cats数据集上对基于改进TF-IDF和ABLCNN的文本分类模型进行实验,结果表明,所提模型在两个数据集上的准确率分别为97.38％和91.33％,高于其他文本分类模型.     

基于深度学习的软件缺陷预测模型

为了提高软件的可靠性,软件缺陷预测已经成为软件工程领域中一个重要的研究方向.传统的软件缺陷预测方法主要是设计静态代码度量,并用机器学习分类器来预测代码的缺陷概率.但是,静态代码度量未能充分考虑到潜藏在代码中的语义特征.根据这种状况,本文提出了一种基于深度卷积神经网络的软件缺陷预测模型.首先,从源代码的抽象语法树中选择合适的结点提取表征向量,并构建字典将其映射为整数向量以方便输入到卷积神经网络.然后,基于GoogLeNet设计卷积神经网络,利用卷积神经网络的深度挖掘数据的能力,充分挖掘出特征中的语法语义特征.另外,模型使用了随机过采样的方法来处理数据分类不均衡问题,并在网络中使用丢弃法来防止模型过拟合.最后,用Promise上的历史工程数据来测试模型,并以AUC和F1-measure为指标与其他3种方法进行了比较,实验结果显示本文提出的模型在软件缺陷预测性能上得到了一定的提升.     

基于注意力机制与情感的多通道RCNN和ON-LSTM模型

近年来在方面级情感分析任务上,基于卷积神经网络和循环神经网络的模型取得了不错的效果,但仍存在着文本长距离依赖问题.有序神经元长短时记忆(ON-LSTM)可建模句子的层级结构,解决文本长距离依赖问题,但会忽略文本局部特征.区域卷积神经网络(RCNN)能提取文本不同区域的局部特征,却无法有效提取文本的上下文语义,而且现有模型均未考虑到情感词与句子上下文的联系.针对这些问题,本文提出一种基于注意力机制与情感的多通道RCNN和ON-LSTM的神经网络模型(MCRO-A-S).首先,向上下文词向量中融入情感特征向量,弥补仅使用上下文词向量作为模型输入的不足.其次,结合RCNN模型提取文本局部特征与ON-LSTM模型提取文本上下文语义信息的优势,可有效提高模型特征提取能力.最后,利用注意力机制融合语义信息,给予情感词更多的关注.在SemEval 2014两个数据集和Twitter数据集上验证模型的有效性,取得了比其他模型更好的分类效果.     

基于一维卷积混合神经网络的文本情感分类

针对情感分类中传统二维卷积模型对特征语义信息的损耗以及时序特征表达能力匮乏的问题，提出了一种基于一维卷积神经网络（CNN）和循环神经网络（RNN）的混合模型。首先，使用一维卷积替换二维卷积以保留更丰富的局部语义特征；再由池化层降维后进入循环神经网络层，整合特征之间的时序关系；最后，经过softmax层实现情感分类。在多个标准英文数据集上的实验结果表明，所提模型在SST和MR数据集上的分类准确率与传统统计方法和端到端深度学习方法相比有1至3个百分点的提升，而对网络各组成部分的分析验证了一维卷积和循环神经网络的引入有助于提升分类准确率。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题，提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先，借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本；然后，为降低噪声，采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量，再将隐藏层向量输入到卷积神经网络（CNN）中，从而生成文本分类特征向量；最后，为提升分类的优化效果，将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比，实验结果表明，改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%，验证了改进模型的有效性。     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务。通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果。但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题。提出一种新的模型,利用双向长短时记忆网络（Bi_LSTM）和卷积神经网络（CNN）混合提取文本的上下文语义信息和局部特征信息去丰富图卷积网络（GCN）的文本表示,从而弥补图卷积网络的不足,同时使用图池化层筛选出重要节点帮助卷积神经网络捕获文本深层局部特征信息,使得模型能更好的表示文本信息。通过在3个英文数据集上的实验结果表明,该模型相比于基线模型有较好的分类效果。     

结合自注意力机制的神经网络文本分类算法研究

在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A。注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入。实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35%的分类正确率,比Bi-LSTM(94.75%)、Bi-GRU(94.25%)、TextCNN(93.31%)、RCNN(95.75%)具有更好的文本分类表现。通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能。     

融合多头自注意力机制的中文短文本分类模型

针对中文短文本缺乏上下文信息导致的语义模糊从而存在的特征稀疏问题,提出了一种融合卷积神经网络和多头自注意力机制（CNN-MHA）的文本分类模型。首先,借助现有的基于Transformer的双向编码器表示（BERT）预训练语言模型以字符级向量形式来格式化表示句子层面的短文本;然后,为降低噪声,采用多头自注意力机制（MHA）学习文本序列内部的词依赖关系并生成带有全局语义信息的隐藏层向量,再将隐藏层向量输入到卷积神经网络（CNN）中,从而生成文本分类特征向量;最后,为提升分类的优化效果,将卷积层的输出与BERT模型提取的句特征进行特征融合后输入到分类器里进行再分类。将CNN-MHA模型分别与TextCNN、BERT、TextRCNN模型进行对比,实验结果表明,改进模型在搜狐新闻数据集上的F1值表现和对比模型相比分别提高了3.99%、0.76%和2.89%,验证了改进模型的有效性。     

多尺度方法结合卷积神经网络的行为识别

为了同时计算行为序列样本在时间和空间的特征,提出了一种基于包含多尺度卷积算子的卷积神经网络识别模型。首先通过叠加的方式将序列样本中的骨骼向量信息整合为一个行为矩阵,然后将矩阵输入识别模型。为了挖掘具有不同邻接关系的骨骼点在描述人体行为时的作用,将卷积神经网络各层中的卷积算子拓展为多尺度卷积算子,并使用该网络得到的特征进行分类。实验在MSR-Action3D数据集和HDM05数据集获得较好的识别率。     

基于改进词性信息和ACBiLSTM的短文本分类

中文短文本分类最重要的是提取和表示短文本特征,传统的表示方法静态训练词向量,存在特征稀疏、语义不足等问题,对此提出一种基于改进词性信息和ACBiLSTM的中文短文本分类模型.用BERT模型动态训练词向量,引入词性因子优化,将得到的具有词性信息的词向量作为输入层信息;经过卷积神经网络初步提取局部特征,通过双向长短时记忆网络进一步得到具有上下文时序信息的中间向量表示;结合注意力机制,突显关键信息,获得最终文本特征表示.在FudanNews、SougouNews及THUCNews数据集上将该模型与其他模型进行对比,实验结果表明,其准确率和F1值显著提高.     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

基于双池化特征加权结构CNN的图像分类

传统的池化方式会造成特征信息丢失,导致卷积神经网络中提取的特征信息不足。为了提高卷积神经网络在图像分类过程中的准确率,优化其学习性能,本文在传统池化方式的基础上提出一种双池化特征加权结构的池化算法,利用最大池化和平均池化2种方式保留更多的有价值的特征信息,并通过遗传算法对模型进行优化。通过训练不同池化方式的卷积神经网络,研究卷积神经网络在不同数据集上的分类准确率和收敛速度。实验在遥感图像数据集NWPU-RESISC45和彩色图像数据集Cifar-10上对采用几种池化方式的卷积神经网络分类结果进行对比验证,结果分析表明：双池化特征加权结构使得卷积神经网络的分类准确率有很大程度的提高,同时模型的收敛速度得到进一步提高。     

基于元学习的不平衡少样本情况下的文本分类研究

针对文本信息语义、语境迁移难问题,该文提出一种基于元学习与注意力机制模型的动态卷积神经网络改进方法.首先利用文本的底层分布特征进行跨类别分类,使文本信息具有更好的迁移性;其次使用注意力机制对传统的卷积网络进行改进,以提高网络的特征提取能力,并根据原始数据集信息进行编码,生成平衡变量,降低由于数据不平衡所带来的影响;最后...     

基于多样化特征卷积神经网络的情感分析

深度网络模型在微博情感倾向性分析过程中难以有效利用情感特征信息,为此,提出一种基于多样化特征信息的卷积神经网络(MF-CNN)模型。结合词语多样化的抽象特征和2种网络输入矩阵计算方法,利用句中的情感信息,以优化情感分类效果。在COAE2014和微博语料数据集上进行文本情感分析,结果表明,MF-CNN模型的情感分类效果优于传统的分类器和深度卷积神经网络模型。