基于CNN-SIndRNN的恶意TLS流量快速识别方法

传统浅层机器学习方法在识别恶意TLS流量时依赖专家经验且流量表征不足,而现有的深度神经网络检测模型因层次结构复杂导致训练时间过长。提出一种基于CNN-SIndRNN端到端的轻量级恶意加密流量识别方法,使用多层一维卷积神经网络提取流量字节序列局部模式特征,并利用全局最大池化降维以减少计算参数。为增强流量表征,设计一种改进的循环神经网络用于捕获流量字节长距离依赖关系。在此基础上,采用独立循环神经网络IndRNN单元代替传统RNN循环单元,使用切片并行计算结构代替传统RNN的串行计算结构,并将两种类型深度神经网络所提取的特征拼接作为恶意TLS流量表征。在CTU-Maluware-Capure公开数据集上的实验结果表明,该方法在二分类实验上F1值高达0.965 7,在多分类实验上整体准确率为0.848 9,相比BotCatcher模型训练时间与检测时间分别节省了98.47%和98.28%。     

超图神经网络综述

近年来,图神经网络借助大量数据和超强计算能力在推荐系统和自然语言处理等应用领域取得显著成效,它主要处理具有成对关系的图数据.但许多现实网络中的对象之间的关系是复杂的非成对关系,如科研合作网络、蛋白质网络等.若直接用图结构将这种复杂的关系表示为成对关系,会导致信息丢失.超图是一种灵活的建模工具,可以展现出图无法完整刻画的高阶关系,弥补了图的不足.鉴于此,研究者开始关心如何在超图上设计神经网络,并相继提出应用于下游任务的超图神经网络模型（hypergraph neural network,HGNNs）.故对现有的超图神经网络模型进行综述,首先全面回顾超图神经网络在过去3年的研究历程;其次根据设计超图神经网络采用的方法不同对其进行分类,并详细地阐述代表性的模型;然后介绍了超图神经网络的应用领域;最后总结和探讨了超图神经网络未来的研究方向.     

基于CNN-BIGRU的中文文本情感分类模型

在当今商业领域,对网络评论的情感分类一直是一个比较热门的研究方向,而为了克服传统机器学习方法所构建分类器会产生较大计算开销,精度表现较差的缺点,提出一种基于深度学习模型中卷积神经网络(CNN)与循环神经网络(RNN)模型的情感分类方法。在以往的研究中,卷积神经网络往往被用来提取文本的局部特征信息,但却容易忽视文本的长距离特征,而RNN则往往被用来提取句子的长距离依赖信息,但容易陷入梯度爆炸问题。因此,结合卷积神经网络对于局部特征信息的良好提取能力与循环神经网络对于长距离依赖信息的记忆能力,构建了一个CNN-BIGRU混合模型,用以提取文本的局部特征以及文本的长距离特征。其中循环神经网络模型使用了双向GRU模型,以避免RNN模型的梯度爆炸与梯度消失问题。在谭松波的酒店评论数据集上的实验结果表明,利用该模型,实验分类的准确率比单独使用卷积神经网络模型最高提升了26.3%,比单独使用循环神经网络模型最高提升了7.9%,从而提高了对中文文本情感分类的精度,并减少了计算开销。     

基于混合卷积神经网络和循环神经网络的入侵检测模型

针对电力信息网络中的高级持续性威胁问题,提出一种基于混合卷积神经网络（CNN）和循环神经网络（RNN）的入侵检测模型。该模型根据网络数据流量的统计特征对当前网络状态进行分类。首先,获取日志文件中网络流量的各统计值,进行特征编码、归一化等预处理工作;然后,通过深度卷积神经网络中可变卷积核提取不同主机入侵流量之间空间相关特征;最后,将已经处理好的包含空间相关特征的数据在时间上错开排列,利用深度循环神经网络挖掘入侵流量的时间相关特征。实验结果表明,该模型相对于传统的机器学习模型在曲线下方的面积（AUC）上提升了7.5%~14.0%,同时误报率降低了83.7%~52.7%。所提模型能准确地识别网络流量的类别,大幅降低误报率。     

基于不定长卷积神经网络的恶意流量分类算法

在当今信息爆炸、网络快速发展的时代,网络攻击与网络威胁日益增多,恶意流量识别在网络安全中发挥着非常重要的作用。深度学习在图像处理、自然语言处理上已经展现出优越的性能,因此有诸多研究将深度学习应用于流量分类中。将深度学习应用于流量识别时,部分研究对原始流量数据进行截断或者补零操作,截断操作容易造成流量信息的部分丢失,补零操作容易引入对模型训练无用的信息。针对这一问题,本文提出了一种用于恶意流量分类的不定长输入卷积神经网络(IndefiniteLength Convolutional Neural Network,ILCNN),该网络模型基于不定长输入,在输入时使用未截断未补零的原始流量数据,利用池化操作将不定长特征向量转化为定长的特征向量,最终达到对恶意流量分类的目的。基于CICIDS-2017数据集的实验结果表明,ILCNN模型在F1-Score上的分类准确率能够达到0.999208。相较于现有的恶意流量分类工作,本文所提出的不定长输入卷积神经网络ILCNN在F1-Score和准确率上均有所提升。     

基于线-超图神经网络的阿尔兹海默症分类

在阿尔兹海默症分类问题中,超图神经网络可以从被试间的超图关系中提取特征,在表示学习复杂图结构方面具有很好的优势,但大多数模型都直接或间接地将超图所表示的被试间的高阶复杂关系分解,转化为简单的二元关系进行特征学习,没有有效利用超边的高阶信息,因此提出了基于线-超图神经网络(line-hypergraph neural network, L-HGNN)的阿尔兹海默症分类模型,该模型利用稀疏线性回归表征被试间多元相关性,借助超图和线图的转换在神经网络模型中实现节点的高阶邻域信息传递和超边整体结构特征学习,同时,结合注意力机制生成更具区分性的节点嵌入,进而用于阿尔兹海默症的辅助诊断.在ADNI数据上与常用的两种方法比较,实验结果表明,该方法能有效提高分类准确率,在阿尔兹海默症早期诊断上具有重要的应用价值.     

基于多头注意力的恶意加密流量检测方法

恶意加密流量的识别是网络安全管理的一项重要内容。然而，随着网络用户的增加，网络流量的数量和种类正以指数级增加，这给网络安全管理带来了新的挑战和威胁。传统的恶意加密流量识别方法依赖专家经验，且对恶意加密流量特征区分能力不强，不适用目前复杂网络的场景。本文提出了基于多头注意力的恶意加密流量检测方法，通过多头注意力，流量特征可以被映射到多个子空间并进行高阶流量特征的提取，通过一维卷积神经网络进一步提取数据包内部的空间特征。实验结果表明，该方法在CTU数据集上对正常、恶意加密流量的二分类取得了优异的检测效果。     

基于时序图像深度学习的电熔镁炉异常工况诊断

超高温电熔镁炉（Fused magnesium furnace,FMF）生产炉况监测困难,易发生欠烧异常工况,不仅造成产品质量下降,也直接危害生产安全与人员安全.现有的人工巡检方式实时性差,容易发生漏报和误报,甚至导致铁制炉壳烧透、烧漏.针对该问题,本文采用视频信号,利用电熔镁炉欠烧工况的时空特征,即在炉壳表面出现的局部不规则高亮区域的空间特征,以及该高亮区域随时间呈现出亮度增强、面积变大的时序特征,提出一种基于卷积循环神经网络（Convolutional recurrent neural network,CRNN）的电熔镁炉异常工况诊断新方法.该方法包括图像序列一致性变换和时序残差图像提取预处理、基于卷积神经网络（Convolutional neural network,CNN）的空间特征提取、基于循环神经网络（Recurrent neural network,RNN）的时序特征提取、基于加权中值滤波的工况自动标记.最后采用实际的电熔镁炉炉壳的视频信号,进行了所提方法与现有的两种深度学习网络模型的实验比较研究,结果说明了所提方法的优越性.     

基于多层双向SRU与注意力模型的加密流量分类方法

基于传统循环神经网络的加密流量分类方法普遍存在并行性较差、模型运行效率较低等问题。为实现加密流量的快速准确分类,提出一种基于多层双向简单循环单元（SRU）与注意力（MLBSRU-A）模型的加密流量分类方法。将特征学习和分类统一到一个端到端模型中,利用SRU模型高度并行化的序列建模能力来提高整体运行效率。为了提升MLBSRU-A模型的分类精度,堆叠多层双向SRU网络使其自动地从原始流量中提取特征,并引入注意力机制为特征赋予不同的权重,从而提高重要特征之间的区分度。实验结果表明,在公开数据集ISCX VPN-nonVPN上,MLBSRU-A模型具有较高的分类精度和运行效率,与BGRUA模型相比,MLBSRU-A的细粒度分类准确率提高4.34%,训练时间减少55.38%,在USTC-TFC 2016数据集上,MLBSRU-A模型对未知加密恶意流量的检测准确率达到99.50%,细粒度分类准确率为98.84%,其兼具对未知加密恶意流量的高精度检测能力以及对加密恶意流量的细粒度分类能力。     

基于CATBL算法的恶意URL检测

为提高对恶意U RL检测的准确率,提出一种结合注意力机制的卷积神经网络和双向长短时记忆网络并联联合算法模型(CATBL).提取用于表达恶意URL二进制文件内容相似性的纹理图像特征,提取URL信息特征及主机信息特征,将这几种特征进行融合,利用CNN(convolutional neural network)挖掘深层次局部特征,采用Attention机制调整权重和双向LSTM(bidirectional long short-term memory)提取全局特征,用于对网络中的恶意URL进行检测.实验结果表明,使用该算法检测恶意U RL的准确率达到98.8％,与传统检测方式相比,具有明显的提升.     

基于RCNN-LSTM的脑电情感识别研究EI北大核心CSCD

情感作为人脑的高级功能,对人们的个性特征和心理健康有很大的影响,利用网上公开的脑电情感数据库(DEAP(Database for emotion analysis using physiological signals)数据库),根据心理效价和激励唤醒度等级进行情感划分,对压力和平静等5种情感进行研究分析.针对脑电信号时空特征结合的特点,把深度学习中的卷积神经网络(Convolutional neural network,CNN)和长短期记忆网络(Long short term memory,LSTM)两者作为基本前提,并在此基础之上设计了一个RCNN-LSTM的脑电情感信号分类模型.利用循环卷积神经网络(Recurrent convolutional neural network,RCNN)自动提取脑电信号中的抽象特征,省去了人工选择与降维的过程,然后结合LSTM网络对脑电情感信号进行分类识别.实验结果表明,利用该方法对5种情感类别的平均分类识别率达到了96.63%,证明了该方法的有效性.     

基于多头注意力机制的端到端语音情感识别

针对语音情感数据集规模小且数据维度高的特点,为解决传统循环神经网络（RNN）长程依赖消失和卷积神经网络（CNN）关注局部信息导致输入序列内部各帧之间潜在关系没有被充分挖掘的问题,提出一个基于多头注意力（MHA）和支持向量机（SVM）的神经网络MHA-SVM用于语音情感识别（SER）。首先将原始音频数据输入MHA网络来训练MHA的参数并得到MHA的分类结果;然后将原始音频数据再次输入到预训练好的MHA中用于提取特征;最后通过全连接层后使用SVM对得到的特征进行分类获得MHA-SVM的分类结果。充分评估MHA模块中头数和层数对实验结果的影响后,发现MHA-SVM在IEMOCAP数据集上的识别准确率最高达到69.6%。实验结果表明同基于RNN和CNN的模型相比,基于MHA机制的端到端模型更适合处理SER任务。     

基于不确定性的多元时间序列分类算法研究

多元时间序列(Multivariate time series, MTS)分类是许多领域中的重要问题,准确的分类结果可以有效地帮助决策.当前的MTS分类算法在个体的表征学习阶段难以自动建模多元变量之间复杂的交互关系,并且无法评估分类结果的可信度,这会导致模型性能受限,以及缺乏具备统计意义的可靠性解释.本文提出了一种基于不确定性的多元时间序列分类算法,变分贝叶斯共享图神经网络,即VBSGNN (Variational Bayes shared graph neural network).首先通过图神经网络(Graph neural network, GNN)提取多元变量之间的交互特征,然后利用贝叶斯神经网络(Bayesian neural network, BNN)为预测过程引入了不确定性.最后在10个公开MTS数据集上进行了算法实验,并与当前提出的7类算法进行了比较,结果表明VBSGNN可有效学习多元变量之间的交互关系,提升了分类效果,并使得模型具备一定的可靠性评估能力.     

混合深度学习模型C-RF及其在手写数字识别中的应用

卷积神经网络（Convolutional neural network,CNN）是一种常见的深度学习模型,受人类视觉认知机制启发而来,能够从原始图像得到有效的特征表达。CNN模型在图像识别领域不断取得突破,但是在训练过程中需要花费大量时间。随机森林（Random forest,RF）在分类和回归上具有很高的精度,训练速度快并且不容易出现过拟合的问题,现有的基于RF的分类器都依赖手工选取的特征。针对以上问题,本文提出了基于CNN的C-RF模型,把CNN提取到的特征输入RF中进行分类。由于随机权值网络同样可以得到有效的结果,所以不用梯度算法调整网络参数,以免消耗大量时间。最后在MNIST数据集和Rotated MNIST数据集上进行了实验,结果表明C-RF模型的分类精度比RF有了较大的提高,同时泛化能力也有所提升。     

自注意力超图池化网络

近年来,将卷积神经网络推广到图数据上的图卷积神经网络引起了广泛关注,主要包括重新定义图的卷积和池化操作.由于图数据只能表达二元关系的局限性,使其在实际应用中表现欠佳.相比之下,超图能够捕获数据的高阶相关性,利用其灵活的超边易于处理复杂的数据表示.然而,现有的超图卷积神经网络还不够成熟,目前尚无有效的超图池化操作.因此,提出了带有自注意机制的超图池化网络,使用超图结构建模,通过引入自注意力的超图卷积操作学习带有高阶数据信息的节点隐藏层特征,再经过超图池化操作选择并保留在结构和内容上的重要节点,进而得到更准确的超图表示.在文本分类、菜肴分类和蛋白质分类任务上的实验结果表明:与目前多种主流方法相比,该方法均取得了更好的效果.     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

隐式特征和循环神经网络的多声部音乐生成系统

音乐生成是一种使用算法来生成音乐序列的研究。本文针对音乐样本特征提取以及自动作曲问题提出了一种基于音乐隐式特征和循环神经网络（recurrent neural network, RNN）的多声部音乐生成算法。该方法通过使用栈式自编码器对多声部音乐序列每个时间步的音符隐式特征进行提取,结合长短期记忆循环神经网络（long short-term memory, LSTM）,以序列预测的方式搭建了基于隐式特征的音乐生成模型。仿真结果表明,该音乐生成算法在使用相同风格的音乐数据训练后,得到的模型可以生成旋律与和弦匹配较好的多声部音乐数据。     

基于层次时空特征与多头注意力的恶意加密流量识别

为实现互联网全面加密环境下的恶意加密流量精确检测,针对传统识别方法较依赖专家经验且对加密流量特征的区分能力不强等问题,提出一种基于层次时空特征与多头注意力(HST-MHSA)模型的端到端恶意加密流量识别方法.基于流量层次结构,结合长短时记忆网络和TextCNN有效整合加密流量的多尺度局部特征和双层全局特征,并引入多头注意力机制进一步增强关键特征的区分度.在公开数据集CICAndMal2017上的实验结果表明,HST-MHSA模型的流量识别F1值相较基准模型最高提升了16.77个百分点,漏报率比HAST-Ⅱ和HABBiLSTM模型分别降低了3.19和2.18个百分点,说明其对恶意加密流量具有更强的表征和识别能力.     

基于CNN和BiLSTM网络特征融合的文本情感分析

卷积神经网络（CNN）和循环神经网络（RNN）在自然语言处理上得到广泛应用,但由于自然语言在结构上存在着前后依赖关系,仅依靠卷积神经网络实现文本分类将忽略词的上下文含义,且传统的循环神经网络存在梯度消失或梯度爆炸问题,限制了文本分类的准确率。为此,提出一种卷积神经网络和双向长短时记忆（BiLSTM）特征融合的模型,利用卷积神经网络提取文本向量的局部特征,利用BiLSTM提取与文本上下文相关的全局特征,将两种互补模型提取的特征进行融合,解决了单卷积神经网络模型忽略词在上下文语义和语法信息的问题,也有效避免了传统循环神经网络梯度消失或梯度弥散问题。在两种数据集上进行对比实验,实验结果表明,所提特征融合模型有效提升了文本分类的准确率。     

基于改进1DCNN-SAGRU模型的渔船作业方式识别

海洋渔业领域中渔船轨迹数据具有时空性和非平稳性的特点,针对目前渔船作业方式识别方法存在对数据信息提取不充分及识别精度低的问题,提出了一种基于一维卷积神经网络(one-dimensional convolutional neural network, 1DCNN)和加入自注意力(self-attention)的门控循环单元网络(gated recurrent unit, GRU)的渔船作业方式识别模型(1DCNN-SAGRU).模型利用一维CNN和GRU充分提取渔船轨迹数据的局部空间特征和时序上的依赖关系,并引入自注意力机制强化模型对关键信息的关注能力.最后引入dropout方法和RAdam优化器对模型进行改进和优化,防止模型过拟合的同时加快网络的收敛速度和输出准确性.经实验和分析表明,相较于其他对比模型,该模型在准确率上最高可提升4.4个百分点,说明该模型能更准确地识别渔船拖网、围网和刺网作业,有利于加强渔船监管能力和渔业资源的保护.