基于流量分类的工控联网设备识别

为发展工控网络智能化管理，研究工控网络中设备类型的自动识别技术，提出一种基于流量分类的设备类型识别方法，综合报文首部特征以及有效载荷隐含特征。利用随机森林模型，筛选报文首部字段中工控网络流量分类的关键特征；利用一维卷积神经网络，提取流量有效载荷的隐含特征；两种特征融合完成流量分类，基于流量分类结果实现设备类型识别。实验结果表明，由该方法训练的模型可高效完成设备流量分类，准确识别工控设备类型。     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统（IDS）在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络（DNN）模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0~0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0~0.098 8和0.030 6~0.112 8。     

基于时空注意力特征的异常流量检测方法

针对当前基于循环神经网络的异常流量检测方法无法并行利用全局流量数据包挖掘时序特征的问题，提出一种基于时空注意力特征的异常流量检测方法。将原始流量以会话为单元切分为网络流，网络流中的数据包均转换为灰度图并归一化；利用卷积网络层提取数据包的空间特征，进而通过多头自注意力机制对流中的全部数据包空间特征并行建模，计算数据包之间显著的时序关联特征表示；将该特征表示输入到全连接神经网络层和Softmax层，输出识别概率完成检测。在UNSW-NB15数据集上的实验结果表明该方法切实可行，相较于对比方法，在取得较高的准确率和精度的同时，保持了最低的误警率。     

基于改进的一维卷积神经网络的异常流量检测

针对传统机器学习方法对特征依赖大、基于深度学习的检测方法效率低以及易过拟合的问题,提出一种基于改进的一维卷积神经网络（ICNN-1D）的异常流量检测方法（AFM-ICNN-1D）。与传统卷积神经网络（CNN）采用的“卷积-池化-全连接”结构不同,ICNN-1D主要由2个卷积层、2个全局池化层、1个dropout层和1个全连接输出层构成;其次,将预处理后的数据输入到ICNN-1D中,并将经过两次卷积之后的结果作为全局平均池化层与全局最大池化层的输入,之后将所得到的输出数据进行合并再送入全连接层进行分类;最后根据分类结果与真实数据对网络模型进行调优,再将训练好的模型用于异常流量检测。CIC-IDS-2017数据集上的实验结果显示,AFM-ICNN-1D的精准率和召回率均达到了98%,优于对比的k近邻（kNN）和随机森林（RF）方法;而且与传统的CNN相比,该方法的参数减少了约97%,训练时间缩短了约40%。实验结果表明,AFM-ICNN-1D具有较高的检测性能,能减少训练时间、避免过拟合现象的发生,而且能更好地保留流量数据的局部特征。     

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络（CNN）结合端口注意力模块（PAM）和通道空间注意力模块（CBAM）的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。     

基于深度学习的网络流量异常预测方法

针对网络入侵检测系统（NIDS）能够检测当前系统中存在的网络安全事件,但由于自身的高误报率和识别安全事件产生的时延,无法提前对网络安全事件进行准确率较高的预警功能,严重制约了NIDS的实际应用和未来发展的问题,提出了基于深度学习的网络流量异常预测方法。该方法提出了一种结合深度学习算法中长短期记忆网络和卷积神经网络的预测模型,能够训练得到网络流量数据的时空特征,实现预测下一时段网络流量特征变化和网络安全事件分类识别,为NIDS实现网络安全事件的预警功能提供了方法分析。实验通过使用设计好的神经网络框架对入侵检测系统流量数据集CICIDS2017进行了训练和性能测试,在该方法下流量分类的误报率下降到0.26%,总体准确率达到了99.57%,流量特征预测模型R2的最佳效果达到了0.762。     

基于混合卷积神经网络和循环神经网络的入侵检测模型

针对电力信息网络中的高级持续性威胁问题,提出一种基于混合卷积神经网络（CNN）和循环神经网络（RNN）的入侵检测模型。该模型根据网络数据流量的统计特征对当前网络状态进行分类。首先,获取日志文件中网络流量的各统计值,进行特征编码、归一化等预处理工作;然后,通过深度卷积神经网络中可变卷积核提取不同主机入侵流量之间空间相关特征;最后,将已经处理好的包含空间相关特征的数据在时间上错开排列,利用深度循环神经网络挖掘入侵流量的时间相关特征。实验结果表明,该模型相对于传统的机器学习模型在曲线下方的面积（AUC）上提升了7.5%~14.0%,同时误报率降低了83.7%~52.7%。所提模型能准确地识别网络流量的类别,大幅降低误报率。     

基于生成对抗网络的地面新增建筑检测

针对传统的基于地物纹理和空间特征的方法很难精确识别地面新增建筑的问题，提出了一种基于生成对抗网络的新增建筑变化检测模型（CDGAN）。首先，使用Focal损失函数改进传统图像分割网络（U-net），并以此作为模型的生成器（G），用于生成遥感影像的分割结果；然后，设计了一个16层的卷积神经网络（VGG-net）作为鉴别器（D），用于区分生成的结果和人工标注（GT）的真实结果；最后，对生成器和判别器进行对抗训练，从而得到具有分割能力的生成器。实验结果表明，CDGAN模型的检测准确率达到92%，比传统U-net模型的平均区域重合度（IU）提升了3.7个百分点，有效地提升了遥感影像中地面新增建筑物的检测精度。     

基于深度学习的入侵检测研究

针对网络流量数据具有时间和空间双重特性,提出了混合卷积神经网络和循环卷积神经网络的入侵检测模型。将数据预处理后输入卷积神经网络,用于学习流量数据的空间特征,将所学到的特征输入长短期记忆网络,用于学习流量数据的时序特征。实验表明,混合结构模型准确率,比单独使用卷积神经网络和长短期记忆神经网络的效果好。     

对抗攻击威胁基于卷积神经网络的网络流量分类

深度学习算法被广泛地应用于网络流量分类,具有较好的分类效果,应用卷积神经网络不仅能大幅提高网络流量分类的准确性,还能简化其分类过程.然而,神经网络面临着对抗攻击等安全威胁,这些安全威胁对基于神经网络的网络流量分类的影响有待进一步的研究和验证.文中提出了基于卷积神经网络的网络流量分类的对抗攻击方法,通过对由网络流量转换成的深度学习输入图像添加人眼难以识别的扰动,使得卷积神经网络对网络流量产生错误的分类.同时,针对这种攻击方法,文中也提出了基于混合对抗训练的防御措施,将对抗攻击形成的对抗流量样本和原始流量样本混合训练以增强分类模型的鲁棒性.文中采用公开数据集进行实验,实验结果表明,所提对抗攻击方法能导致基于卷积神经网络的网络流量分类方法的准确率急剧下降,通过混合对抗训练则能够有效地抵御对抗攻击,从而提高模型的鲁棒性.     

基于深度神经网络的表面划痕识别方法

为实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别，提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络（CNN）构成，其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理，风格迁移网络包括前馈转换网络和损失网络，首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征，对前馈转换网络进行离线训练，获取网络最优参数值，最终使风格迁移网络生成亮度均匀且风格一致的图像，然后，利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例，进行划痕识别实验，实验结果表明：与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比，划痕漏报率低至8.54%，并且收敛速度更快，收敛曲线更加平滑，在不同的深度模型下均可取得较好的检测效果，准确率提升2%左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题，从而提高划痕识别精度；同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别，大幅度降低划痕漏报率和误报率。     

基于统计分析的卷积神经网络模型压缩方法

针对卷积神经网络中卷积层参数冗余,运算效率低的问题,从卷积神经网络训练过程中参数的统计特性出发,提出了一种基于统计分析裁剪卷积核的卷积神经网络模型压缩方法,在保证卷积神经网络处理信息能力的前提下,通过裁剪卷积层中对整个模型影响较小的卷积核对已训练好的卷积神经网络模型进行压缩,在尽可能不损失模型准确率的情况下减少卷积神经网络的参数,降低运算量.通过实验,证明了本文提出的方法能够有效地对卷积神经网络模型进行压缩.     

基于卷积神经网络的滚动轴承故障诊断方法

为了简单、准确地进行轴承故障诊断,结合深度学习理论,对基于卷积神经网络的滚动轴承故障诊断方法进行了研究;首先,选用了结构相对简单的LeNet5卷积神经网络;然后,对轴承振动信号原始数据进行截取和归一化处理后直接生成生成二维矩阵作为神经网络输入;接着,优选卷积核大小、批大小、学习率及迭代次数等网络模型参数;最后,应用sigmoid函数进行多标签分类;实验结果表明,该方法能有效识别正常状态及不同损伤程度下的内圈、外圈、滚动体故障状态,识别准确率达到99.50%以上水平;基于卷积神经网络的滚动轴承故障诊断方法不仅在一定程度上可以简化故障诊断的过程,而且可以充分利用卷积神经网络模型的优势实现高效准确地故障诊断。     

基于深度卷积神经网络的心音分类算法

针对现有心音分类算法普适性差、依赖于对基本心音的精确分割、分类模型结构单一等问题,提出采用大量未经过精确分割的心音二维特征图训练深度卷积神经网络(CNN)的方法;首先采用滑动窗口方法和梅尔频率系数对心音信号进行预处理,得到大量未经过精确分割的心音特征图;然后利用深度CNN模型对心音特征图进行训练和测试;根据卷积层间连接方式的不同,设计了 3种深度CNN模型:基于单一连接的卷积神经网络、基于跳跃连接的卷积神经网络、基于密集连接的卷积神经网络;实验结果表明,基于密集连接的卷积神经网络比其他两种网络具备更大的潜力;与其他心音分类算法相比,该算法不依赖于对基本心音的精确分割,且在分类准确率、敏感性和特异性方面均有提升.     

基于典型样本的卷积神经网络技术

针对传统卷积神经网络训练过程中,对于全量样本直接进行特征提取会带有过多非关键区分特征使得训练存在模型过拟合、训练收敛慢等问题,提出一种基于典型样本的卷积神经网络TSBCNN。通过部分典型样本生成强化因子指导修正CNN训练,在特征提取阶段更加注重关键区分特征部分,有目的地降低网络训练过程中对非关键特征的学习,有效提高网络训练效果。大量实验结果表明,TSBCNN较传统CNN网络收敛速度和分类准确率有所提高,在一定程度上有效减少过拟合。     

带有协方差矩阵的卷积神经网络在人体运动识别中的应用

目前,深度学习已经在各种人体运动识别（HAR）任务中发挥了重要作用。但是,由于运动数据具有时间序列和包含肢体动作的特殊性,现有神经网络在进行卷积操作时会导致数据高度相关,并且随着网络影响到下一层,这限制了模型的识别效果。为此,提出了一种带有协方差矩阵的改进卷积神经网络用于HAR场景,通过矩阵变换搭建一种去相关的网络结构来消除相关性问题,可以在网络表现不佳时替代现有的批量归一化（BN）层用于归一化数据。在4个HAR公共数据集上进行实验,并与传统CNN和带有BN层的模型进行比较。实验结果表明,对比此前的深度学习网络,改进的神经网络有1%~2%的性能提升,验证了该方法的有效性,并将程序移植到了移动端进行实时运动识别。     

全卷积神经网络的多尺度人脸检测的研究

为实现快速而准确的人脸检测,提出了一种基于全卷积神经网络的多尺度人脸检测的方法,将卷积神经网络模型AlexNet的全连接层改为全卷积层,并将分类层改为人脸与非人脸的二分类,训练之后准确率达到99.16%。将训练好的分类模型用于人脸检测时,待检测图片通过多尺度变换后输入全卷积网络得到特征图的概率矩阵,用非极大值抑制得到最精准的人脸框。检测结果表明,该方法在人脸检测时准确率高,检测时间短,表现出较好的性能。     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量,限制了其在嵌入式系统等资源受限设备上应用的问题,提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法,其核心思想是以均值和方差作为评判权值贡献度的依据。首先,以Lenet5为剪枝模型,网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器,而使用保留的滤波器重构下一层卷积层;然后,将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩,低维卷积层采取剪枝方法,而高维卷积层被分解为三个级联卷积层;最后,将压缩后的模型进行微调,使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明,所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%,同时在树莓派4B系统上达到1.4倍的前向计算加速,有助于深度CNN模型在资源受限的嵌入式设备上的部署。     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量，限制了其在嵌入式系统等资源受限设备上应用的问题，提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法，其核心思想是以均值和方差作为评判权值贡献度的依据。首先，以Lenet5为剪枝模型，网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器，而使用保留的滤波器重构下一层卷积层；然后，将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩，低维卷积层采取剪枝方法，而高维卷积层被分解为三个级联卷积层；最后，将压缩后的模型进行微调，使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明，所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%，同时在树莓派4B系统上达到1.4倍的前向计算加速，有助于深度CNN模型在资源受限的嵌入式设备上的部署。