基于改进自编码网络的轴承振动异常检测

近年来,自编码器和神经网络技术已被广泛研究并应用于轴承振动等工业数据的异常检测问题上,但仍存在着训练数据量大、网络参数初始化、训练效率较低、异常检测效果较差等问题。为解决上述问题,提出了一种结合马氏距离和自编码网络的异常检测方法。利用轴承振动数据特征之间具有一定相关性的特点,通过数据的马氏距离快速检测出部分异常数据,减少了自编码网络的训练数据量;用自编码器结合分类器构建自编码网络,解决了网络参数初始化问题并且显著提高了训练效率;将数据的马氏距离作为特征加入训练中提升了自编码网络的异常检测效果;在自编码器中加入稀疏性限制并构造先升维再编码的结构,增强了自编码器的特征学习能力和收敛性。实验结果表明,针对低维轴承振动数据,提出的方法较其他异常检测方法具有较好的检测效果且具有一定的稳定性和泛化能力。     

链路失衡干扰下网络流量异常点挖掘仿真

网络数据中心流量的异常会占用大量的带宽资源,且数据流量具有多样化特征,尤其当网络链路流量失衡时,通过部署监测软件获取的节点信息已经无法实时监控流量状态。为此提出链路失衡干扰下网络流量异常点挖掘方法。利用卷积神经网络自编码器对网络流量去噪,有效控制链路失衡对流量数据挖掘的影响。通过对比正常流量点与异常流量点提取网络流量特征,结合马氏距离到改进的自编码神经网络系统中挖掘网络流量异常点。实验结果表明,研究方法的网络流量异常点挖掘准确率可稳定在90%以上,F1值始终高于0.8,误报率不高于0.5%。     

基于集成降噪自编码的在线网络入侵检测模型

针对神经网络在线入侵检测模型训练时易出现过拟合和泛化能力弱的问题,提出基于改进的集成降噪自编码在线入侵检测模型以区分正常和异常的流量模式。降噪自编码减少了训练数据与测试数据的差别,缓解过拟合问题,提高模型的性能。同时阈值的选择方法直接影响网络入侵检测模型检测精度,该阈值采用随机方法确定,无须于离线入侵检测,不需通过完整的数据集即可选择最佳的阈值。采用CICIDS2017中的异常的数据流对模型进行测试,准确率分别为90.19%。结果表明,作为一种在线检测模型,提出的异常检测模型优于其他异常检测方法。     

基于深度学习的网络流量异常预测方法

针对网络入侵检测系统（NIDS）能够检测当前系统中存在的网络安全事件,但由于自身的高误报率和识别安全事件产生的时延,无法提前对网络安全事件进行准确率较高的预警功能,严重制约了NIDS的实际应用和未来发展的问题,提出了基于深度学习的网络流量异常预测方法。该方法提出了一种结合深度学习算法中长短期记忆网络和卷积神经网络的预测模型,能够训练得到网络流量数据的时空特征,实现预测下一时段网络流量特征变化和网络安全事件分类识别,为NIDS实现网络安全事件的预警功能提供了方法分析。实验通过使用设计好的神经网络框架对入侵检测系统流量数据集CICIDS2017进行了训练和性能测试,在该方法下流量分类的误报率下降到0.26%,总体准确率达到了99.57%,流量特征预测模型R2的最佳效果达到了0.762。     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

基于聚类过采样和自动编码器的网络入侵检测方法

近年来,随着互联网技术的不断发展,入侵检测在维护网络空间安全方面发挥着越来越重要的作用。但是,由于网络入侵行为的数据稀疏性,已有的检测方法对于海量流量数据的检测效果较差,模型准确率、F-measure等指标数值较低,并且高维数据处理的成本过高。为了解决这些问题,本文提出了一种基于稀疏异常样本数据场景下的新型深度神经网络入侵检测方法,该方法能够有效地识别不平衡数据集中的异常行为。本文首先使用k均值综合少数过采样方法来处理不平衡的流量数据,解决网络流量数据类别分布不平衡问题,平衡网络流量数据分布。再采用自动编码器来处理海量高维数据并训练检测模型,来提升海量高维流量中异常行为的检测精度,并在两个真实典型的入侵检测数据集上进行了大量的实验。实验结果表明,本文所提出的方法在两个真实典型数据集上的检测准确率分别为99.06%和99.16%, F-measure分别为99.15%和98.22%。相比于常用的欠采样和过采样方法, k均值综合少数过采样技术能够有效地解决网络流量数据类别分布不平衡的问题,提升模型对低频攻击行为的检测效果。同时,与已有的网络入侵检测方法相比,本文所提出的方法在准确率、F-m...     

基于DAE和GRU组合的流量异常检测方法

流量异常检测能够有效识别网络流量数据中的攻击行为,是一种重要的网络安全防护手段。近年来,深度学习在流量异常检测领域得到了广泛应用,现有的深度学习模型进行流量异常检测存在两个问题:一是数据受噪声影响导致检测鲁棒性差、准确率低;二是数据特征维度高以及模型参数多导致训练和检测速度慢。为了在降低流量数据噪声影响的基础上提高检测速度和准确性,本文提出了一种基于去噪自编码器(Denoising Auto Encoder,DAE)和门控循环单元(Gated Recurrent Unit,GRU)组合的流量异常检测方法。首先设计了基于DAE的流量特征提取算法,采用小批量梯度下降算法对DAE进行训练,通过最小化含噪声数据的重构向量与原始输入向量间的差异,有效提取具有较强鲁棒性的流量特征,降低特征维度。然后设计了基于GRU的异常检测算法,利用提取的低维流量特征数据训练GRU,从而构建异常流量分类器,实现对攻击流量的准确检测。最后在NSL-KDD、UNSW-NB15、CICIDS2017数据集上的实验结果表明:与其他的机器学习、深度学习方法相比,本文所提方法的检测准确率最大提升了18.71%。同时,本文方法可以实现较高的精确率、召回率和检测效率,同时具有较低的误报率。在面对数据受到噪声破坏时,具有较强的检测鲁棒性。     

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络（CNN）结合端口注意力模块（PAM）和通道空间注意力模块（CBAM）的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。     

基于Transformer与BiLSTM的网络流量入侵检测

网络流量入侵检测技术对主机和平台安全起着重要作用。目前常采用机器学习和深度学习技术进行网络流量入侵检测,然而相关数据集的不平衡问题导致模型偏向于学习多数类数据的特征而忽视少数类数据的特征,严重影响了检测准确率。结合SMOTE算法和生成对抗网络(GAN)构建OSW模型对训练数据进行预处理,通过Wasserstein GAN学习少数类数据分布情况,避免边缘分布问题,构造平衡数据集。建立基于Transformer与双向长短时记忆-深度神经网络(BiLSTM-DNN)的TBD入侵检测模型,使用Transformer中的编码器捕捉全局联系并对输入数据进行初步特征提取,利用BiLSTM网络进行长距离依赖特征提取保留数据的序列化特征,采用DNN进一步提取深层次特征,最终通过Softmax分类器获得分类结果。在NSL＿KDD数据集上的实验结果表明,在进行数据平衡处理后TBD模型的二分类和五分类任务检测准确率分别达到90.3%和79.8%,均高于对比的深度神经网络模型以及机器学习算法。     

基于降噪自编码神经网络的事件相关电位脑电信号分析方法

提出一种基于降噪自编码神经网络事件相关电位分析方法,首先建立3层神经网络结构,利用降噪自编码对神经网络进行初始化,实现了降噪自编码深度学习模型的无监督学习.从无标签数据中自动学习数据特征,通过优化模型训练得到的权值作为神经网络初始化参数.其次,经过有标签的样本进行网络参数的微调即可完成对神经网络的训练,该方法有效解决了神经网络训练中因随机选择初始化参数,而导致网络易陷入局部极小的缺陷.最后,利用上述神经网络对第3届脑机接口竞赛数据集Data set Ⅱ(事件相关电位脑电信号)进行分类分析.实验结果表明:利用降噪自编码迭代2500次训练神经网络模型,在受试者A和受试者B样本数据叠加5次、10次、15次3种情况下获得的分类准确率分别为73.4%, 87.4%和97.2%.该最高准确率优于其他分类方法,比竞赛第1名联合支持向量机(SVM)分类器(ESVM)提高了0.7%,为事件相关电位脑电信号提供了一种深度学习分析方法.     

Detection of Abnormal Network Traffic Using Bidirectional Long Short-Term Memory

Nowadays, web systems and servers are constantly at great risk from cyberattacks. This paper proposes a novel approach to detecting abnormal network traffic using a bidirectional long short-term memory (LSTM) network in combination with the ensemble learning technique. First, the binary classification module was used to detect the current abnormal flow. Then, the abnormal flows were fed into the multilayer classification module to identify the specific type of flow. In this research, a deep learning bidirectional LSTM model, in combination with the convolutional neural network and attention technique, was deployed to identify a specific attack. To solve the real-time intrusion-detecting problem, a stacking ensemble-learning model was deployed to detect abnormal intrusion before being transferred to the attack classification module. The class-weight technique was applied to overcome the data imbalance between the attack layers. The results showed that our approach gained good performance and the F1 accuracy on the CICIDS2017 data set reached 99.97%, which is higher than the results obtained in other research.     

基于一种连续自编码网络的图像降维和重构

针对高维连续数据的降维问题,提出一种新的非线性降维方法,称为连续自编码(Continuous autoencoder,C-autoencoder)神经网络,该方法采用限制玻耳兹曼机的连续形式(Continuous restricted Boltzmann machine,CRBM)的网络结构,通过训练具有多个中间层的双向深层神经网络将高维连续数据转换成低维嵌套并继而重构高维连续数据.这种连续自编码网络提供了高维连续数据空间和低维嵌套结构的双向映射,有效解决了大多数非线性降维方法所不具备的逆向映射问题,特别适用于高维连续数据的降维和重构.将C-autoencoder用于连续帧图像的实验表明,C-autoencoder不仅能发现嵌入在高维连续帧图像中的非线性低维结构,也能有效地从低维结构中恢复原始高维图像数据,而且还能对连续帧图像有效地进行内插重构.     

Detection of anomalous behavior in a robot system based on deep learning elements

The preprocessing procedure for anomalous behavior of robot system elements is proposed in the paper. It uses a special kind of a neural network called an autoencoder to solve two problems. The first problem is to decrease the dimensionality of the training data using the autoencoder to calculate the Mahalanobis distance, which can be viewed as one of the best metrics to detect the anomalous behavior of robots or sensors in the robot systems. The second problem is to apply the autoencoder to transfer learning. The autoencoder is trained by means of the target data which corresponds to the extreme operational conditions of the robot system. The source data containing the normal and anomalous observations derived from the normal operation conditions is reconstructed to the target data using the trained autoencoder. The reconstructed source data is used to define a optimal threshold for making decision on the anomaly of the observation based on the Mahalanobis distance.     

基于深度自编码器网络的压盖缺陷检测

口服液压盖过程,会出现压盖不良等情况,瓶盖可能会出现划痕、刮花、表面卷曲、压盖破损等缺陷,为保证食品药品安全必须在出厂前进行检测.在基于深度学习的口服液瓶压盖缺陷检测的研究过程中,使用传统卷积神经网络对口服液压盖缺陷数据集进行训练,需要进行人工标注,效率较低.为有效解决上述问题,设计出一种无监督学习的深度卷积去噪自编码...     

基于广义回归神经网络的流量矩阵估计*

研究大尺度IP骨干网络流量矩阵估计,通过使用广义回归神经网络来捕捉流量矩阵特征,将流量矩阵估计描述成马氏距离下的最优化过程,能成功克服流量矩阵估计的病态特性,获得精确的估计值。仿真结果表明,该估计算法具有更高的估计精度和显著的性能改善。     

基于EKM-AE模型的无监督主机入侵检测方法

针对深度学习方法运用于入侵检测时需要大量标注数据集和难以实时检测的缺陷,利用网络流量中正常数据多于异常数据的一般规律,提出一种结合集成K-means聚类和自编码器的EKM-AE(ensemble K-means and autoencoder)入侵检测方法.首先通过集成K-means聚类从实时抓取的网络流量中得出正常样例,用于训练自编码器,然后由完成训练的自编码器执行入侵检测.在虚拟局域网主机环境下进行了入侵检测实验,结果表明,在绝大多数实际应用场景(正常流量多于异常流量)下该方法具有良好的检测性能,且具有全过程无监督、可实时在线检测的优点,对主机网络安全有良好的提升作用.     

引入自编码机制对抗网络的文本生成模型

Autoencoder is an unsupervised learning algorithm, mainly used for data dimensionality reduction and feature extraction. Based on adversarial neural network model, autoencoder is introduced to improve the feature representation of input data. Feedforward neural network and Seq2seq model are mainly used to learn the source text features, and the random data are transformed into characteristic data as input, which greatly accelerates the speed and accuracy of training. At the same time, reinforcement learning model is used to solve the problem that the gradient of discretized data is difficult to descend. The discriminator of the model uses CNN network and cross entropy model to make the generated text innovative and novel. In the experimental part, the results of automatic evaluation and subjective evaluation show that the model is effective.