一种基于重构误差的交通轨迹异常检测方法

传感器技术的飞速发展催生了大量交通轨迹数据,轨迹异常检测在智慧交通、城市规划、道路监控等领域具有重要的应用价值。针对传统基于距离和有监督机器学习异常检测方法提取有效特征困难、容易出现过拟合、异常检测效果差等问题,提出了一种基于轨迹重构误差的无监督异常检测方法。该方法使用基于循环神经网络的自编码器对输入轨迹进行重构,通过最小化重构输出和原始输入之间的差异,使模型学习正常轨迹的运动特征。重构误差大于异常阈值的轨迹被判定为异常轨迹。为了避免人工标注异常,利用数据驱动的交通模拟方法,合成了包含不同异常类型的轨迹数据。基于交通轨迹标注数据的实验结果表明,该方法的异常检测性能在各项指标上显著优于传统基于距离的方法以及机器学习分类算法,验证了该无监督方法的有效性和实用性。     

基于非对称卷积自编码器和支持向量机的入侵检测模型

网络入侵检测系统在防护网络安全中占据重要地位,随着科技不断发展,目前的入侵技术没有考虑到检测技术的可扩展性、可持续性以及训练时间长短,无法应对现代复杂多变的网络异常流量。针对这些问题,提出了一种新的深度学习方法,使用无监督的非对称卷积自编码器,对数据进行特征学习。另外,提出了一种新的基于非对称卷积自编码器和多类支持向量机相结合的方法。在 KDD99 数据集上进行了实验,实验结果表明,该方法取得了良好的结果,与其他方法相比显著减少了训练时间,进一步提高了网络入侵检测技术。     

基于轻量化重构网络的表面缺陷视觉检测

基于深度学习的方法在某些工业产品的表面缺陷识别和分类方面表现出优异的性能,然而大多数工业产品缺陷样本稀缺,而且特征差异大,导致这类需要大量缺陷样本训练的检测方法难以适用.提出一种基于重构网络的无监督缺陷检测算法,仅使用容易大量获得的无缺陷样本数据实现对异常缺陷的检测.提出的算法包括两个阶段:图像重构网络训练阶段和表面缺陷区域检测阶段.训练阶段通过一种轻量化结构的全卷积自编码器设计重构网络,仅使用少量正常样本进行训练,使得重构网络能够生成无缺陷重构图像,进一步提出一种结合结构性损失和L1损失的函数作为重构网络的损失函数,解决自编码器检测算法对不规则纹理表面缺陷检测效果较差的问题;缺陷检测阶段以重构图像与待测图像的残差作为缺陷的可能区域,通过常规图像操作即可实现缺陷的定位.对所提出的重构网络的无监督缺陷检测算法的网络结构、训练像素块大小、损失函数系数等影响因素进行了详细的实验分析,并在多个缺陷图像样本集上与其他同类算法做了对比,结果表明重构网络的无监督缺陷检测算法有较强的鲁棒性和准确性.由于重构网络的无监督缺陷检测算法的轻量化结构,检测1 024×1 024像素图像仅仅耗时2.82 ms,...     

基于样本关联感知的无监督深度异常检测模型

异常检测的目标是识别正常模式中的异常模式.如何充分利用数据的各种特征信息来识别异常是当前异常检测的研究热点之一.许多数据挖掘及机器学习等方面的智能算法都被用于异常检测规则训练以提高其检测性能.目前已有模型存在着对复杂数据处理困难、没有充分利用数据样本间关联特征等问题,从而造成异常检测效果不甚理想.基于此,本文提出一种基于样本关联感知的深度学习模型并用于异常检测.模型通过对样本的原始特征和样本间的关联关系进行深入分析,利用无向图结构来提取样本间的关联特征,然后基于由特征编码器和图编码器构成的双路自编码器实现对样本的原始特征和关联特征的融合,产生样本在低维特征空间中高质量数据嵌入,然后进行解码重构并计算重构误差和重构特征,最后设计基于高斯混合模型的估计网络,基于重构特征和高质量的数据嵌入估计样本的概率密度,通过给定阈值来进行异常检测.实验结果表明,本模型的异常检测各项性能指标均比其他基于机器学习和深度学习的异常检测方法提升了2％左右,参数、消融和噪声实验结果也较其他算法更稳定,可视化实验也能够突出本模型在数据特征提取和充分利用等方面的优势.     

基于深度学习的入侵检测模型综述

随着深度学习技术的不断深入发展,基于深度学习的入侵检测模型已成为网络安全领域的研究热点。对网络入侵检测中常用的数据预处理操作进行了总结;重点对卷积神经网络、长短期记忆网络、自编码器和生成式对抗网络等当前流行的基于深度学习的入侵检测模型进行了分析和比较;并简单说明了基于深度学习的入侵检测模型研究中常用的数据集;指出了现有基于深度学习的入侵检测模型在数据集时效、实时性、普适性、模型训练时间等方面存在的问题和今后可能的研究重点。     

基于EKM-AE模型的无监督主机入侵检测方法

针对深度学习方法运用于入侵检测时需要大量标注数据集和难以实时检测的缺陷,利用网络流量中正常数据多于异常数据的一般规律,提出一种结合集成K-means聚类和自编码器的EKM-AE(ensemble K-means and autoencoder)入侵检测方法.首先通过集成K-means聚类从实时抓取的网络流量中得出正常样例,用于训练自编码器,然后由完成训练的自编码器执行入侵检测.在虚拟局域网主机环境下进行了入侵检测实验,结果表明,在绝大多数实际应用场景(正常流量多于异常流量)下该方法具有良好的检测性能,且具有全过程无监督、可实时在线检测的优点,对主机网络安全有良好的提升作用.     

网络入侵技术及其检测分析

入侵检测是一个比较新的、迅速发展的领域,已成为网络安全体系结构中的一个重要的环节。该文介绍了主要网络入侵技术分析,并结合现有的网络入侵检测技术,重点分析了基于特征的入侵检测技术与基于异常的入侵检测技术,讨论了两种入侵检测技术的优点和存在的问题以及网络入侵检测技术的适用性。     

基于AAE的网络性能异常发现

网络运维在充分发挥网络潜能方面有着不可替代的作用.其中,网络关键性能的监测和维护尤为重要.使用智能化的方法自动发现网络KPI的异常能够极大地减少运维人工成本,提升网络运维的效率.人工方法标注网络KPI中的异常,难度高,耗时长,因此无监督学习的异常检测正在成为解决此类问题的主要方法.提出一种基于对抗自编码器AAE的无监督...     

基于半监督学习的学生消费数据异常检测

随着校园卡的应用场景越来越广泛,校园卡的资金安全问题日益突出,校园卡欺诈不但给师生和校内商家带来经济损失,还会危害校园的正常秩序。针对传统异常检测方法无法有效提取学生消费数据时序特征的问题,提出一种基于半监督学习的学生消费数据异常检测方法。首先,利用门控循环单元改进自编码器,使得模型可以更准确地进行消费数据的重构;然后,采用马氏距离计算重构误差,计算F_β-分数确定误差阈值,进行异常数据的检测;最后,利用所提方法对某高校的学生消费数据进行异常检测实验。实验结果表明,所提方法具有更优越的检测性能。     

基于深度学习的网络入侵检测优势及应用研究

由于网络入侵事件的频繁发生,人们对于网络安全日益重视,文章重点探讨了网络入侵检测研究。首先介绍了深度学习的基础理论及技术优势,并引出了有监督及无监督的网络入侵检测方法,介绍了网络入侵检测系统的概念和基础理论,详细阐述了网络入侵检测应用,主要包括异常检测、误用检测和混合检测。     

基于集成降噪自编码的在线网络入侵检测模型

针对神经网络在线入侵检测模型训练时易出现过拟合和泛化能力弱的问题,提出基于改进的集成降噪自编码在线入侵检测模型以区分正常和异常的流量模式。降噪自编码减少了训练数据与测试数据的差别,缓解过拟合问题,提高模型的性能。同时阈值的选择方法直接影响网络入侵检测模型检测精度,该阈值采用随机方法确定,无须于离线入侵检测,不需通过完整的数据集即可选择最佳的阈值。采用CICIDS2017中的异常的数据流对模型进行测试,准确率分别为90.19%。结果表明,作为一种在线检测模型,提出的异常检测模型优于其他异常检测方法。     

基于自编码器的深度聚类算法综述

聚类分析作为一种常见的分析方法,广泛应用于各种场景。随着机器学习技术的发展,深度聚类算法也成了当下研究的热点,基于自编码器的深度聚类算法是其中的代表算法。为了及时了解掌握基于自编码器的深度聚类算法的发展,介绍了四种自编码器的模型,对近些年代表性的算法依照自编码器的结构进行了分类。在MNIST、USPS、Fashion-MNIST数据集上,针对传统聚类算法和基于自编码器的深度聚类算法进行了实验对比、分析,最后对基于自编码器的深度聚类算法目前存在的问题进行了总结,展望了深度聚类算法的研究方向。     

入侵检测技术的研究与进展

入侵检测系统(IDS)作为一门新兴的安全技术，是网络安全系统中的重要组成部分。该文阐述了入侵检测系统的基本原理和功能模块，从数据源、检测方法和检测定时三个方面描述了入侵检测系统的分类，并对目前国内外入侵检测技术的研究现状作了介绍和分析。随着计算机技术和网络技术的高速发展，海量存储和高带宽的传输技术，都使得集中式的入侵检测越来越不能满足系统需求。由此指出，分布式入侵检测(DID)必将逐渐成为入侵检测乃至整个网络安全领域的研究重点，为进行入侵检测技术的研究提供一定的技术和理论依据。     

SVM在网络流量异常检测中的应用研究

传统的异常入侵检测算法存在误报、漏报率高等问题。为此,将支持向量机应用于网络流量异常检测,提出一种基于支持向量机的网络流量异常检测模型。实验证明,该模型具有较高的检测率,对未知攻击的检测精度也很高,说明了采用支持向量机技术进行入侵检测的有效性。     

一种半聚类的异常入侵检测算法

针对基于监督学习的入侵检测算法所面临的训练样本不足的问题,提出了一种结合改进k 近邻法的基于半监督聚类的异常入侵检测算法,利用少量的标记数据改善算法的学习能力,并实现了对新攻击类型的检测。实验结果表明,在标记数据极少的情况下,算法的检测结果明显好于非监督学习的算法,接近于监督学习的检测算法。     

Network Intrusion Detection in Internet of Blended Environment Using Ensemble of Heterogeneous Autoencoders (E-HAE)

Contemporary attackers, mainly motivated by financial gain, consistently devise sophisticated penetration techniques to access important information or data. The growing use of Internet of Things (IoT) technology in the contemporary convergence environment to connect to corporate networks and cloud-based applications only worsens this situation, as it facilitates multiple new attack vectors to emerge effortlessly. As such, existing intrusion detection systems suffer from performance degradation mainly because of insufficient considerations and poorly modeled detection systems. To address this problem, we designed a blended threat detection approach, considering the possible impact and dimensionality of new attack surfaces due to the aforementioned convergence. We collectively refer to the convergence of different technology sectors as the internet of blended environment. The proposed approach encompasses an ensemble of heterogeneous probabilistic autoencoders that leverage the corresponding advantages of a convolutional variational autoencoder and long short-term memory variational autoencoder. An extensive experimental analysis conducted on the TON_IoT dataset demonstrated 96.02% detection accuracy. Furthermore, performance of the proposed approach was compared with various single model (autoencoder)-based network intrusion detection approaches: autoencoder, variational autoencoder, convolutional variational autoencoder, and long short-term memory variational autoencoder. The proposed model outperformed all compared models, demonstrating F1-score improvements of 4.99%, 2.25%, 1.92%, and 3.69%, respectively.     

网络信息管理中入侵检测技术分析

文章基于工作实践,分析了目前网络信息管理入侵检测技术存在的相关问题,并着重介绍了异常检测和误用检测两种网络信息管理入侵检测技术。其中异常检测又包括特征量的选择和参考阈值的选择两类。希望有关人员加以借鉴和参考,对网络信息管理入侵检测技术能够有一个更加深入的了解,逐步掌握网络信息管理入侵检测技术的实际内容,促进入侵检测技术在网络信息管理中的应用发展。     

Detecting unseen falls from wearable devices using channel-wise ensemble of autoencoders

A fall is an abnormal activity that occurs rarely, so it is hard to collect real data for falls. It is, therefore, difficult to use supervised learning methods to automatically detect falls. Another challenge in automatically detecting falls is the choice of engineered features. In this paper, we formulate fall detection as an anomaly detection problem and propose to use an ensemble of autoencoders to learn features from different channels of wearable sensor data trained only on normal activities. We show that the traditional approach of choosing a threshold as the maximum of the reconstruction error on the training normal data is not the right way to identify unseen falls. We propose two methods for automatic tightening of reconstruction error from only the normal activities for better identification of unseen falls. We present our results on two activity recognition datasets and show the efficacy of our proposed method against traditional autoencoder models and two standard one-class classification methods.