基于对比学习和伪异常合成的无监督火灾检测

传统的火灾检测方法大多基于目标检测技术, 存在火灾样本获取难度高、人工标注成本高的问题. 为解决该问题, 本研究提出了一种基于对比学习和伪异常合成的无监督火灾检测模型. 为了实现无监督图像特征学习, 提出了交叉输入对比学习模块. 然后, 引入了一个记忆原型学习正常场景图像的特征分布, 通过特征重建实现对火灾场景的判别. 并且, 提出了伪异常火灾场景合成方法和基于欧氏距离的异常特征区分损失, 使模型对于火灾场景具有针对性. 根据实验表明, 我们的方法在Fire-Flame-Dataset和Fire-Detection-Image-Dataset两个公开火灾检测数据集上的图像级AUC分别达到89.86%和89.56%, 优于PatchCore、PANDA、Mean-Shift等主流图像异常检测算法.     

基于平均特征重要性和集成学习的异常检测

异常检测系统在网络空间安全中起着至关重要的作用,为网络安全提供有效的保障.对于复杂的网络流量信息,传统的单一的分类器往往无法同时具备较高检测精确度和较强的泛化能力.此外,基于全特征的异常检测模型往往会受到冗余特征的干扰,影响检测的效率和精度.针对这些问题,本文提出了一种基于平均特征重要性的特征选择和集成学习的模型,选取决策树(DT)、随机森林(RF)、额外树(ET)作为基分类器,建立投票集成模型,并基于基尼系数计算基分类器的平均特征重要性进行特征选择.在多个数据集上的实验评估结果表明,本文提出的集成模型优于经典集成学习模型及其他著名异常检测集成模型.且提出的基于平均特征重要性的特征选择方法可以使集成模型准确率平均进一步提升约0.13%,训练时间平均节省约30%.     

Diagnosing Traffic Anomalies Using a Two-Phase Model

Network traffic anomalies are unusual changes in a network,so diagnosing anomalies is important for network management.Feature-based anomaly detection models (ab)normal network traffic behavior by analyzing packet header features.PCA-subspace method (Principal Component Analysis) has been verified as an efficient feature-based way in network-wide anomaly detection.Despite the powerful ability of PCA-subspace method for network-wide traffic detection,it cannot be effectively used for detection on a single link.In this paper,different from most works focusing on detection on flow-level traffic,based on observations of six traffic features for packet-level traffic,we propose a new approach B6SVM to detect anomalies for packet-level traffic on a single link.The basic idea of B6-SVM is to diagnose anomalies in a multi-dimensional view of traffic features using Support Vector Machine (SVM).Through two-phase classification,B6-SVM can detect anomalies with high detection rate and low false alarm rate.The test results demonstrate the effectiveness and potential of our technique in diagnosing anomalies.Further,compared to previous feature-based anomaly detection approaches,B6-SVM provides a framework to automatically identify possible anomalous types.The framework of B6-SVM is generic and therefore,we expect the derived insights will be helpful for similar future research efforts.     

分布式防火墙策略异常检测与分析

为了克服传统防火墙的局限性,分布式防火墙的概念应运而生。在分布式防火墙中,安全策略统一制定,由各主机负责实施,很好地解决了边界防火墙安全策略越来越膨胀的弊端及内部网的安全性问题。论文对分布式防火墙的本质特征,体系结构和运做过程进行了详细的阐述。     

集成学习分布式异常检测方法

研究了基于模型共享的集成学习分布式异常检测模型,采用多数投票、边界扩展、平均叠加和距离加权4种不同的集成学习方法得到全部的局部模型;采用交换本地数据挖掘模型的方式来实现数据共享,从而构造出一个总体的集成学习模型。从全局的观点检测异常,减少了集中式检测所需数据的传输量,有效保护了数据提供者的隐私性。仿真实验结果表明,该方法的检测性能与集中式检测的性能相当,甚至更好。     

一种网络异常实时检测方法

传统的网络管理工具通常根据预先设定的阈值来报警，这种方法虽然简单，但适应性不好．因此出现了网络异常检测技术，有时异常检测技术不但能发现网络故障，而且具有预警的效果[1]；该文介绍了一种新的实时网络流量异常检测方法，转换网络流量观测值序列并假定序列的局部是平稳的，然后建立AR模型，定义一个统计量来检测异常．结果表明，该检测方法具有GLR测试方法所没有的优点．     

基于机器学习的入侵检测方法实验与分析

入侵检测系统(IDS)是保障信息安全的重要手段。分析了机器学习应用于网络连接级的异常检测模型的过程,然后建立了异常检测系统原型,以验证此方法用于IDS的可能性及所能达到的性能。实验以DARPA网络数据为例,对数据的特征进行了分析、选取及构造,并针对多种情况进行了测试。实验结果表明,该IDS系统具有很好的检测性能。最后对结果进行了分析,并得出了几个有用的结论。     

Visualization of Anomalies Using Mixture Models

Anomaly detection is important to learn from major past events and to prepare for future crises. We propose a new anomaly detection method that visualizes multivariate data in a 2- or 3-dimensional space based on the probability of belonging to a mixture component and the probability of not belonging to any components. It helps to visually understand not only the magnitude of anomalies but also the relationships among anomalous and normal samples. This may provide new knowledge in the data, since we can see it from a different viewpoint. We show the validity of the proposed method by using both an artificial and an economic time series.     

联邦学习可视化:挑战与框架

联邦学习是一种保证数据隐私安全的分布式机器学习方案.与传统的机器学习的可解释性问题类似,如何对联邦学习进行解释是一个新的挑战.文中面向联邦学习方法的分布式与隐私安全性的特性,探讨联邦学习的可视化框架设计.传统的可视化任务需要使用大量的数据,而联邦学习的隐私性决定了其无法获取用户数据.因此,可用的数据主要来自服务器端的训练过程,包括服务器端模型参数和用户训练状态.基于对联邦学习可解释性的挑战的分析,文中综合考虑用户、服务器端和联邦学习模型3个方面设计可视化框架,其包括经典联邦学习模型、数据中心、数据处理和可视分析4个模块.最后,介绍并分析了2个已有的可视化案例,对未来通用的联邦学习可视分析方法提出了展望.     

试论网络流量异常分析现状及问题

目前,Internet已经进入高速率骨干网和高速率接入网的阶段,因此需要实时地监控网络流量并检测出有攻击意向的异常,及时采取适当的行动来遏制它进一步的繁殖和传播。本文主要分析了现有网络异常分析的四种方法,并进行对比;提出了基于Netflow的异常流量分离设计思想,对于今后网络流量异常检测分析具有一定作用。     

基于主成分分析的无监督异常检测

入侵检测系统在训练过程中需要大量有标识的监督数据进行学习,不利于其应用和推广．为了解决该问题,提出了一种基于主成分分析的无监督异常检测方法,在最小均方误差原则下学习样本的主要特征,经过压缩和还原的互逆过程后能最大限度地复制样本信息,从而根据均方误差的差异检测出异常信息．构建的仿真系统经过实验证明,基于主成分分析的无监督异常检测方法能够在无需专家前期参与的情况下检测出入侵,实验结果验证了其有效性．     

基于免疫智能的网络异常检测算法

网络异常检测模型可以用来检测未知攻击,具有良好的可扩展性,是目前入侵检测系统研究的热点。但目前的异常检测方法存在着误报率较高、检测效率不能满足高速网络实时检测需求等问题。本文通过对免疫智能算法与网络异常研究,提出了一种基于免疫智能的网络异常检测算法AIAIK。理论分析和实验说明改算法具有自然免疫系统的免疫网络、非线性、免疫记忆和克隆选择等良好特性,实验检测效果良好。     

一种改进的IDS异常检测模型

基于机器学习的异常检测是目前IDS研究的一个重要方向．该文对一种基于机器学习的用户行为异常检测模型进行了描述，在此基础上提出一种改进的检测模型．该模型利用多种长度不同的shell命令序列表示用户行为模式，建立多个样本序列库来描述合法用户的行为轮廓，并在检测中采用了以shell命令为单位进行相似度赋值的方法．文中对两种模型的特点和性能做了对比分析，并介绍了利用UNIX用户shell命令数据进行的实验．实验结果表明，在虚警概率相同的情况下改进的模型具有更高的检测概率．     

基于模型共享的分布式异常检测方法

传统集中式异常检测方法需要耗费大量的网络资源和计算时间。为此,提出一种基于模型共享的分布式异常检测方法。利用多数投票、边界扩展、平均叠加以及距离加权这4种集成学习方法得到全部局部模型,通过交换本地数据挖掘模型的方式实现数据共享,构造总体的集成式学习模型。实验结果表明,该模型能从全局的观点检测异常,减少集中式检测所需的数据传输量,有效地保护数据的隐私性。     

人工异常在入侵检测中的应用

异常检测由于自身的原因很难在商业入侵检测系统中得到应用。文中构造了入侵检测系统模型,并且给出了产生人工异常的算法,结果表明模型经过人工异常训练后,能够检测绝大多数系统未知的入侵类型。在检测已知入侵方面,模型也有不俗表现。     

基于机器学习的移动自组织网络入侵检测方法

移动自组织网络是由无线移动节点组成的复杂分布式通信系统。研究了移动自组织网络的入侵检测问题,采用了一种新型的基于机器学习算法的异常入侵检测方法。该方法获取正常事件的内部特征的相互关系模式,并将该模式作为轮廓检测异常事件。在Ad hoc 按需距离向量协议上实现了该方法,并在网络仿真软件QualNet中对其进行了评估。     

基于社区划分的节点重要性评估方法

对于PageRank方法结果过于集中,未考虑复杂网络社区结构特性的问题,提出了一种改进的,基于复杂网络社区划分的节点重要性排序方法CD-PR。根据标签传播算法（LPA）对复杂网络进行社区划分的结果,将社区的内外连接关系转化为社区选择的概率表示;按照社区选择概率,分别从各个社区提取一定比例的候选关键节点;将这些候选节点重新排序,得到关键节点排序结果。以4个真实复杂网络作为实验数据,与现有算法进行对比,进行SIR传播性能实验。实验结果表明,CD-PR算法筛选出的节点在整体传播性能上具有更好的效果,CD-PR算法可以有效地对复杂网络的节点进行重要性排序。     

基于机器学习的用户行为异常检测模型

针对LaneT等人提出的用户行为异常检测模型的不足,提出了一种新的IDS异常检测模型。该模型改进了用户行为模式和行为轮廓的表示方式,采用了新的相似度赋值方法,在对相似度流进行平滑时引入了“可变窗长度”的概念,并联合采用多个判决门限对用户行为进行判决。基于Unix用户shell命令数据的实验表明,该文提出的检测模型具有更高的检测性能。     

基于主成分分析和循环神经网络的入侵检测模型

针对网络数据特征维度高、现有的入侵检测方法准确率低的问题,该文提出了一种基于主成分分析(PCA)和循环神经网络(RNN)的入侵检测方法PCA-RNN。该方法先对网络数据进行预处理,通过主成分分析法对数据进行特征降维和降噪,找出含有最大信息的主成分特征子集,然后对处理后的数据使用循环神经网络进行分类训练。实验使用基于Python的TensorFlow平台,并采用NSL-KDD作为实验数据集。实验结果表明,与常用的基于机器学习和深度学习方法的入侵检测技术相比较,该文提出的入侵检测方法可有效地提高检测的准确性。     

轨迹异常检测研究综述

传感器技术的飞速发展催生大量交通轨迹数据,轨迹异常检测在智慧交通、自动驾驶、视频监控等领域具有重要的应用价值.不同于分类、聚类和预测等轨迹挖掘任务,轨迹异常检测旨在发现小概率、不确定和罕见的轨迹行为.轨迹异常检测中一些常见的挑战与异常值类型、轨迹数据标签、检测准确率以及计算复杂度有关.针对上述问题,全面综述近20年来轨迹异常检测技术的研究现状和最新进展.首先,对轨迹异常检测问题的特点与目前存在的研究挑战进行剖析.然后,基于轨迹标签的可用性、异常检测算法原理、离线或在线算法工作方式等分类标准,对现有轨迹异常检测算法进行对比分析.对于每一类异常检测技术,从算法原理、代表性方法、复杂度分析以及算法优缺点等方面进行详细总结与剖析.接着,讨论开源的轨迹数据集、常用的异常检测评估方法以及异常检测工具.在此基础上,给出轨迹异常检测系统架构,形成从轨迹数据采集到异常检测应用等一系列相对完备的轨迹挖掘流程.最后,总结轨迹异常检测领域关键的开放性问题,并展望未来的研究趋势和解决思路.