一种无监督异常入侵检测的簇异常度量方法

文中主要研究用Pearson相关系数计算记录与簇、簇与簇间符号属性距离的方法;在这个方法中,提出了一种新的簇异常度量—近似平均距离AAD,AAD综合了一个簇的局部异常度,即簇的内部点密度,和该簇在整个簇结构中的全局异常度,即该簇与其它簇的距离;提出了依据AAD对聚类后的簇分类,并以已分类簇结构作为检测模型进行无监督异常检测的方法,通过异常检测能及时地对每个记录分类,从而能及时发现入侵行为,减小由入侵造成的损失;最后用KDD 99评估数据集所作的实验表明,用AAD作为簇的分类度量的方法比其它相关研究具有更高的检测率和更低的误警率。     

基于样本关联感知的无监督深度异常检测模型

异常检测的目标是识别正常模式中的异常模式.如何充分利用数据的各种特征信息来识别异常是当前异常检测的研究热点之一.许多数据挖掘及机器学习等方面的智能算法都被用于异常检测规则训练以提高其检测性能.目前已有模型存在着对复杂数据处理困难、没有充分利用数据样本间关联特征等问题,从而造成异常检测效果不甚理想.基于此,本文提出一种基于样本关联感知的深度学习模型并用于异常检测.模型通过对样本的原始特征和样本间的关联关系进行深入分析,利用无向图结构来提取样本间的关联特征,然后基于由特征编码器和图编码器构成的双路自编码器实现对样本的原始特征和关联特征的融合,产生样本在低维特征空间中高质量数据嵌入,然后进行解码重构并计算重构误差和重构特征,最后设计基于高斯混合模型的估计网络,基于重构特征和高质量的数据嵌入估计样本的概率密度,通过给定阈值来进行异常检测.实验结果表明,本模型的异常检测各项性能指标均比其他基于机器学习和深度学习的异常检测方法提升了2％左右,参数、消融和噪声实验结果也较其他算法更稳定,可视化实验也能够突出本模型在数据特征提取和充分利用等方面的优势.     

连续无监督异常检测

无监督异常检测(unsupervised anomaly detection,UAD)旨在检测任何未见过的偏离预期模式或正常分布的数据,由于其学习过程不依赖对罕见异常样本的获取,因此在现实动态环境下备受青睐.然而,在现实场景中,目标任务往往会随时间动态变化,这要求模型能够连续执行多个不同的UAD任务,确保在仅有当前任务...     

日志多维度无监督异常检测算法

在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测：以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.     

基于健壮主成分分类器的无监督异常检测方法研究

入侵检测系统在训练过程中需要大量有标识的监督数据进行学习,不利于其应用和推广,经典主成分分析方法对离群数据非常敏感,进而导致分类准确性的下降。为了解决该问题,提出了一种基于健壮主成分分类器的方法,得到被离群数据干扰较少的主成分。根据主成分空间距离和数据重构误差构建异常检测模型。实验表明：该方法能够有效检测未知入侵,在检测率、误警率方面都达到较满意的结果。     

基于半监督分类的BGP异常检测

异常边界网关协议(BGP)事件会影响网络的稳定性和可靠性,而网络环境下未标记样本较有标记样本容易获得,对此提出了基于半监督分类的异常检测框架.主要研究了高斯混合模型和直推式支持向量机,使用Slammer蠕虫相关BGP数据进行了实验,并对算法性能作了比较.实验证明半监督分类算法在BGP异常检测中切实可行.     

基于主成分分析的无监督异常检测

入侵检测系统在训练过程中需要大量有标识的监督数据进行学习,不利于其应用和推广．为了解决该问题,提出了一种基于主成分分析的无监督异常检测方法,在最小均方误差原则下学习样本的主要特征,经过压缩和还原的互逆过程后能最大限度地复制样本信息,从而根据均方误差的差异检测出异常信息．构建的仿真系统经过实验证明,基于主成分分析的无监督异常检测方法能够在无需专家前期参与的情况下检测出入侵,实验结果验证了其有效性．     

增量式健壮主成分分类器的无监督异常检测方法研究

传统的入侵检测算法对数据集的研究都是针对静态训练数据的,对于动态数据却显得无能为力。但在实际应用中,入侵行为层出不穷,入侵检测系统应能对新的入侵行为进行增量学习。为了解决该问题,在前期工作的基础上,提出一种基于增量式分类器的无监督异常检测方法;实验表明：该方法在训练数据为动态情况下,能够有效检测未知入侵,在检测率、误警率方面都达到较满意的结果,并在效率上有较大提高。     

利用无监督自适应的兴奋解说检测和体育比赛精彩片断提取

提出一种通过兴奋解说检测进行体育比赛精彩片断提取的方法.该方法包括训练和检测两个阶段:在训练中,基于训练数据对兴奋语音和普通语音分别建立高斯混合模型GMM(Gaussian Mixture Model),构成初始的分类器;在集外检测中,首先使用最大后验方法MAP(Maximum A Posteriori),基于测试数据对初始模型进行无监督自适应,进而利用更新后模型构成分类器识别体育解说的兴奋部分,经进一步处理得到精彩片断.将该方法用于足球比赛视频,实验表明,该方法能够召回87%的进球.引入无监督自适应有效地减少了由于训练数据与测试数据失配造成的性能下降,提高了兴奋解说检测和精彩片段提取的性能.     

无监督异常检测的核聚类和序列分析方法

利用核函数构造数据的特征空间并在此空间采用核函数结合RA算法选取初始聚类中心,在核k-means聚类基础上,划分出大簇小簇,然后在大簇中进行异类分离以发现实验数据中以小概率事件出现的R2L,U2R和PROBE攻击;并且在大簇中挖掘闭合序列模式,获得描述大簇的序列规则,从中判断是否存在DoS攻击.算法分析和实验结果表明提出的方法可以获得较高的检测率并降低误报率.     

一种非纯净训练数据异常入侵检测方法

异常入侵检测系统在训练阶段建立对象的正常行为模型，在测试阶段把它与对象的行为进行比较，如果出现了大于给定域值的偏差，就认为发生了入侵．通常建立对象正常行为模型的方法是用没有入侵的数据训练系统．这种方法存在实用性和可靠性方面的缺陷：人工合成的训练数据基表可以保证没有攻击，但它与入侵检测系统将要实际工作的环境有很大的差别；而从实际使用环境提取的训练数据又不能保证不合有攻击．本文提出了一种基于网络的非纯净训练数据的异常入侵检测方法ADNTD（Anomaly Detection for Noisy Training Data），它通过过滤训练数据中的低概率特征域的方法过滤掉训练数据中的攻击数据并建立网络的正常行为模型，以保证即使训练数据含有攻击的情况下仍能取得较好的检测效果．实验结果显示：在训练数据含有攻击时，ADNTD的性能明显好于以前的系统；在采用纯净数据训练时，ADNTD也具有与以前的系统相当的性能；ADNTD用带有攻击的数据训练的情况下仍能达到以前的同类系统用纯净数据训练相同的检测性能．     

轨迹大数据异常检测:研究进展及系统框架

定位技术与普适计算的蓬勃发展催生了轨迹大数据,轨迹大数据表现为定位设备所产生的大规模高速数据流。及时、有效地对以数据流形式出现的轨迹大数据进行分析处理,可以发现隐含在轨迹数据中的异常现象,从而服务于城市规划、交通管理、安全管控等应用。受限于轨迹大数据固有的不确定性、无限性、时变进化性、稀疏性和偏态分布性等特征,传统的异常检测技术不能直接应用于轨迹大数据的异常检测。由于静态轨迹数据集的异常检测方法通常假定数据分布先验已知,忽视了轨迹数据的时间特征,也不能评测轨迹大数据中动态演化的异常行为。面对轨迹大数据低劣的数据质量和快速的数据更新,需要利用有限的系统资源处理因时变带来的概念漂移,实时检测多样化的轨迹异常,分析轨迹异常间的因果联系,继而识别更大时空区域内进化的、关联的轨迹异常,这是轨迹大数据异常检测的核心研究内容。此外,融合与位置服务应用相关的多源异质数据,剖析异常轨迹的起因以及其隐含的异常事件,也是轨迹大数据异常检测当下亟待研究的问题。为解决上述问题,对轨迹异常检测技术的研究成果进行了分类总结。针对现有轨迹异常检测方法的局限性,提出了轨迹大数据异常检测的系统架构。最后,在面向轨迹流的在线异常检测、轨迹异常的演化分析、轨迹异常检测系统的基准评测、异常检测结果语义分析的数据融合、以及轨迹异常检测的可视化技术等方面探讨了今后的研究工作。     

FART在非监督式网络异常检测中的应用

目前的入侵检测系统主要采用的是基于特征的误用方法。另外,近几年出现的基于数据挖掘技术的入侵检测方法则需要依靠带标识的训练数据来保证检测效果,然而在现实环境中,训练数据往往是难以获得的。与之相比,非监督式的异常检测系统则具有独特的优势,它无需大量的带标识的、用于标明各种攻击的训练数据,而只需要寻找和定义正常的分类,因此,它具有在不具备任何先验知识的情况下发现新型攻击的能力。文章提出了一种采用模糊自适应谐振网(fuzzyART)发现网络入侵的新方法,并在最后采用KDDCUP99的测试数据集对该方法进行了评估,证实了该方法在网络异常检测中的有效性。     

基于模型共享的分布式异常检测方法

传统集中式异常检测方法需要耗费大量的网络资源和计算时间。为此,提出一种基于模型共享的分布式异常检测方法。利用多数投票、边界扩展、平均叠加以及距离加权这4种集成学习方法得到全部局部模型,通过交换本地数据挖掘模型的方式实现数据共享,构造总体的集成式学习模型。实验结果表明,该模型能从全局的观点检测异常,减少集中式检测所需的数据传输量,有效地保护数据的隐私性。     

基于数据挖掘技术的Web应用异常检测

本文提出的异常检测系统以Web日志文件作为输入,利用数据挖掘技术建立两种异常检测模型,分别对待测的Web请求记录输出五个异常概率,对各概率进行加权处理后得到一个最终的异常概率。     

数据挖掘技术在网络型异常入侵检测系统中的应用

网络型异常检测的关键问题在于建立正常模式，将当前的系统或用户行为与建立好的正常模式进行比较，判断其偏离程度。简单介绍了数据挖掘算法以及基于数据挖掘的入侵检测系统的分类，从不同分类的角度介绍了数据挖掘方法在入侵检测系统中的应用。重点对比了模式比较的各种方法，并且使用网络型异常检测方法验证收集的正常数据是否充足的问题。     

基于系统调用和数据挖掘的程序行为异常检测

异常检测是目前入侵检测研究的主要方向之一。该文提出一种新的程序行为异常检测方法,主要用于Linux或Unix平台上以系统调用为审计数据的入侵检测系统。该方法利用数据挖掘技术中的序列模式对特权程序的正常行为进行建模,根据系统调用序列的支持度和可信度在训练数据中提取正常模式。在检测阶段,通过序列模式匹配对被监测程序的行为异常程度进行分析,提供两种可选的判决方案。实验结果表明,该方法具有良好的检测性能。     

面向多元时序数据的个性化联邦异常检测方法

随着实时传感器在诸如机场、发电厂、智能工厂和医疗保健系统等各种领域的广泛运用,对多变量时间序列数据的异常检测变得更加重要。然而,目前面临两个关键的挑战。数据机构的敏感数据通常以孤岛的形式存在,这使得在保护隐私安全的前提下难以融合数据,无法训练出高性能的异常检测模型。不同数据机构的数据存在统计异构性,在个性化数据场景下,使用统一的异常检测模型的性能不佳。提出了一种面向多元时序数据的个性化联邦异常检测框架FedPAD（federated personalized anomaly detection）。FedPAD基于联邦学习架构,在保护隐私的前提下进行数据聚合,通过微调构建相对个性化的模型。在NASA航天器数据集上的实验表明,FedPAD能够实现准确和个性化的异常检测,相比于基准方法F1分数平均提高了6.9%。