基于Shell命令和DTMC模型的用户行为异常检测新方法

提出一种新的基于离散时间Markov链模型的用户行为异常检测方法,主要用于以shell命令为审计数据的入侵检测系统。该方法在训练阶段充分考虑了用户行为复杂多变的特点和审计数据的短时相关性,将shell命令序列作为基本数据处理单元,依据其出现频率利用阶梯式的数据归并方法来确定Markov链的状态,同现有方法相比提高了用户行为轮廓描述的准确性和对用户行为变化的适应性,并且大幅度减少了状态个数,节约了存储成本。在检测阶段,针对检测实时性和准确度需求,通过计算状态序列的出现概率分析用户行为异常程度,并提供了基于固定窗长度和可变窗长度的两种均值滤噪处理及行为判决方案。实验表明,该方法具有很高的检测性能,其可操作性也优于同类方法。     

基于机器学习的用户行为异常检测模型

针对LaneT等人提出的用户行为异常检测模型的不足,提出了一种新的IDS异常检测模型。该模型改进了用户行为模式和行为轮廓的表示方式,采用了新的相似度赋值方法,在对相似度流进行平滑时引入了“可变窗长度”的概念,并联合采用多个判决门限对用户行为进行判决。基于Unix用户shell命令数据的实验表明,该文提出的检测模型具有更高的检测性能。     

面向Unix和Linux平台的网络用户伪装入侵检测

基于主机的入侵检测是目前网络安全领域研究的热点内容。提出了一种基于数据挖掘和变长序列匹配的用户伪装入侵检测方法,主要用于Unix或Linux平台上以shell命令为审计数据的主机型入侵检测系统。该方法针对用户行为复杂多变的特点以及审计数据的短时相关性,利用多种长度不同的shell命令短序列来描述用户行为模式,并基于数据挖掘技术中的序列支持度在用户界面层对网络合法用户的正常行为进行建模;在检测阶段,采用了基于变长序列匹配和判决值加权的检测方案,通过单调递增相似度函数赋值和加窗平滑滤噪对被监测用户当前行为的异常程度进行精确分析,能够有效降低误报率,增强了检测性能的稳定性。实验表明,同目前典型的伪装入侵检测方法相比,该方法在检测准确度和计算成本方面均具有较大优势,特别适用于在线检测。     

基于Shell命令和共生矩阵的用户行为异常检测方法

用户行为异常检测是当前网络安全领域研究的热点内容.提出一种新的基于共生矩阵的用户行为异常检测方法,主要用于Unix或Linux平台上以shell命令为审计数据的入侵检测系统.该方法在训练阶段充分考虑了用户行为复杂多变的特点和审计数据的时序相关属性,依据shell命令的出现频率并利用阶梯式的数据归并方法来确定事件,然后构建模型矩阵来刻画用户的正常行为.在检测阶段,首先为每一个当前事件序列构建一个部分正则化共生矩阵,然后根据矩阵2范数计算这些矩阵与模型矩阵的距离,得到距离流,最后通过平滑滤噪处理距离流来判决用户行为.在Purdue大学实验数据和SEA实验数据上的两组实验结果表明,该方法具有很高的检测性能,其可操作性也优于同类方法.     

基于隐马尔科夫模型的用户行为异常检测方法

提出了一种基于HMM的用户行为异常检测的新方法,用shell命令序列作为审计数据,但在数据预处理、用户行为轮廓的表示方面与现有方法不同。仿真实验结果表明,本方法的检测效率和实时性相对较高,在检测准确率方面也有较大优势。     

一种序列挖掘模型用于异常检测的研究

应用序列挖掘方法对用户命令序列进行分析，建立用户行为概貌，并针对用户使用的高频命令序列用统计分析的方法对其进行独特性评价。实验结果表明，该方法稳定可靠。是一种较理想的异常检测模型。     

基于模式挖掘的用户行为异常检测

行为模式通常反映了用户的身份和习惯，该文阐述了针对Telnet会话中用户执行的shell命令，利用数据挖掘中的关联分析和序列挖掘技术对用户行为进行模式挖掘的方法，分析了传统的相关函数法在应用于序列模式比较时的不足，提出了基于递归式相关函数的模式比较算法，根据用户历史行为模式和当前行模式的比较相似度来检测用户行为中的异常，最后给出了相应的实验结果。     

基于shell命令和多重行为模式挖掘的用户伪装攻击检测

伪装攻击是指非授权用户通过伪装成合法用户来获得访问关键数据或更高层访问权限的行为.近年来,伪装攻击检测在保障网络信息安全中发挥着越来越大的作用.文中提出一种新的用户伪装攻击检测方法.同现有的典型检测方法相比,该方法在训练阶段改进了对用户行为模式的表示方式,通过合理选择用户行为特征并基于阶梯式的序列模式支持度来建立合法用户的正常行为轮廓,提高了用户行为描述的准确性和对不同类型用户的适应性;在充分考虑shell命令审计数据时序特征的基础上,针对伪装攻击行为复杂多变的特点,提出基于多重行为模式并行挖掘和多门限联合判决的检测模型,并通过交叉验证和等量迭代逼近方法确定最佳门限参数,克服了单一序列模式检测模型在性能稳定性和容错能力方面的不足,在不明显增加计算成本的条件下大幅度提高了检测准确度.文中提出的方法已应用于实际检测系统,并表现出良好的检测性能.     

基于概率模糊认知图的混合入侵检测方法

结合模糊认知图理论，构造基于概率模糊认知图（PFCM）的攻击图来描述入侵行为，提出一种结合误用检测和异常检测的基于PFCM的混合入侵检测方法．该方法用模糊概念描述异常，用数值运算代替模式匹配，并利用概率测度有效表示各因素问关系的不确定性．构造基于PFCM的Smurf攻击图并进行检测实验，实验结果表明该方法能在保持高检测率的情况下降低误报率，并具有较好的鲁棒性．     

基于应用层协议关键词序列的应用层异常检测方法

提出一种基于应用层协议关键词序列的应用层异常检测方法.它用应用层协议关键词和关键词之间的时间间隔构成观测序列,用隐半马尔可夫模型来刻画正常用户在使用每种应用层协议时的行为.该方法可分为模型训练和异常检测两个阶段:在模型训练阶段,利用前后向算法训练得到正常用户在使用每种应用层协议时其行为的隐半马尔可夫模型;在异常检测阶段,在线统计每个观测序列相对于模型的平均对数或然概率,当发现某个用户在使用某种应用层协议的过程中其行为出现异常时,采取调整该用户数据流的优先级或者带宽的方式来对该用户的异常行为进行控制,从而可以自动纠正用户的异常行为.使用包括DARPA测试数据集在内的一些数据对该方法进行了验证.实验结果表明该方法能很好地描述正常用户在使用应用层协议时的行为,并且在检测用户异常行为时具有很高的检测率和很低的误报率.     

Host-based intrusion detection using dynamic and static behavioral models

Intrusion detection has emerged as an important approach to network security. In this paper, we adopt an anomaly detection approach by detecting possible intrusions based on program or user profiles built from normal usage data. In particular, program profiles based on Unix system calls and user profiles based on Unix shell commands are modeled using two different types of behavioral models for data mining. The dynamic modeling approach is based on hidden Markov models (HMM) and the principle of maximum likelihood, while the static modeling approach is based on event occurrence frequency distributions and the principle of minimum cross entropy. The novelty detection approach is adopted to estimate the model parameters using normal training data only, as opposed to the classification approach which has to use both normal and intrusion data for training. To determine whether or not a certain behavior is similar enough to the normal model and hence should be classified as normal, we use a scheme that can be justified from the perspective of hypothesis testing. Our experimental results show that the dynamic modeling approach is better than the static modeling approach for the system call datasets, while the dynamic modeling approach is worse for the shell command datasets. Moreover, the static modeling approach is similar in performance to instance-based learning reported previously by others for the same shell command database but with much higher computational and storage requirements than our method.     

基于支持向量方法和击键序列的主机入侵检测

击键特征是一种能反映用户行为的动态特征,可作为识别用户的信息源。传统方法不仅要求收集大量击键样本来建立识别模型,并且同时需要正例样本与反例样本。但在实际应用中,需要用户提供大量的训练样本是不现实的,并且反例样本收集比正例样本收集困难。为此,提出一种新的以击键序列为信息源的主机入侵检测模型。在小样本和仅有正例的情况下,通过One-Class支持向量机（OCSVM）来训练检测模型,通过对用户的击键行为是否偏离正常模型来检测入侵。仿真实验结果表明该模型具有较好的检测效果。     

Sequential anomaly detection based on temporal-difference learning: Principles,models and case studies

Anomaly detection is an important problem that has been popularly researched within diverse research areas and application domains. One of the open problems in anomaly detection is the modeling and prediction of complex sequential data, which consist of a series of temporally related behavior patterns. In this paper, a novel sequential anomaly detection method based on temporal-difference (TD) learning is proposed, where the anomaly detection problem of multi-stage cyber attacks is considered as an application case. A Markov reward process model is presented for the anomaly detection and alarming process of sequential data and it is verified that when the reward function is properly defined, the anomaly probabilities of sequential behaviors are equivalent to the value functions of the Markov reward process. Therefore, TD learning algorithms in the reinforcement learning literature can be used to efficiently construct anomaly detection models of complex sequential behaviors by estimating the value functions of the Markov reward process. Compared with other machine learning methods for anomaly detection, the proposed approach has the advantage of simplified labeling process using delayed evaluative signals and the prediction accuracy can be improved even if labeled training data are limited. Based on the experimental results on intrusion detection of host computers using system call data, it was shown that the proposed anomaly detection method can achieve higher or at least comparable detection accuracies than other approaches including SVMs, and HMMs.     

An Empirical Study of Two Approaches to Sequence Learning for Anomaly Detection

This paper introduces the computer security domain of anomaly detection and formulates it as a machine learning task on temporal sequence data. In this domain, the goal is to develop a model or profile of the normal working state of a system user and to detect anomalous conditions as long-term deviations from the expected behavior patterns. We introduce two approaches to this problem: one employing instance-based learning (IBL) and the other using hidden Markov models (HMMs). Though not suitable for a comprehensive security solution, both approaches achieve anomaly identification performance sufficient for a low-level focus of attention detector in a multitier security system. Further, we evaluate model scaling techniques for the two approaches: two clustering techniques for the IBL approach and variation of the number of hidden states for the HMM approach. We find that over both model classes and a wide range of model scales, there is no significant difference in performance at recognizing the profiled user. We take this invariance as evidence that, in this security domain, limited memory models (e.g., fixed-length instances or low-order Markov models) can learn only part of the user identity information in which we're interested and that substantially different models will be necessary if dramatic improvements in user-based anomaly detection are to be achieved.     

融合密度聚类与集成学习的数据库异常检测

目前,针对数据库系统内部攻击与威胁的检测方法较少,且已有的数据库异常检测方案存在代价开销高、检测准确率低等问题.为此,将密度聚类和集成学习融合,提出一种基于密度聚类和集成学习的数据库异常检测方法.利用OPTICS(Ordering Points To Identify the Clustering Structure)密度聚类算法对用户产生的数据库SQL操作日志进行聚类,通过对SQL语句中的各属性进行分析,提取用户的异常行为,形成先验知识;将Bagging、Boosting和Stacking进行组合,形成集成学习模型,以OPTICS聚类形成的先验知识为基础,并利用该集成学习模型对用户行为作进一步分析,并创建用户行为特征库.基于用户形成特征库,对用户行为进行检测.给出了方案的详细构建过程,包括数据预处理、训练、学习模型建立以及异常检测;利用相关实验数据进行测试,结果表明本方案能以较高的效率检测出数据库异常行为,并且在准确率方面优于同类方案.     

基于机器学习的用户与实体行为分析技术综述

随着网络安全技术的更新迭代,新型攻击手段日益增加,企业面临未知威胁难以识别的问题。用户与实体行为分析是识别用户和实体行为中潜在威胁事件的一种异常检测技术,广泛应用于企业内部威胁分析和外部入侵检测等任务。基于机器学习方法对用户和实体的行为进行模型建立与风险点识别,可以有效解决未知威胁难以检测的问题,增强企业网络安全防护能力。回顾用户与实体行为分析的发展历程,重点讨论用户与实体行为分析技术在统计学习、深度学习、强化学习等3个方面的应用情况,研究具有代表性的用户与实体行为分析算法并对算法性能进行对比分析。介绍4种常用的公共数据集及特征工程方法,总结两种增强行为表述准确性的特征处理方式。在此基础上,阐述归纳典型异常检测算法的优劣势,指出内部威胁分析与外部入侵检测的局限性,并对用户与实体行为分析技术未来的发展方向进行展望。