基于矢量量化分析的有监督聚类异常检测方法研究

将聚类分析应用于监督学习,提出了基于矢量量化分析与Markov模型相结合的入侵检测方法.首先利用矢量量化方法对正常特权进程的短系统调用序列进行聚类分析,进而利用Markov模型来学习聚类之间的时序关系.由Markov模型产生的状态序列计算状态概率,根据状态序列概率来评价进程行为的异常情况.在矢量量化中利用动态分裂算法对短系统调用序列进行聚类分析,充分提取特权进程的局部行为特征的相互关系,因此可以在训练集很小的条件下使模型更精确、检测能力大大增强.实验表明,该算法准确率高、所需的训练集小(训练量小)、实时性强和占用系统资源少.     

基于线性预测与马尔可夫模型的入侵检测技术研究

入侵检测技术是现代计算机系统安全技术中的重要组成部分．该文提出了基于线性预测与马尔可夫模型相结合的入侵检测方法．首先提取特权进程的行为特征,引入时间序列分析技术——用线性预测技术对特权进程产生的系统调用序列提取特征向量来建立正常特征库,并在此基础上建立了马尔可夫模型．由马尔可夫模型产生的状态序列计算状态概率,根据状态序列概率来评价进程行为的异常情况．然后,利用马尔可夫信源熵与条件熵进行参数选取,对模型进行优化,进一步提高了检测率．实验表明该算法准确率高、实时性强、占用系统资源少．     

基于系统调用和齐次Markov链模型的程序行为异常检测

异常检测是目前入侵检测领域研究的热点内容.提出一种新的基于系统调用和Markov链模型的程序行为异常检测方法,该方法利用一阶齐次Markov链对主机系统中特权程序的正常行为进行建模,将Markov链的状态同特权程序运行时所产生的系统调用联系在一起,并引入一个附加状态;Markov链参数的计算中采用了各态历经性假设;在检测阶段,基于状态序列的出现概率对特权程序当前行为的异常程度进行分析,并根据Markov链状态的实际含义和程序行为的特点,提供了两种可选的判决方案.同现有的基于隐Markov模型和基于人工免疫原理的检测方法相比,提出的方法兼顾了计算成本和检测准确度,特别适用于在线检测.该方法已应用于实际入侵检测系统,并表现出良好的检测性能.     

半监督在线增量自学习异常检测方法研究

在深入分析现有基于监督学习和非监督学习方法的缺点后,提出了一个新颖的基于K-means与Markov模型相结合的半监督异常检测方法.半监督方法的学习样本包括已标示类别的样本和未标示样本,并且通过对已标示样本的学习来指导对未标示样本的学习来提高识别率.方法首先将经过标示的(正常的)系统调用序列投影到高维空间进行有监督聚类后,利用Markov模型来学习聚类间的时序关系,建立起正常行为的初始模型.由Markov模型产生的状态序列计算状态概率,根据状态序列概率来评价进程行为的异常情况.正常行为模型由2种关系确定:①空间分布关系(聚类);②空间的时序关系(Markov模型).在初始模型的导引下对未标示的序列进行学习,利用迭代过程对模型进行改进.实验表明,该算法能够在已标示样本较少的情况下通过对未标示样本的学习来改善模型的检测性能,达到在线增量学习的目的.     

系统调用序列的Markov模型及其在异常检测中的应用

建立了计算机系统中系统调用序列的Markov模型，并在此模型的基础上提出了一种用于计算机异常检测的方法，文章利用统计方法分析进程中系统调用的发生情况，定义了一个依赖于状态转移概率的失配因子，并用它来计算失配率，由此判断被监视进程进行的操作是正常行为还是异常行为，文章还提出了一种基于遗忘因子的状态转移概率的更新算法。     

基于系统调用的Linux系统入侵检测技术研究

提出了一种基于系统调用、面向进程的Linux系统入侵检测方法:利用LKM(Loadable Kernel Modules)技术在Linux内核空间获取检测源数据--所考察进程的系统调用,使用基于极大似然系统调用短序列的Markov模型提取进程的正常行为特征,据此识别进程的异常行为.通过实验表明了此方法的可行性和有效性;并分析了方法在实现中的关键问题.     

基于隐Markov模型的文本分类

把基于序列模型的隐Markov模型引入文本分类领域。把待分类文本描述成一系列状态演化的隐Markov过程,其中状态以特定的概率产生代表文本的特征项。用序列模式来描述文本类,文本序列通过与隐Markov模型的匹配,求出其对应状态序列和最大输出概率。比较各个文本类的结果,达到文本分类的目的。最后通过和简单向量算法,KNN,Naive Bayes分类算法的比较,说明本算法的在文本分类中的成功应用。     

Linux进程行为结构提取与异常检测

研究了Linux进程行为结构及其异常检测问题。讨论了程序结构和程序踪迹之间的联系,认为正常运行的进程在整体结构上总具有一定的规律性,并据此提出了进程行为“结构异常”的概念。在此基础上,采用Markov链概率预报模型,提出了一种序列分段检测的新策略,将进程的结构异常检测和统计异常检测有机结合起来,实验结果初步表明该方法是可行、有效的。最后简要说明了方法的优点和不足。     

基于Improved-HMM的进程行为异常检测

针对传统隐马尔可夫模型(HMM)状态转移概率仅与前一状态有关的不足,提出了一种改进的隐马尔可夫模型(Im-proved-HMM),该模型考虑到状态转移概率与前两时刻状态相关,旨在提高异常检测准确率。用基于Improved-HMM的Baum-Welch(BW)算法对正常进程行为进行建模,并采用滑动窗口的方法,检测进程行为是否处于异常状态。实验结果表明,该模型的检测准确率高于传统的HMM模型,能及时、准确检测到进程行为的异常。     

基于马尔可夫模型的临床序列异常检测

针对单病种临床序列大都具有类似的时序频繁模式,提出一种基于马尔可夫模型的临床序列检测模型。采用编辑距离算法对临床序列进行数据转换,构造其特征空间;根据特征空间中频繁模式在临床序列中的时序构建马尔可夫模型,获取模型的参数;将参数和待检序列代入检测模型进行频繁模式迁移支持概率的计算;比对计算结果与给定阈值偏差,确定临床行为的异常性。实验结果表明,在选取合适的参数值的基础上,可有效的检测出异常的临床行为。     

一个两层马尔可夫链异常入侵检测模型

在现有的单层马尔科夫链异常检测模型基础上,提出一种崭新的两层模型.将性质上有较大差异的两个过程,不同的请求和同一请求内的系统调用序列,分为两层,分别用不同的马尔可夫链来处理.两层结构可以更准确地刻画被保护服务进程的动态行为,因而能较大地提高异常的识别率,降低误警报率.而且异常检测出的异常将被限制在相应的异常真正发生的请求区内.检测模型适合于针对特权进程(特别是基于请求?反应型的特权进程)的异常入侵检测.     

基于混合马尔科夫树模型的ICS异常检测算法

针对工业控制系统中现有异常检测算法在语义攻击检测方面存在的不足,提出一种基于混合马尔科夫树模型的异常检测算法,充分利用工业控制系统的阶段性和周期性特征,构建系统正常运行时的行为模型|混合马尔科夫树.该模型包含合法的状态事件、合法的状态转移、正常的概率分布以及正常的转移时间间隔等4种信息,基于动态自适应的方法增强状态事件的关联度并引入时间间隔信息以实现对复杂语义攻击的检测,语义建模时设计一种剪枝策略以去除模型中的低频事件、低转移事件以及冗余节点,当被检测行为使得模型的以上4种信息产生的偏差超过阈值时,判定该行为异常.最后,基于OMNeT++网络仿真环境构建一个简化的污水处理系统对本文算法进行功能性验证,并利用真实物理测试床的数据集对算法的检测准确度进行性能验证.验证结果表明,本文算法能有效消除人机交互和常规诊断等操作带来的噪声影响,对复杂语义攻击具有较高的检出率,且能识别传统的非语义攻击.     

协同业务过程的随机行为分析方法

参与组织随机行为是评价业务协同有效实施的一个关键因素。结合进程代数和马尔科夫链,提出了一种协同业务过程的随机行为分析方法。首先,使用有限状态自动机建模每个参与组织的业务过程,通过引入异步消息通信关系定义协同业务过程。其次,提出将参与组织业务过程转换成通信顺序进程（Communication Sequential Process,CSP）方法,进而将每个参与组织业务过程对应CSP进程并发组合得到协同业务过程对应的CSP进程,并根据CSP操作语义构建协同业务过程的状态迁移模型。最后,引入状态迁移模型正则化概念,从理论上证明正则化的状态迁移模型与一个齐次马尔科夫链相对应,进而根据平衡方程求得状态迁移系统中每个状态的稳定概率,以此为基础实现参与组织随机行为分析。通过对电设备采购过程建模与随机行为分析阐述该方法的可行性和有效性。     

基于高阶Markov链的重大决策社会风险变权集对预测模型

为提高政府对重大决策社会风险的治理能力,基于高阶Markov链理论,借助变权方法和集对分析方法,构建重大决策社会风险预测模型.首先,将重大决策前后的社会风险指标状态集组成集对;然后,利用指标变权计算不同时刻的集对联系度和状态转移概率矩阵,以克服传统常权无法反映指标值次序重要性的问题;最后,利用更接近客观实际的高阶Markov链预测集对联系度,并进行社会风险态势分析,其中Markov链的高阶系数根据状态转移概率矩阵间的相似度计算.以某市PX项目决策为例进行方法验证和比较,结果表明所构建模型与传统模型相比,可以更有效、准确地对重大决策社会风险进行预测.另外,通过实例研究发现,专家的风险态度对短期的分析和预测影响较大,而对长期的分析和预测影响较小.     

An auto-framing method for stochastic process signal by using a hidden Markov model based approach

In this paper, an “auto-framing” method, an algorithmic method to divide stochastic time-series process data into appropriate intervals, is developed based on the approach of hidden Markov model (HMM). While enormous amounts of process time-series data are being measured and collected today, their use is limited by the high costs to gather, store, and analyze them. “Data-framing” refers to the task of dividing stochastic signal data into time frames of distinct patterns so that the data can be stored and analyzed in an efficient manner. Data-framing is typically carried out manually, but doing so can be both laborious and ineffective. For the purpose of automating the data-framing task, stochastic signals of switching patterns are modeled using a hidden Markov model (HMM) based jump linear system (JLS), which switches the stochastic model probabilistically in accordance with the underlying Markov chain. Based on the model, an estimator is constructed to estimate from the collected signal data the state sequence of the underlying Markov chain, which is subsequently used to decide on the framing points. An Expectation Maximization (EM) algorithm, which is composed of two optimal estimators, fixed interval Kalman smoother and Viterbi algorithm, is used to estimate for the state estimation. We demonstrate the effectiveness of the HMM-based approach for auto-framing using simulated data constructed based on real industrial data.     

A new method for positive and unlabeled learning with privileged information

Positive and unlabeled learning (PU learning) has been studied to address the situation in which only positive and unlabeled examples are available. Most of the previous work has been devoted to identifying negative examples from the unlabeled data, so that the supervised learning approaches can be applied to build a classifier. However, for the remaining unlabeled data, they either exclude them from the learning phase or force them to belong to a class, and this always limits the performance of PU learning. In addition, previous PU methods assume the training data and the testing data have the same features representations. However, we can always collect the features that the training data have while the test data do not have, these kinds of features are called privileged information. In this paper, we propose a new method, which is based on similarity approach for the problem of positive and unlabeled learning with privileged information (SPUPIL), which consists of two steps. The proposed SPUPIL method first conducts KNN method to generate the similarity weights and then the similarity weights and privileged information are incorporated to the learning model based on Ranking SVM to build a more accurate classifier. We also use the Lagrangian method to transform the original model into its dual problem, and solve it to obtain the classifier. Extensive experiments on the real data sets show that the performance of the SPUPIL is better than the state-of-the-art PU learning methods.

     

上下文场景识别模型的稀疏贝叶斯判别学习方法

在机器人场景识别问题中,将连续场景的相关性通过基于隐马尔可夫模型的上下文模型进行描述.采用不同于传统的使用生成模型方法学习上下文场景识别模型的方式,首先引入稀疏贝叶斯学习机对上下文模型中图像特征的后验概率进行建模,然后通过贝叶斯原理将稀疏贝叶斯模型与隐马尔可夫模型结合,提出一种能够实现上下文场景识别模型的判别学习方法.在真实场景数据库上的实验结果表明,由该方法得到的上下文场景识别系统具有很好的场景识别能力和泛化特性.