基于Web用户浏览行为的统计异常检测

提出一种基于Web用户访问行为的异常检测方案,用于检测应用层上的分布式拒绝服务攻击,并以具有非稳态流特性的大型活动网站为例,进行应用研究.根据Web页面的超文本链接特征和网络中各级Web代理对用户请求的响应作用,用隐半马尔可夫模型来描述服务器端观测到的正常Web用户的访问行为,并用与大多数正常用户访问行为特征的偏离作为一个流的异常程度的测量.给出了模型的参数化方法,推导了模型参数估计与异常检测算法,讨论了实际网络环境下异常检测系统的实现方法.最后用实际数据验证了模型和检测算法的有效性.仿真结果表明,该模型     

基于隐马尔科夫模型的用户行为异常检测方法

提出了一种基于HMM的用户行为异常检测的新方法,用shell命令序列作为审计数据,但在数据预处理、用户行为轮廓的表示方面与现有方法不同。仿真实验结果表明,本方法的检测效率和实时性相对较高,在检测准确率方面也有较大优势。     

半监督在线增量自学习异常检测方法研究

在深入分析现有基于监督学习和非监督学习方法的缺点后,提出了一个新颖的基于K-means与Markov模型相结合的半监督异常检测方法.半监督方法的学习样本包括已标示类别的样本和未标示样本,并且通过对已标示样本的学习来指导对未标示样本的学习来提高识别率.方法首先将经过标示的(正常的)系统调用序列投影到高维空间进行有监督聚类后,利用Markov模型来学习聚类间的时序关系,建立起正常行为的初始模型.由Markov模型产生的状态序列计算状态概率,根据状态序列概率来评价进程行为的异常情况.正常行为模型由2种关系确定:①空间分布关系(聚类);②空间的时序关系(Markov模型).在初始模型的导引下对未标示的序列进行学习,利用迭代过程对模型进行改进.实验表明,该算法能够在已标示样本较少的情况下通过对未标示样本的学习来改善模型的检测性能,达到在线增量学习的目的.     

主机型异常检测的隐半马尔可夫模型方法

提出基于HSMM模型的主机型入侵检测系统框架。以BSM审计数据作为数据源,提取正常主机行为的特权流系统调用序列,利用HSMM模型对正常主机行为进行建模,然后将当前主机行为与之比较,判定当前主机行为是否异常。选取特权流变化事件作为研究对象以缩短建模时间,同时滤去了过多的无用信息,一定程度上提高了检测效率。实验结果表明,提出的HSMM方法比HMM优越,同时该方法建模的系统不仅节省训练时间,而且在提高检测率的同时可以降低误报率。     

基于半监督学习的入侵检测系统

在入侵检测方法中,半监督学习作为一种特殊的学习形式,结合了监督学习与非监督学习在检测已知模式数据与未知模式数据方面各自的优点.据此,为进一步提高入侵检测系统的检测准确性,提出一种结合SVM与KMO(online kmeans)算法各自优点的半监督入侵检测模型.该模型首先利用SVM算法对全部的输入数据进行区分,然后将其认为的合法数据集用KMO算法分类,以该结果作为决策模块的输入并做出最终的响应.实验显示,文中模型比单独使用其中的任一种方法具有更高的检测准确率.由此可见,该模型对于实际的入侵检测系统具有实用价值.     

基于半监督分类的BGP异常检测

异常边界网关协议(BGP)事件会影响网络的稳定性和可靠性,而网络环境下未标记样本较有标记样本容易获得,对此提出了基于半监督分类的异常检测框架.主要研究了高斯混合模型和直推式支持向量机,使用Slammer蠕虫相关BGP数据进行了实验,并对算法性能作了比较.实验证明半监督分类算法在BGP异常检测中切实可行.     

基于自编码器和集成学习的半监督异常检测算法

异常检测用来预处理数据,挖掘异类数据信息,是数据挖掘的一种重要方法。近年来由于维度灾难问题,高维异常数据检测显得十分困难,针对上述问题提出一种基于自编码器和集成学习的半监督异常检测算法。首先利用自编码器降维,在编解码过程中异常数据的异常程度被增大,然后在AdaBoost提升框架中融合iforest、LOF、K-means算法,基于3种算法对于不同异常类型的敏感性,提升异常检测的准确性。选取UCI机器学习库中的高维异常数据集进行实验。实验结果表明,该模型的准确性相较于目前主流的异常检测算法有显著提升。     

基于半监督聚类的Web流量分类

提出了一种基于半监督学习的方法对Web流量进行聚类分析,使用隐马尔可夫模型对用户流量进行描述和聚类分析.该方法通过对少量数据进行人工标识,利用已标识数据对无监督聚类结果进行调整,以得到与人工分类匹配的聚类结果.使用真实的Web流量对提出的方法进行验证,实验结果表明该方法能有效地对Web流量进行分类,并得到相应的描述模型.     

基于隐马尔可夫模型的火焰检测

提出一种利用隐马尔可夫模型对普通视频中的火焰进行分析的方法,除应用运动和颜色分析对火焰进行识别外,还通过隐马尔可夫模型对火焰的闪烁特性进行分析。实验结果表明,该方法能有效区分火焰和具有火焰颜色的普通运动物体,减少了火灾监测中误报警的次数,具有一定的实际意义。     

基于半监督学习的无线网络攻击行为检测优化方法

针对如何优化深度学习技术在海量高维复杂的无线网络流量数据中有效发现异常攻击行为的问题,提出一种基于半监督学习的无线网络攻击行为检测优化方法(WiFi network attacks detection optimization method, WiFi-ADOM).首先基于无监督学习模型栈式稀疏自编码器提出2种网络流量特征表示向量：新特征值向量和原始特征权重值向量.然后利用原始特征权重值向量初始化监督学习模型深度神经网络的权重值得到网络攻击类型的预判结果,并通过无监督学习聚类方法Bi-kmeans对网络流量的新特征值向量进行聚类以生成未知攻击类型判别纠正项.最后结合预判结果和未知攻击类型判别纠正项,得到网络攻击类型的最终判定结果.通过和已有研究方法对比,在公开无线网络攻击行为数据集AWID上验证了WiFi-ADOM方法对网络攻击行为检测的优化性能,同时探索了与网络攻击检测相关的重要特征属性的问题.实验结果表明:WiFi-ADOM方法在保证准确率等检测性能的同时能够有效检测未知攻击类型,具备优化网络攻击行为检测的能力.     

基于半监督深度学习的木马流量检测方法

针对木马流量检测技术存在人工提取特征不够准确、大量标记样本获取困难、无标记样本没有充分利用、模型对于未知样本识别率较低等问题,提出基于半监督深度学习的木马流量检测方法,利用大量未标记网络流量用于模型训练.首先,采用基于mean teacher模型的检测方法提高检测准确率;然后,为解决mean teacher模型中采用随机噪声导致模型泛化能力不足的问题,提出基于虚拟对抗mean teacher模型的检测方法;最后,通过实验验证所提半监督深度学习检测方法在少标记样本下的二分类、多分类以及未知样本检测任务中具有更高的准确率.此外,基于虚拟对抗mean teacher模型的检测方法在多分类任务中比原始mean teacher模型表现出更强的泛化性能.     

基于半监督学习的恶意URL检测方法

检测恶意URL对防御网络攻击有着重要意义. 针对有监督学习需要大量有标签样本这一问题, 本文采用半监督学习方式训练恶意URL检测模型, 减少了为数据打标签带来的成本开销. 在传统半监督学习协同训练(co-training)的基础上进行了算法改进, 利用专家知识与Doc2Vec两种方法预处理的数据训练两个分类器, 筛选两个分类器预测结果相同且置信度高的数据打上伪标签(pseudo-labeled)后用于分类器继续学习. 实验结果表明, 本文方法只用0.67%的有标签数据即可训练出检测精确度(precision)分别达到99.42%和95.23%的两个不同类型分类器, 与有监督学习性能相近, 比自训练与协同训练表现更优异.     

一种基于半监督GHSOM的入侵检测方法

基于神经网络的入侵检测方法是入侵检测技术的一个重要发展方向.在已有无监督生长型分层自组织映射(growing hierarchical self-organizing maps, GHSOM)神经网络算法的基础上,提出了一种半监督GHSOM算法.该算法利用少量有标签的数据指导大规模无标签数据的聚类过程.一方面借鉴cop-kmeans半监督机制,解决了原始算法中返回空划分的问题,并将其应用到GHSOM算法中.另一方面提出了神经元信息熵的概念作为子网生长的判断条件,提高了GHSOM网络子网划分的精度.此外还利用有标签的数据自动确定聚类结果的入侵类型.对KDD Cup 1999数据集和LAN环境下模拟产生的数据集进行的入侵检测实验表明：相比于无监督的GHSOM算法,半监督的GHSOM算法对各种类型的攻击具有较高的检测率.     

基于深度学习的生理异常检测研究综述

生理信号通常涵盖机体的生物电活动、温度、压力等关键信息,监测其数值波动有助于预警临床事件风险.深度模型是包含多级非线性变换的层级机器学习模型,在特征提取与建模方面优势显著,在计算机辅助诊断领域有着巨大的应用前景.随着连续生理参数监测技术的进步,深度模型在生理电信号异常检测中的效用逐渐提高,研究重点也向临床应用领域拓展....     

基于深度学习框架的隐藏主题变量图模型

隐藏主题变量图模型是一种用节点表示潜在主题或者潜在主题变化的概率图模型.针对当前隐藏主题变量图模型只能提取单层主题节点的缺陷,提出一种基于深度学习框架的提取多层主题节点的概率图模型.该模型在隐藏主题变量图模型的底层增加预处理结构层,即引入自组织映射层,可以有效地提取不同层次的主题状态.另外,隐藏主题变量图模型使用了隐马尔可夫网络和条件随机场的相结合的模型.针对条件随机场,提出了一阶逻辑子句定义的特征函数.弥补了长距离依存特性的缺失.在此基础上提出了一种分层次提取主题状态的新深度学习算法.在国际通用的亚马逊情感分析数据、Tripadvisor情感分析数据上的实验表明,新算法可以提升情感分析的准确率.同时实验结果也表明,提取多层主题状态可以更好地挖掘宏观主题分布信息和评论的局部主题信息.     

基于半监督学习和信息增益率的入侵检测方案

针对现有未知攻击检测方法仅定性选取特征而导致检测精度较低的问题,提出一种基于半监督学习和信息增益率的入侵检测方案.利用目标网络在遭受攻击时反应在底层重要网络流量特征各异的特点,在模型训练阶段,为了克服训练数据集规模有限的问题,采用半监督学习算法利用少量标记数据获得大规模的训练数据集;在模型检测阶段,引入信息增益率定量分析不同特征对检测性能的影响程度,最大程度地保留了特征信息,以提高模型对未知攻击的检测性能.实验结果表明：该方案能够利用少量标记数据定量分析目标网络中未知攻击的重要网络流量特征并进行检测,其针对不同目标网络中未知攻击检测的准确率均达到90%以上.     

多协议交叉的HMM协议异常检测算法

随着网络攻击的不断多样化,现有的协议异常检测工作在准确率和实时性方面面临新的挑战。针对目前的协议异常检测方法只面向单一协议的恶意攻击而未考虑协议之间的关联,提出一种基于HMM的协议异常交叉检测算法。使用多个协议的语义关键词和时间标记来构造报文序列作为模型的训练集,提出协议报文语义合并算法并结合Baum-Welch算法构建多协议交叉的HMM,在序列化协议报文的同时收集子序列重复数来进一步校验HMM对存在大量循环操作的攻击行为的检测。通过在视频监控网络中进行仿真实验,证明该检测算法同现有的HMM异常检测方法相比,可以更准确地检测多种恶意攻击,同时具有一定的通用性。     

基于两阶段学习的半监督支持向量机分类算法

提出了一种基于两阶段学习的半监督支持向量机(semi-supervised SVM)分类算法.首先使用基于图的标签传递算法给未标识样本赋予初始伪标识,并利用k近邻图将可能的噪声样本点识别出来并剔除;然后将去噪处理后的样本集视为已标识样本集输入到支持向量机(SVM)中,使得SVM在训练时能兼顾整个样本集的信息,从而提高SVM的分类准确率.实验结果证明,同其它半监督学习算法相比较,本文算法在标识的训练样本较少的情况下,分类性能有所提高且具有较高的可靠性.