多节点系统异常日志流量模式检测方法

随着国家高性能计算环境各个节点产生日志数量的不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.提出一种异常日志流量模式的定义方法：同一节点相同时间片内日志类型的有序排列代表了一种日志流量模式,并以该方法为出发点,实现了一个异常日志流量模式检测方法,用来自动挖掘异常日志流量模式.该方法从系统日志入手,根据日志内容的文本相似度进行自动分类.然后将相同时间片内日志各个类型出现的次数作为输入特征,基于主成分分析的异常检测方法对该输入进行异常检测,得到大量异常的日志类型序列.之后,使用基于最长公共子序列的距离度量对这些序列进行层次聚类,并将聚类结果进行自适应K项集算法,以得出不同异常日志流量模式的序列代表.将国家高性能计算环境半年产生的日志根据不同时间段（早、晚、夜）使用上述方法进行分析,得出了不同时间段的异常日志流量模式和相互关系.该方法也可以推广到其他分布式系统的系统日志中.     

异常权限配置下的角色挖掘方案

角色挖掘是构建RBAC系统的常用方法,但目前的角色挖掘方案在设计时未考虑原始系统存在异常权限配置问题,导致角色挖掘的结果可能包含错误的角色权限配置,给系统带来极大的安全风险。针对该问题,文章提出一种异常权限配置下的角色挖掘方案。首先在用户聚类部分引入Canopy预聚类,通过预聚类提取子集交叠数据,缩小后续谱聚类计算量;然后结合预聚类结果优化谱聚类的初始值选取,并针对访问控制数据由布尔值表示的特点,采用杰卡德距离和汉明距离相结合的方式对Canopy预聚类和谱聚类的距离进行度量,提高用户聚类效果;最后对异常权限配置检测规则进行细化,利用修正后的用户聚类结果进行角色挖掘。实验结果表明,该方案能够有效发现异常权限配置,提高角色挖掘效率。     

融合密度聚类与集成学习的数据库异常检测

目前,针对数据库系统内部攻击与威胁的检测方法较少,且已有的数据库异常检测方案存在代价开销高、检测准确率低等问题.为此,将密度聚类和集成学习融合,提出一种基于密度聚类和集成学习的数据库异常检测方法.利用OPTICS(Ordering Points To Identify the Clustering Structure)密度聚类算法对用户产生的数据库SQL操作日志进行聚类,通过对SQL语句中的各属性进行分析,提取用户的异常行为,形成先验知识;将Bagging、Boosting和Stacking进行组合,形成集成学习模型,以OPTICS聚类形成的先验知识为基础,并利用该集成学习模型对用户行为作进一步分析,并创建用户行为特征库.基于用户形成特征库,对用户行为进行检测.给出了方案的详细构建过程,包括数据预处理、训练、学习模型建立以及异常检测;利用相关实验数据进行测试,结果表明本方案能以较高的效率检测出数据库异常行为,并且在准确率方面优于同类方案.     

基于密度聚类算法的入侵检测研究

本文联系异常检测和数据挖掘,从理论上着重分析了在入侵检测系统中应用基于密度聚类算法的必要性和有效性,从TCPDump网络数据和系统日志中提取分析后生成特征数据,通过Clenmine中CEMI实现定制的基于密度的改进DBSCAN算法进行测试,结果表明利用该算法可以较好地识别分布式拒绝服务攻击等多种入侵行为。     

基于日志多特征融合的无监督异常检测算法

日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.     

Web日志挖掘在网络教学中的应用研究

在网络教学模式下,学生学习的过程就是访问教学网站页面的过程,这些访问都能被完整地记录在系统日志中,通过对日志的分析挖掘,可以找出学生行为模式;在另一方面,教学网站的结构组织是不是符合学生和教师学习和教学的规律,通过对网站日志的分析也可以得到.所有这些都离不开数据挖掘技术.文章提出了基于Wdb日志挖掘的模型,并对组成该系统的关键模块进行了分析.通过统计分析挖掘页面兴趣度和分类聚类方法对学生进行划分,有效地改善网站结构、更好地为学生服务,提高教学质量水平.     

改进的基于日志聚类的异常检测方法

针对基于日志聚类的异常检测方法(LogCluster)处理的日志类型单一的问题,提出一种改进的基于LogCluster的日志异常检测方法,SW-LogCluster。通过使用滑动窗口(sliding window)的方式将日志划分为日志序列,将划分后的日志序列向量化来进行特征提取,使其既能检测带标记符的日志,也能检测不带标记符的日志,扩展原始方法的应用范围。实验结果表明,SW-LogCluster方法能对所有类型的非结构化日志进行检测,有效扩展了LogCluster方法的适用性。     

聚类算法在入侵检测中的应用

入侵检测中对未知入侵的检测主要由异常检测完成,传统的异常检测方法需要构造一个正常行为特征轮廓的参考模型,但获取完全正常的数据比较困难。介绍的聚类技术是应用到入侵异常检测中的一种较为新颖的技术,是一种无需指导的异常检测技术,可以区分哪些是正常记录,哪些是异常记录。分析了将聚类方法应用于入侵检测中的可行性及对数据处理的标准化方法。另外,给出了基于覆盖的聚类算法与两种经典聚类算法的比较。     

基于K-Medoide聚类的黑客画像预警模型

针对复杂的网络攻击行为,以网站安全日志数据作为研究基础,构建一套基于黑客群体画像的预警模型.根据安全日志数据提取黑客的行为特征构建黑客画像;使用K-Medoide算法对黑客画像进行聚类,构建黑客群体画像,同时分析每个簇的主要特征,根据攻击手段给出相应的预防措施;设计一套基于黑客群体画像的预警模型.实验结果表明,簇数为8时聚类效果最佳,聚类模型响应准确率达到98.3％以上,验证了预警模型的可行性.     

基于W-Kmeans算法的DNS流量异常检测

为了对DNS查询进行有效检测,及时发现DNS流量异常,提出了适合于检测DNS流量异常的权重Kmeans (WKmeans)算法.对CN顶级域2009年5月19日的原始查询日志抽取有用信息,提取相关的向量特征,对不同的向量特征赋予不同的权重值.利用W-Kmeans算法对查询日志进行聚类检测,并分析了算法各种参数选择的影响.5.19事件的DNS查询检测结果表明,W-Kmeans算法可以有效检测DNS流量异常的发生.     

一种改进Hausdorff距离和谱聚类的车辆轨迹模式学习方法

为了对交通监控视频中的异常行为进行检测,需要对车辆的运动轨迹进行分析,但由于噪声、遮挡等原因,不可能获得完整的运动轨迹,导致分析结果不准确。针对此类问题,提出基于改进Hausdorff距离和谱聚类的轨迹聚类方法,首先对提取到的轨迹进行预处理,然后利用改进的Hausdorff距离进行轨迹相似度度量,最后通过谱聚类方法对距离矩阵进行聚类,得到符合实际情况的聚类结果。实验结果表明,该方法具有较好的鲁棒性和有效性。     

系统日志模板提取方法研究

提取日志模板是处理海量系统日志十分有效的方法.本文以Web系统日志为切入点,采用基于标签识别树的模板提取方法提取日志模板,并在其基础上,研究并完善了其日志预处理和模板表达式生成方法.针对于系统日志普遍存在的结构复杂问题,具体采用了基于文本相似度的预处理方法,实现了日志消息分类;采用模板最大匹配的方法,解决了由于日志格式不统一和切词导致的模板匹配度低的问题.最后,对本次日志模板提取方法的实验进行了评估,结果证明该方法的准确率达到96.4%,且模板匹配度大幅上升.     

Web入侵检测中一种改良的事件聚类分析方法

为提升Web入侵检测中聚类分析的效率和质量,提出了一种事件聚类分析方法。给出了Web日志数据的预处理办法,之后对数据模型进行定义,在分析过程中,先通过决策树预分类降低样本数据的规模,提升聚类效率,再通过替换访问用户为访问事件,引入路径离散度,改良了路径相似度的计算方法,提升聚类质量。     

基于大规模网络日志的模板提取研究

针对直接从大型网络日志中提取网络事件困难的问题,提出了基于大规模网络日志的模板提取方法。该方法可将海量的、原始的网络日志主动转换为日志模板,从而为了解网络事件的根因和预防网络故障的发生提供重要的前期准备。首先分析日志的结构,将日志中的词划分为模板词和参数词两类;然后从3个不同的角度切入,分别对日志进行模板提取研究;最后使用互联网公司中的实际生产数据,采用Rand_index方法来评估3种提取方法的准确有效性。结果表明,在从服务集群中收集来的4种不同消息类型中,基于标签识别树模型提取到的日志模板的平均准确率达到99.57%,高于基于统计模板提取模型和基于在线提取模板模型的准确率。     

基于密度和网格的入侵检测算法研究

该文用一种基于密度和网格的混合聚类算法构造出一种适合入侵检测系统使用的异常检测算法。通过基于密度聚类算法和基于网格聚类算法的有效结合,使之更加适用于如今大流量下的入侵检测。最后,使用KDDCUP99数据集对算法进行测试结果表明,本算法能获得较理想的检测率和误检率,并有较好的系统性能。     

基于密度聚类的出租车异常轨迹检测

出租车GPS装备的普及使用产生了大量轨迹数据。出租车异常轨迹的检测和分析，可为惩罚具有欺诈行为的出租车司机提供有益支撑。针对出租车稀疏轨迹，基于轨迹相对相似度检测异常轨迹，由于其具有不对称性，类似于DBSCAN的传统密度聚类方法无法适应此种情况，本文提出基于密度RDBSCAN算法用于出租车异常轨迹聚类检测。对于聚类得出的候选异常轨迹，结合轨迹密度异常值和轨迹长度异常值的概念，利用证据理论综合前述2个因素来判别轨迹的异常程度，进而得到异常程度最高的TOP-N异常轨迹。使用旧金山真实的出租车数据，通过提取相同起点和终点（Origin-Destination, OD）的轨迹集进行实验，实验结果表明本文提出的方法能够有效地检测到异常轨迹，并成功给出异常程度最高的TOP-N异常轨迹。     

一种多协议网络日志二次聚类方法研究

为了处理网络日志规模过大及其相关问题,并为后期日志分析提供简洁的数据源,提出一种多协议网络日志二次聚类方法。该方法采用划分网格的方式把网络日志进行网格内初次聚类,然后再依据相似度判断对初次聚类簇进行二次聚类,最后输出聚类后的日志记录及一些稀疏数据和孤立点数据。经实验测试证明,在不破坏网络日志的完整性和准确性,且不影响用户正常网络访问的前提下,该方法日志规模压缩效果显著,时间复杂度低以及能够处理实际的动态数据,实现增量式聚类。     

基于特征选择的模糊聚类异常入侵行为检测

网络攻击连接具有行为的多变性和复杂性等特征,利用基于传统聚类的行为挖掘技术来构建异常入侵检测模型是不可行的。针对网络攻击行为的特点,提出了基于特征选择的模糊聚类异常入侵模型。首先通过层次聚类算法改善了FCM 聚类算法结果对初始聚类中心的敏感性,再利用遗传算法的全局搜索能力克服了其在迭代时易陷入局部最优的缺点,并将它们结合构成一种AGFCM 算法;然后采用信息增益算法对网络攻击连接数据集的特征属性进行排序,同时利用约登指数来删减数据集的特征属性以确定特征属性容量;最后利用低维特征属性集和改进的FCM 聚类算法构建了异常入侵检测模型。实验结果表明该模型对绝大多数的网络攻击类型具有很好的检测能力,为解决异常入侵检测模型的误警率和检测率等问题提供了一种可行的解决途径。     

基于使用信息和聚类方法的多模式集成

数据集成是解决多数据源整合问题的有效手段.如何准确高效地集成多数据源模式具有重要研究意义.关于模式集成已有大量的研究工作,但均忽略了用户使用信息.在用户使用信息的基础上提出一种新颖的基于聚类技术的多模式数据集成方法.首先从数据库的查询日志中为模式属性提取特征向量,并对其进行聚类.然后根据结果聚类间的最小差异性,为每个结果聚类引入最大相似性阈值,利用该阈值发现结果聚类中与该类语义不相似的异常属性.最后针对结果聚类中的3类异常属性,设计3种异常属性去除规则,进一步提出异常属性去除算法EPKO.实验结果表明,该方法具有较高的准确度,可以有效地解决多个模式的集成问题.     

基于自控粒子群优化的入侵数据分析

基于异常的入侵检测方法难以有效地获得一个用于建立正常行为模式的正常数据训练集,而粒子群优化模糊聚类算法的初始化聚类数目一般凭经验确定,准确性不高。为此,提出一种自控粒子群优化模糊聚类算法。从网络数据中提取训练集,并初始化具有不同聚类数目的粒子群,在迭代过程中,根据不同粒子群的聚类有效性函数,通过列控制向量对各粒子群规模进行调整,由此实现聚合。实验结果表明,该方法的聚类结果准确率高,可以为基于异常的入侵检测方法提供可靠的训练数据。