基于设备日志的异构网络问题发现及预警方法

本文主要研究在NFV场景下应对接入种类繁多的日志，基于预警规则的日志问题发现及预警方法。具体方法为基于全量日志正文数据，对细分网元的日志量进行统计，得到网元日志量监测数据和日志正文表达式监测数据，结合自动化处理与AI算法初步生成问题发现规则集和历史预警数据集，引入时间序列异常检测算法，提升问题预警的智能化水平，进一步对自动生成的规则通过专家经验进行确认，得到有效的规则集合。经过验证，采用以上方法在生产环节可得到有效规则，并生成预警数据，实现精准监测日志量异常、发现问题日志并产生预警。     

一种基于查询事件的域名服务器日志模型

提出了一种基于查询事件的日志模型,采用查询/应答日志匹配的方法完整的记录了一次查询事件,利用内存数据结构提高了海量数据写入的I/O效率;在日志分析过程中对日志文件建立二维哈希索引,利用布隆过滤器减少磁盘I/O次数,提高了分析效率.     

面向主动运维的Syslog日志分析方法

网络在运行过程中,有时会出现一些异常事件,这些异常事件对网络具有一定的危害性,严重的可能会导致网络故障.现代网络运维工作中普遍使用Syslog日志记录网络设备上发生的各种事件,然而许多网络运维部门仅仅用Syslog日志分析故障,对日志中所反映的网络异常情况往往重视不够.为了改变被动等待故障的工作方式,网络部门需要全面了解网络的运行情况,找出可能导致网络故障的因素,使得运维工作由被动变为主动.Syslog日志分析是主动运维工作中的一项重要内容.由于大型网络中Syslog日志数量非常庞大,依靠人的分析方法几乎不可行,而且由于日志消息格式的随意性,也使得传统的基于规则的计算机分析方法通用性较差.本文通过对异常事件的特征进行研究,结合实际网络中的Syslog日志数据,对如何找出网络中的异常事件和异常设备进行总结.     

基于深度学习的异常事件检测

面对复杂场景下异常事件检测的准确率偏低的情况,本文提出一种基于深度学习的异常事件检测方法,并将此方法扩展为异常事件分类方法.利用神经网络模型提取特征,将群体发散聚集事件,群体密集聚集事件,群体逃散事件和追赶事件这4种异常事件进行检测和分类.通过PKU-SVD-B测试集对训练出来的模型进行测试实验,并在UMN数据集上与几种方法做了对比实验,验证了本文提出的基于深度学习的异常事件检测算法,在适应多种不同场景的前提下,对多种异常事件检测的准确率很高,表明训练出来的模型对异常事件检测具有极强的泛化能力.     

基于日志模板的异常检测技术

日志分析是云计算业务平台管理中一项非常重要的工作.日志分析旨在保证云平台的高效性与可用性,传统的人工分析方式存在日志复杂、日志量大等问题.本文提出了一种日志异常检测方法,首先基于编辑距离进行文本聚类形成日志模板,在此基础上构建特征向量,利用弱分类器训练形成得分特征向量,利用得分特征向量与随机森林构建强分类器.实验表明,日志模板与真实模板之间的互信息为0.91,较为接近,利用随机森林构建的强分类器在本文的数据集上表现最好,分类精度达0.94.     

在网络安全事件流中异常检测的方法

针对网络安全事件流中异常检测问题,定义网络安全异常事件模式为候选频繁情节,基于无折叠出现的频繁度定义研究网络安全事件流中频繁情节发现方法.该方法中,针对事件流的特点,提出了频繁度密度概念;针对网络安全异常事件模式的时间间隔限制,利用事件流中滑动窗口设计算法;针对复合攻击模式的特点,对算法进行剪枝.实验证明本文方法的时空复杂性、漏报率符合网络安全事件流中异常检测的需求.     

基于模糊核聚类和主动学习的异常检测方法

针对日志数据的异常检测获取标记数据代价过高的问题,提出一种基于模糊核聚类与主动学习的算法,即KFCM-AL算法。首先将日志解析,之后利用模糊核聚类算法将待选样本在高维空间进行划分聚类,滤去样本冗余点,同时选取聚类中心进行标记构建初始分类器,最后结合主动学习利用较小的标记代价对异常检测模型进行优化。实验结果表明,所提方法能够利用较少的标记样本获取异常检测模型的性能提升。     

多聚类融合算法在频繁非法访问检测中的应用

针对频繁非法访问的检查问题，提供了一种机器学习方法来检测登录场景中的频繁非法访问活动。通过特征工程的方法分析登录日志数据，筛选提取有效特征，再使用聚类方法对登录特征数据进行检测，分类出正常用户和异常用户。为了提高无监督识别算法的精度，提出了多聚类融合的检测算法，从多个聚类算法的角度，精确识别出登录日志中的频繁非法访问用户。实验结果证明，该方法可以更准确地提取登录场景中各项指标异常的用户，并可以扩展适应其他频繁非法访问场景。     

一种混合模型的时序数据异常检测方法

对设备性能指标、用户数据指标的异常检测能有效地发现系统潜在故障,本文提出了一种混合异常检测方法。该方法利用k-means将历史数据按照时间进行划分,使用grubbs算法剔除历史数据中的噪音,并计算各时间段的阈值形成动态阈值,同时利用曲线拟合和ARIMA算法对预处理后的历史数据进行训练,得到对应的模型,作为判断异常的依据。该方法结合了统计学的高效、机器学习的准确,无需对数据进行标注,该方法能自动发现单指标和多指标异常。通过在几个系统的实际运维的检验,本文提出的方法能有效地发现缺数异常和系统异常,提高告警准确率,单指标的查全率达到100%,平均查准率为95.7%,算法的效率满足生产环境中的性能要求。     

一个基于多策略的安全监视框架

当前的基于通用日志数据的安全监视手段存在日志数据冗余和异常检测时间延迟等问题。本文提出的基于多策略的安全监视框架(MP—SMF)，不但可以有效克服上述问题，而且还具有可配置的特性。并且通过把Bell—LaPadula机密性安全策略改写成为相应的关系模式，具体示例安全策略如何应用在MP—SMF中。     

基于偏差约减的大数据交易模型分析与修复方法

大数据交易是促进数据流通和提升数据价值的关键环节.实现大数据交易的过程优化对于构建高效和鲁棒的交易平台至关重要.大数据交易是典型的复杂过程模型,传统的模型修复方法无法有效发现和约减流程执行与流程规则之间存在的偏差.本文提出了一种基于偏差约减的大数据交易模型修复方法,通过过程模型的可达标识图发现事件日志与模型之间的偏差关系,对事件日志与模型之间偏差进行约减,实现基于有效偏差的模型修复.该方法应用于天元大数据网大数据平台,通过与基于模型校准和基于迭代的修复方法进行对比实验,对修复结果开展模型拟合度、精确度、简洁度及时间复杂度评估,验证了方法的有效性.     

数据融合技术在高速公路异常事件检测中的应用

交通异常事件的检测一直以来都是高速公路监控系统的难点和重点。现有的交通异常事件检测系统在实际应用中检测效果不很理想。而数据融合技术是近年来发展起来的一种新的信息综合处理方法，目前已经在ITS中有许多尝试。本文简述了交通异常事件检测的基本原理，并通过对数据融合基本理论的总结与剖析，重点阐述了数据融合的3个层次（数据级融合、特征级融合、决策级融合）在交通异常检测中的具体应用以及交通异常事件检测的数据融合系统模型。应用数据融合技术的交通事件检测系统能提高系统的有效性，得到最佳协同作用的结果。     

基于混合推理系统挖掘用户访问模式的ILP方法

提出一种结合DL-safe规则挖掘用户访问模式的ILP方法.该方法首先定义基于事件的日志本体,将DL-safe规则和日志本体构建为一个推理过程可判定的混合日志知识库,在此基础上借助ILp的理论和方法学习生成有效用户访问模式.该方法充分利用日志本体中事件问特定的语义关系有效简化了挖掘过程并提高了挖掘效率,为改进站点结构提供更有效的决策.实验结果表明了该方法的可判定性和有效性.     

基于数据流方法的大规模网络异常发现

随着网络规模和速度的增加,大规模网络异常发现要求检测算法能够在无保留状态或者少保留状态下对G比特级的海量网络业务量数据进行实时在线分析。针对在高速骨干网上进行大规模网络异常发现的特点和要求,提出了一种基于数据流的大规模网络异常发现的方法,第一次将数据流模型用于大规模网络的异常发现。主要包括以下创新点:设计了一种面向异常发现的网络流量概要数据结构和突发高频事件检测算法;提出了一种基于安全监测策略定制的预查询方法来进行多数据流的关联监测并且对数据流查询进行了优化;在真实数据分析的基础上,对网络业务量进行了数据约减,使得监测部分特殊类型的数据流能最大程度地获得整体网络业务量的变化特征以提高异常发现的效率。通过真实网络环境下的实验和性能评价验证了数据流方法的有效性。     

基于行为分析的电力调度系统入侵检测

针对电力调度系统入侵检测手段静态、单一,无法在时间维度上有效关联及检测结果准确率不高的问题,提出基于行为分析的电力调度系统入侵检测方法。采用Filebeat工具进行调度日志采集;对日志进行结构化解析,将日志分解为事件模板和参数序列;结合电力调度系统任务相对固定、行为相对关联的特点,构建基于LSTM的智能检测模型,对异常行为进行检测。实验结果表明,该文方法的入侵检测准确率达到95%以上,F1-Score达到96%以上,解决了电力调度系统入侵检测在时间维度上无法有效关联的问题,提高了检测结果的准确率。     

基于深度学习的网络防火墙日志数据智能分析方法

本文提出了一种针对网络防火墙日志数据的智能分析方法,该方法首先将日志数据用Word2Vec模型处理为词向量,然后通过CNN模型的卷积层自动从日志数据中提取文本特征,然后通过Softmax层对日志数据进行分类。为了证明该方法的有效性,使用真实的日志数据进行实验,并与传统的SVM、决策树模型进行对比。实验数据显示,本文提出的方法在日志数据分析上具有较强的泛化能力,精确度高并能有效改善防火墙的综合分析与防护能力。     

基于事件字典的行人异常事件检测

近年来极端行为和暴恐行为严重威胁着公共安全,行人异常事件检测已成为研究的热点问题.为了克服传统方法中对异常事件定义的模糊性、对行人异常行为特征的描述不够准确的缺点,提出一种基于事件字典的行人异常事件检测方法.本文方法的创新之处是构造了一种行人特征描述子,能够有效描述行人的身体各部分的变化规律,利用行人特征描述子提取样本的特征进行聚类分析,构建事件字典,预测事件的类别.在标准数据集BEHAVE Interactions Test Case Scenarios、UMN、UCSD上与LDA(Latent Dirichlet Allocation,潜在狄利克雷分布)和双稀疏字典的对比实验表明,该方法对于异常行为的检测准确有较高的检测准确率.     

一种基于时间序列的RFID供应链数据分析方法

通过挖掘海量RFID(Radio Frequency Identification)数据来优化供应链已经成为一个研究热点.本文针对供应链流通中出现的若干周转异常并且难以发现的问题,提出了一种基于时间序列的RFID供应链数据分析方法.将供应链的RFID数据统一成反映各环节周转状况的时间序列格式,然后通过分段趋势分解方法分解提取的时间序列数据,并根据分解后的随机项建立阈值来判断数据是否异常,从而建立相应的时间序列分析模型;最后基于模型检测数据异常.通过多样本和多数据集的实验检测,结果表明这种方法有效并具有较高的效率.     

基于Linux环境的主机日志自动审计技术

本文首先分析了Linux系统中日志的类别;其次在自动审计方法上,从日志的三种应用列举相应的工具,并做了详细的分析;最后提出了对目前自动审计技术的改进方法:进行日志的关联分析,提炼出事件日志规律,提高日志审计工具的智能化程度。     

基于FP-Growth算法的安全日志分析系统

传统日志分析存在单一事件分析不全面的问题,难以检测出新型攻击事件。针对这种情况,文中提出一种基于FP-Growth算法的安全日志分析系统,以电子政务平台产生的Web日志为主要研究对象,对日志进行了挖掘过滤分析,统计分析结果通过图表、报表等直观的方式呈现。实验结果表明,该系统能有效地发现潜在的Web安全隐患,为平台的稳定运行和后期优化提供指导。