首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 0 毫秒
1.
调试软件中的非确定错误对软件开发有重要意义.近年来,随着云计算系统的快速发展和对录制重放调试方法研究的深入,使用异常检测方法从大量文本日志或控制流日志等数据中找出异常的信息对调试愈发重要.传统的异常检测算法大多是为检测和防范攻击而设计的,它们很多基于马尔可夫假设,对事件流上的剧烈变化很敏感.但是新的问题要求异常检测能够检出语义级别的异常行为.实验表明现有的基于马尔可夫假设的异常检测算法在这方面表现不佳.提出了一种新的基于文法编码的异常检测算法.该算法不依赖于统计模型、概率模型、机器学习及马尔可夫假设,设计和实现都极为简单.实验表明在检测高层次的语义异常方面,该算法比传统方法有优势.  相似文献   

2.
日志是一种记录系统运行过程中重要信息的文本文件,而有效的日志异常检测可以帮助运维人员快速定位并解决问题,保证系统的快速恢复,从而减少经济损失.系统日志内容通常包含着丰富的系统信息(时间,序列,参数等),本文提出了一种基于预训练的日志多特征融合的异常检测方法Log Multi-Feature Fusion(LMFF).首先,基于预训练模型对日志的事件模板进行语义信息提取,将系统日志建模为自然语言序列;然后,利用特征提取器分别对日志的事件序列,计数序列和时间序列进行特征提取融合,通过Tranformer和LSTM神经网络学习正常日志的特征信息.最后,对日志进行分析,并能够检测出潜在模式偏离正常日志序列的异常.通过在Hadoop日志文件系统(HDFS)数据的F1值达到约96%和在OpenStack数据的F1值达到约99%的结果表明,本文所提的异常检测方法与其它的日志异常检测算法Deeplog、LogAnomaly和基于主成分分析(PCA)的方法相比有较好的表现.  相似文献   

3.
日志信息是信息系统快速发展中产生的重要信息资源,通过日志的分析,可以进行异常检测、故障诊断和性能诊断等。研究基于日志的异常检测技术,首先对主要使用的基于日志的异常检测框架进行介绍,然后对日志解析、日志异常检测等关键技术进行详细介绍。最后对当前技术进行总结,并对未来研究方向给出建议。  相似文献   

4.
为了充分挖掘日志中变量的潜能,优化日志异常检测效果,文章提出一种融合变量的日志异常检测方法SiEv。首先,该方法可以识别主体变量,并根据主体变量将日志划分为不同片段;然后,SiEv以这些日志片段为输入,基于长短期记忆网络(Long Short-Term Memory,LSTM)训练或检测异常,从而避免不同主体的日志序列特征相互干扰;最后,根据日志片段将SiEv划分为多个类别,从不同角度检测日志。为了验证文章所提方法的有效性,SiEv对Loghub所提供的日志数据集进行测试。实验结果表明,SiEv能够发现多种类型日志中存在的异常,识别同一主体的活动行为模式和变化趋势。  相似文献   

5.
在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测:以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.  相似文献   

6.
在系统安全领域,通过日志来检测软件或者系统异常是一种常用的安全防护手段。随着软件和硬件的快速发展,在大规模的日志记录上进行人工标记变得十分困难,目前已有大量的日志异常检测的相关研究。现有的自动化日志检测模型均使用日志模板作为分类,这些模型的性能以及实用性很容易受到日志模板变化的影响。因此,基于日志模板主题特征的日志异常检测模型LTTFAD被提出,LTTFAD首次引入了LDA主题模型以提取日志模板的主题特征并且通过循环神经网络LSTM实现异常检测。实验结果表明,在HDFS和OpenStack数据集上基于日志模板主题特征的日志异常检测模型LTTFAD的查准率、查全率和调和分数等性能指标均明显优于现有基于日志模板的日志异常检测模型。此外,对于新日志模板的注入,LTTFAD模型依然具有较高的稳定性。  相似文献   

7.
针对现代大型系统中系统日志的异常检测问题,提出了一种基于自动日志分析的异常检测方法(CSCM).该方法通过在预聚类下结合细化分析与多视角的异常提取过程,来实现系统日志的异常检测.首先,引入信息熵以提取日志信息量;其次,基于Canopy预聚类过程提取子集交叠数据,以缩小计算范围;利用谱聚类进行细化分析,并结合预聚类结果以...  相似文献   

8.
随机森林分类算法在产生决策树以及投票流程中各个决策树的分类准确度各不相同,由此带来的问题是少部分决策树会影响随机森林算法的整体分类性能。除此以外,数据集中的不平衡数据也能影响到决策树的分类精度。针对以上缺点,对Bootstrap抽样方法添加约束条件,以降低非平衡数据对生成决策树的影响;以及利用袋外数据(Outof-Bagging)和非平衡系数对生成的决策树进行评估加权。试验结果表明,所提算法改善了随机森林对不平衡数据的分类精度。  相似文献   

9.
日志异常检测是当前数据中心智能运维管理的典型核心应用场景.随着机器学习技术的快速发展和逐步成熟,将机器学习技术应用于日志异常检测任务已经形成热点.首先,文章介绍了日志异常检测任务的一般流程,并指出了相关过程中的技术分类和典型方法.其次,论述了日志分析任务中机器学习技术应用的分类及特点,并从日志不稳定性、噪声干扰、计算存储要求、算法可移植性等方面分析了日志分析任务的技术难点.再次,对领域内相关研究成果进行了梳理总结和技术特点的比较分析.最后,文章从日志语义表征、模型在线更新、算法并行度和通用性3个方面讨论了日志异常检测今后的研究重点及思考.  相似文献   

10.
随着金融信息化建设的不断推进,系统规模与复杂性不断增长,系统故障已成为金融业发展不可忽视的问题.日志作为唯一系统运行信息的数据源,具有重要利用价值.该文综述了日志异常检测的主流方法,并针对存在问题提出对未来发展方向的建议.  相似文献   

11.
为解决现有日志异常检测方法往往只关注定量关系模式或顺序模式的单一特征,忽略了日志时间结构关系和不同特征之间的相互联系,导致较高的异常漏检率和误报率问题,提出基于日志时间图注意力网络的日志异常检测方法。首先,通过设计日志语义和时间结构联合特征提取模块构建日志时间图,有效整合日志的时间结构关系和语义信息。然后,构造时间关系图注意力网络,利用图结构描述日志间的时间结构关系,自适应学习不同日志之间的重要性,进行异常检测。最后,使用三个公共数据集验证模型的有效性。大量实验结果表明,所提方法能够有效捕获日志时间结构关系,提高异常检测精度。  相似文献   

12.
本文研究基于DNS日志分析的网络异常监测系统,通过对校园网DNS日志进行分析,能够得出用户进行域名访问的规律,提取用户行为特征,掌握网络运行状况,并通过定义DNS访问次数偏移度,即时发现并定位网络异常。  相似文献   

13.
针对日志异常检测的传统特征提取方法往往选取一定数量的日志进行特征提取,在程序并发和网络时延波动较大等导致日志顺序混乱的场景下,传统方法效果不够理想.本文提出一种基于二次滑动窗口机制的日志异常检测方法,首先基于正则表达式和日志解析方法提取出日志时间戳和模板信息,再先后两次采用滑动窗口方法获取特征提取的序列对象.其中初次滑...  相似文献   

14.
针对基于日志聚类的异常检测方法(LogCluster)处理的日志类型单一的问题,提出一种改进的基于LogCluster的日志异常检测方法,SW-LogCluster。通过使用滑动窗口(sliding window)的方式将日志划分为日志序列,将划分后的日志序列向量化来进行特征提取,使其既能检测带标记符的日志,也能检测不带标记符的日志,扩展原始方法的应用范围。实验结果表明,SW-LogCluster方法能对所有类型的非结构化日志进行检测,有效扩展了LogCluster方法的适用性。  相似文献   

15.
孙嘉  张建辉  卜佑军  陈博  胡楠  王方玉 《计算机工程》2022,48(7):151-158+167
目前日志异常检测领域存在数据量大、故障和攻击威胁隐蔽性高、传统方法特征工程复杂等困难,研究卷积神经网络(CNN)、循环神经网络等迅速发展的深度学习技术,能够为解决这些问题提供新的思路。提出结合CNN和双向长短时记忆循环神经网络(Bi-LSTM)优势的CNN-BiLSTM深度学习模型,在考虑日志键显著时间序列特征基础上,兼顾日志参数的空间位置特征,通过拼接映射方法进行最大程度避免特征淹没的融合处理。在此基础上,分析模型复杂度,同时在Hadoop日志HDFS数据集上进行实验,对比支持向量机(SVM)、CNN和Bi-LSTM验证CNN-BiLSTM模型的分类效果。分析和实验结果表明,CNN-BiLSTM达到平均91%的日志异常检测准确度,并在WC98_day网络日志数据集上达到94%检测准确度,验证了模型良好的泛化能力,与SVM CNN和Bi-LSTM相比具有更优的检测性能。此外,通过消融实验表明,词嵌入和全连接层结构对于提升模型准确率具有重要作用。  相似文献   

16.
近十年来,高级持续性威胁(APT,advanced persistent threat)越来越引起人们的关注。为了防御和检测APT攻击,学者提出了基于系统审计日志的入侵取证方案。系统审计日志可以详细记录主机上的系统调用过程,因此非常适用于入侵取证工作。然而,系统审计日志也有着致命的弊端:日志庞大冗余。再加上APT攻击往往长期潜伏、无孔不入,企业不得不为每台联网主机长期保存日志,因此导致巨大的存储计算成本。为了解决这一问题,本文提出一种模仿二进制动态污点分析的日志压缩方案T-Tracker。T-Tracker首先检测日志内部与外部数据发生交互的系统调用,生成初始污点集合,然后追踪污点在主机内的扩散过程,这个过程中只有污点扩散路径上的系统调用能被保留下来,其余均不保留,从而达到日志压缩的目的。本研究的测试表明,该方案可以达到80%的压缩效果,即企业将能够存储相当于原来数量五倍的日志数据。同时,T-Tracker完整保留了受到外部数据影响的日志记录,因此对于入侵取证而言,可以等价地替换原始日志,而不会丢失攻击痕迹。  相似文献   

17.
异常数据检测是数据挖掘研究的热点之一。本文在对现有异常点检测算法分析的基础上,提出了一种基于属性的异常点检测算法。简要地介绍了异常检测的现状,对基于属性的异常检测算法进行了详细分析,包括算法设计基础、算法描述、复杂度分析等。并通过与基于距离的异常点检测算法进行实验比较,表明了算法的优越性。  相似文献   

18.
为了提高异常检测的准确性和高效性,提出了基于xgboost的异常检测算法.首先对异常检测当前遇到的挑战进行分析,指出缺少样本和模型泛化是异常检测中的难点.在此基础上设计了异常注入算法,利用3sigma原则对数据集进行扩充;然后设计特征提取器,针对正常数据和异常数据的特点设计相关特征;最后选择xgboost模型对时序数据...  相似文献   

19.
近年来,数据挖掘技术在异常入侵检测研究中得到了探索性的应用。异常挖掘技术可以检测出数据集中与众不同的数据,因此将异常挖掘技术应用于异常入侵检测可以识别那些表现出特殊性的入侵活动。该文从KDDCUP1999数据集中提取两种特征的数据集,采用第k最近邻异常挖掘进行异常入侵检测,用实验结果证明基于第k最近邻异常挖掘技术的异常入侵检测用于各类数据集都具有良好的性能.  相似文献   

20.
针对在神经网络异常检测模型中日志分析处理存在的效率较低等问题,提出了一种基于词嵌入与word-level编码、charlevel编码相结合的日志数据处理方法,来实现提高异常检测模型日志数据处理效率。本文首先介绍了用于异常检测模型的日志预处理的基本流程;其次提出了词嵌入与两种编码相结合的日志向量化的表示方法,最后通过实验结果表明,提出的日志处理方法能够较好地提高异常检测模型中的日志分析处理效率。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号