基于Prometheus的油田数据泄漏防护大数据系统运维方法

数据泄漏防护系统可以阻止企业的重要数据从网络出口违规外发.针对油田数据泄漏防护大数据平台对各个区域、不同类型的数据采集和设备、业务监测问题,本文首先提出依托大数据Flume(数据采集系统)组件,采用抓取外泄事件日志JSON(一种轻量级的数据交换格式)和解析后的违规外发文件txt文本的方法,实现数据采集;其次依托Prom...     

改进的事件日志分簇算法研究

事件日志是现代IT系统中分析和处理故障的重要信息来源.首先分析了传统的数据挖掘算法的优缺点,然后分析了事件日志的特点提出了一种新的算法使用摘要向量技术降低内存需求,用于事件日志的分簇,实验分析显示了它的有效性.     

综合安全管理平台中日志格式化系统的设计与实现

为了提高日志格式化系统的执行效率以及解决无法解析日志时便丢弃日志的问题,提出了一种日志格式化方案。通过将设备、传输通道和插件三者绑定,避免了格式化过程中的查找判断过程。通过引入自动更新模块,使系统在无法解析日志时可以从插件库自动下载插件来完成格式化过程。最终的测试结果表明了该方案的可行性。     

基于BERT的多视角事件日志修复

在业务流程执行过程中,由于信息系统故障或者人工记录出错等问题导致事件日志中数据的丢失,从而产生缺失的事件日志,使用这种缺失日志会严重影响业务流程分析结果的质量。针对这种缺失日志的修复问题,现有的研究大部分仅从数据视角或者行为视角进行展开,很少从数据和行为相融合的视角开展事件日志的修复工作。提出了一种基于BERT模型的多视角事件日志修复方法。该方法利用双层BERT模型,从数据和行为融合的视角训练模型,通过BERT模型的预训练任务（masked attribute model,MAM）和（masked event model,MEM）以及Transformer编码块的注意力机制,捕获输入属性的双向语义信息和长期依赖关系,使用微调策略进行模型训练,以预测的形式修复事件日志中的缺失值。最后,通过公开可用的数据集进行评估分析,结果表明,该方法在修复事件日志方面表现良好。     

一种基于日志关联分析的取证模型

日志文件是计算机获取电子证据的重要资源.文章基于现有日志取证系统片面取证并且未考虑日志信息的安全性的不足,提出了基于日志关联分析的取证模型,通过事件特征关联、事件时间序列关联和事件空间序列关联各网络安全设备和应用程序的日志信息,把各种日志信息进行综合关联分析,使得到的取证结果更可靠、公正和客观.     

一种基于Hive日志分析的大数据存储优化方法

从2002年起,某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长,数据集高速增长,原生的Hive的查询性能已经不能令人满意。文章研究了大数据及存储的现状,提出了一种基于存储日志的分析的Hive存储格式优化方法,通过该优化方法从查询时间和存储空间利用率两方面使系统性能得到提升,提升了查询效率。论文对该金融机构原有Hive存储系统通过基于存储日志分析的Hive存储格式优化方法进行改进,通过实际数据,充分证明了该方法的可行性。     

可扩展的Web日志采集框架的设计与实现

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架.该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集.该框架同样完全兼容传统的日志记录格式和记录方式.     

一种基于物理级的关系数据库数据复制模型研究

针对当前逻辑级数据库数据复制技术中存在的问题,本文提出一种基于物理级的数据库数据复制模型。该模型利用一个主备数据库复制组来确立其参照关系,通过对Oracle数据库在文件系统格式下、裸设备下以及对基于数据库特殊卷管理器格式下的Redo日志的解析,在日志变化的第一时间挖掘日志捕获数据变化片段,之后采用弱滚动校验和同步增量方式将数据片段并行同步到备端。备端进行日志片段的重组,修改日志头标志位,合成日志文件并与源端校验通过后注册到灾备库,然后将合成日志以自动或者手动方式写入灾备库,从而实现物理级数据库数据复制。通过测试对比分析,验证了该模型不但可以保证两端数据一致性,而且还可以降低数据复制延时。     

基于C#的DCS故障日志诊断分析方法的研究和应用

由于平台运行产生的日志数据规模庞大、形式多样、错综复杂，且信息甄别难度高，给核电站机组分布式控制系统(DCS)设备运行状态的判定分析带来困难。为了快速、有效地实现DCS故障日志诊断及分析处理，创新地提出了一种基于计算机编程、结合DCS组态软件配置的故障快速诊断分析方法。该方法基于日志数据的收集和服务处理思路，利用分布式收集策略采集日志，通过工作站上的运行程序，对DCS日志数据进行一站式分析，实现DCS故障的快速诊断。通过在机组上的应用，有效提高了现场工作效率，可精准预判、定位故障点或可靠性降级设备，较常规手段具有准确性高、时效性强等特点。该方法具有一定先进性和创新性，具备较高的同行推广价值。     

模型未知的离散事件系统故障诊断方法

针对离散事件系统模型难以建立的大型实际系统,无法对其进行有效故障诊断的问题,提出一种基于主动学习的故障诊断方法。首先,为获取到的系统事件日志添加正常/故障标签,并将日志集划分为训练集和测试集,提出一种基于抽象技术的迭代算法提取训练集中日志的故障特征样本。然后,通过故障特征样本构造初始故障识别器,并利用测试集中的日志检验识别器的准确性。仿真结果表明,该故障诊断算法使得模型未知下诊断精度更高。最后,实例说明系统模型未知下故障诊断算法的应用。与现有研究相比,提出的方法可以在系统模型未知下进行故障诊断且算法复杂度为多项式,诊断精度更高,应用范围更加广泛。