BOSS系统日志分析研究与应用

当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。     

BOSS系统日志分析研究与应用

当前营业员和用户在BOSS系统办理业务出现问题和故障的时候,通常由用户打10086投诉或者营业员报障给后台维护人员进行故障处理,这个处理流程很耗时间,影响问题的解决效率。BOSS系统日志文件中有大量的信息,从中可以获取到系统详细出错信息。通过建立日志分析管理平台,实时采集BOSS系统各台主机上的日志文件,对达到一定阀值的错误进行告警,并对日志信息进行分析,提供给维护人员进行问题的分析、定位和解决,大大提高问题发现和解决的效率,提升前台业务人员和客户对业务支撑系统的满意度。     

基于系统日志文件的计算机系统脆弱性分析

随着信息社会的发展,计算机系统的安全是信息社会中信息安全保障的重要部分之一。文章根据Windows系统、数据库系统、防火墙系统的日志文件形式、结构、内容的组成,分析了在计算机操作系统、网络系统中日志文件的安全性及其安全作用,并阐述了实现计算机系统脆弱性分析的根源。     

基于事件聚集的AAA系统日志分析

AAA系统涉及的设备类型众多,其日志格式互不相同,即使是同一类设备,其日志格式也会因软件版本、网络层次和故障类型等因素而各不相同,从而导致通过分析日志数据分析系统故障非常复杂.首先提出了一种日志模板自动提取机制(ATE,Auto Template Extraction),用于将各类日志数据格式化.然后设计了一种基于故障事件对格式化日志数据进行聚集的方法(EBCoLD,Event Based Cluster of Log Data),用于分析各类故障事件(数据库宕机等)与日志数据的关系,进而获取与某一事件相关的日志集合,用于故障检测、定位和分析.最后依据从某电信运营商获取的真实AAA系统日志数据,通过仿真实验验证了ATE机制和EBCoLD方法的有效性.     

系统日志技术研究与编程实现

系统日志在系统管理里发挥着越来越重要的作用。文章针对Linux和Windows两种操作系统,分别分析了系统日志采集和信息上报的配置方法,介绍了日志接收服务器程序的编程实现以及系统日志的应用。     

船载系统日志自动分析软件的设计与实现

船载中心计算机系统的系统日志和测控软件日志记录了大量的系统故障与软件异常信息,如何及时、全面地分析系统日志、软件日志,发现系统运行故障,并及时予以处理、解决,是系统运维人员的一项重要工作;针对当前船载中心计算机系统日志分析现状及存在的问题,系统日志和测控软件日志自动分析软件给出了解决的思路和方法,提出并介绍其实现的技术要点和效果;测试结果表明日志自动分析软件有效地提升了人员工作分析效率,在快速分析故障问题和批量进行系统日志维护方面具有较好应用.     

基于Filebeat自动收集Kubernetes日志的分析系统

Docker容器产生的日志分散在不同的相互隔离的容器中,并且容器具有即用即销的特点,传统的解决方式是将日志文件挂载到宿主机上,但是容器经常会漂移,给日志的统一查看带来挑战,并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题.本文采用Kubernetes实现容器管理、服务发现及调度,使用Filebeat采集容器及宿主机上的日志文件,并使用Redis作为缓存,Logstash转发,使用主流的开源日志收集系统ELK实现日志的存储、查看、检索.该系统具有可靠性、可扩展性等特点,提高运维人员的工作效率.     

入侵防御系统日志采集和存储的改进方法

针对高速网络环境下现有入侵防御系统(intrusion prevention system,IPS)日志采集速度和处理速度的不匹配、日志文件规模大而难以存储的问题,提出了采用循环缓冲队列的缓存机制,同步日志采集和处理操作方法.设计了预处理算法,删除冗余的日志记录,并使用极大文件集的日志存储策略,保存海量日志文件.实验结果表明,该方法适用于千兆网络环境,能够精简日志文件规模,保存更多的日志记录.     

基于Docker的大规模日志采集与分析系统

传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.     

基于XML的嵌入式系统日志解决方案

随着网络技术的发展,XML以其良好的特性在数据交换中扮演着重要角色,文中针对嵌入式系统提出了一种基于XML的日志解决方案,分析了常用的两种XML API,给出了在嵌入式Linux系统下miniXML的移植过程,阐述了使用SAX模型结合miniXML完成XML文档的解析的工作过程.该方案利用XML完成了数据的透明存储,其模块化的设计思想降低了和其它模块的耦合度,具有较高的可移植性和可扩展性.该方案在一款基于华为海思3510的嵌入式网络摄像机的日志模块中运行良好.     

应用软件运行日志的收集与服务处理框架

随着现代计算机系统的规模和复杂性不断增大,其运行日志的数量也不断增多,但是由于日志数据的规模巨大、内容杂乱,用户查看日志数据具有一定的困难,因此对应用软件运行日志进行有效收集与处理具有重要意义。提出了一种应用软件运行日志的收集与服务处理框架,利用分布式收集策略对日志数据收集,定义了一种多层次数据存储结构对日志数据进行存储,并向用户提供日志数据查询服务。通过对某综合减灾系统的日志数据分析验证了提出的日志数据收集与服务处理框架的实用性,并与传统的日志收集分析软件ELK和Chukwa进行了对比。     

Accurate and efficient follower log repair for Raft-replicated database systems

State machine replication has been widely used in modern cluster-based database systems. Most commonly deployed configurations adopt the Raft-like consensus protocol, which has a single strong leader which replicates the log to other followers. Since the followers can handle read requests and many real workloads are usually read-intensive, the recovery speed of a crashed follower may significantly impact on the throughput. Different from traditional database recovery, the recovering follower needs to repair its local log first. Original Raft protocol takes many network round trips to do log comparison between leader and the crashed follower. To reduce network round trips, an optimization method is to truncate the follower’s uncertain log entries behind the latest local commit point, and then to directly fetch all committed log entries from the leader in one round trip. However, if the commit point is not persisted, the recovering follower has to get the whole log from the leader. In this paper, we propose an accurate and efficient log repair (AELR) algorithm for follower recovery. AELR is more robust and resilient to follower failure, and it only needs one network round trip to fetch the least number of log entries for follower recovery. This approach is implemented in the open source database system OceanBase. We experimentally show that the system adopting AELR has a good performance in terms of recovery time.     

基于日志分析的超级计算机错误预测方法研究*

大量的错误严重影响了超级计算机系统的稳定性,错误预测对于提高其稳定性有重要作用,日志分析是进行错误预测的有效方法.建立了错误预测的基本框架,包括日志的预处理、基础预测器和联合预测器,其中基础预测器包括时间预测器和关联预测器.在BlueGene/L日志上进行的实验结果显示联合预测器的预测效果比基础预测器好.这表明错误预测...     

基于对数极坐标频谱的Gabor纹理分析

提出一种基于对数极坐标频谱的Gabor纹理分析方法（LPFG）,该方法以对数极坐标的形式表示图像在频率空间的频谱分布,利用多通道Gabor滤波器进行频率分析,从而提取图像的纹理特征,并结合改进的最小距离判别方法实现了有效的纹理分割;此外,从理论上分析了该方法与Log Gabor小波分析的一致性,由此推导了Log Gabor小波的参数计算方法;并从实验的角度与传统方法进行了比较,证明该方法在性能和效率上均优于传统方法。     

基于时间差约束的事件日志合并

在跨企业、跨系统的环境中,流程数据通常记录在单独的事件日志中,这使得无法挖掘完整的端到端的执行流程,因此本算法提出仅使用事件名称以及时间戳属性对日志进行合并。首先分别获取两个系统的过程模型以及根据活动的跨系统跟随依赖关系获得的合并模型,接着将两个系统的流程一对一进行合并并按照时间戳排序,留下与合并模型路径一致的合并流程,然后从这些流程中获得一对一的实例对,即唯一主流程仅与唯一子流程可以合并,再从这些实例对中挖掘活动间的时间约束用于剩余日志的合并,重复最后两步直到所有日志均合并或无法一对一合并日志。该算法在真实的事件日志上进行了实验,达到了满意的合并效果并获得较高的准确率与召回率。     

基于多agent与proxy技术的日志提取分析系统设计*

提出了一个新的agent模型,并以该模型为基础,设计了一个基于multi-agent与proxy技术的日志提取分析系统模型;同时详细分析了该系统的总体结构模型、主要模块设计以及采用多种安全机制来保证日志信息完整性和一致性.     

基于Chukwa的大规模日志智能监测收集方法

针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法.在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性.该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤.实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值.     

基于位图的日志溢出保护机制研究

在借鉴数据库系统以及数据容灾系统的基础上,针对现有日志技术无法解决日志大小限制的问题,设计了一种基于位图的日志溢出保护机制。围绕数据一致性、原子操作机制分析了这个溢出保护机制的实现流程,比较了该机制与传统机制的优越性。原型实验表明,该机制有效地解决了由于网络拥塞或者I/O请求数量突然增加造成的日志溢出问题,为数据复制提供了保障。     

防火墙日志分析系统的设计与实现

提出了一个防火墙日志分析系统的完整实现方案,对日志格式的特点、日志预处理方法进行了深入的分析。利用一个后台处理程序实现了日志数据的自动导入及维护,并提供了基于ASP.NET的用户查询界面。另外,后台程序还以用户自定义规则的形式,根据防火墙日志的统计结果实现自动报警,或以C#调用VBScript脚本的方式,自动地对防火墙设备进行配置,从而使防火墙的参数配置与日志相关联,具有一定的自适应性。     

Scalable and adaptive log manager in distributed systems

On-line transaction processing (OLTP) systems rely on transaction logging and quorum-based consensus protocol to guarantee durability, high availability and strong consistency. This makes the log manager a key component of distributed database management systems (DDBMSs). The leader of DDBMSs commonly adopts a centralized logging method to writing log entries into a stable storage device and uses a constant log replication strategy to periodically synchronize its state to followers. With the advent of new hardware and high parallelism of transaction processing, the traditional centralized design of logging limits scalability, and the constant trigger condition of replication can not always maintain optimal performance under dynamic workloads. In this paper, we propose a new log manager named Salmo with scalable logging and adaptive replication for distributed database systems. The scalable logging eliminates centralized contention by utilizing a highly concurrent data structure and speedy log hole tracking. The kernel of adaptive replication is an adaptive log shipping method, which dynamically adjusts the number of log entries transmitted between leader and followers based on the real-time workload. We implemented and evaluated Salmo in the open-sourced transaction processing systems Cedar and DBx1000. Experimental results show that Salmo scales well by increasing the number of working threads, improves peak throughput by 1.56\times and reduces latency by more than 4\times over log replication of Raft, and maintains efficient and stable performance under dynamic workloads all the time.