基于Chukwa的大规模日志智能监测收集方法分析

随着网络信息技术的发展,大规模日志智能监测收集方法与时俱进的创新,Chukwa方法及时应用,能够弥补传统处理方式的不足,同时,满足日志灵活性处理需要。Chukwa方法属于时代发展的产物,它具有较高的应用价值,能够在短时间内完成数据成功采集目的。本文首先对Chukwa方法简要介绍,然后重点探究Chukwa为基础的大规模日志智能监测收集方法,以便为相关研究人员提供借鉴,从整体上提高大规模日志智能监测收集方法利用率。     

基于大数据车辆模拟运行及日志收集仿真研究

中国汽车保有量呈井喷式上涨,需要面对越来越多的车辆违法行为,如超速行驶、遮挡牌照、套牌、占道等等。针对这些问题,传统的车辆稽查方式显得力不从心,存在数据单一、实时性差、离线分析为主等缺点。为减轻交管部门的车辆稽查压力,构建了以大数据实时分析技术为基础的车辆模拟运行及日志收集仿真模拟系统。该仿真模拟系统采用Flume、Hadoop框架和Redis集群,参照城市街道布局设计,不仅对海量车辆的超高并发度运行和城市交通进行了模拟,还对车辆日志信息进行了实时收集。以此为依据,构建的车辆模拟运行场景,可以有效地提高车辆稽查效率。该系统为数据量较大的行业提供了一种解决问题的思路,用同样的方法可以为城市旅游、城市产业分布等进行场景模拟,进而调整旅游服务、产业调整等方案。     

分布式I/O日志收集系统的设计与实现

随着存储系统的快速发展,以及实际应用中对存储系统的要求日益苛刻,为了研究存储系统I/O子系统的运行形态,设计并实现了一种分布式I/O日志收集系统,该系统能够通过总控制台同时控制分布式系统的多个节点并行收集分布式系统的I/O日志,为分析和回放分布式系统的I/O日志提供有效的数据,且详细描述了系统的设计与实现。     

应用软件运行日志的收集与服务处理框架

随着现代计算机系统的规模和复杂性不断增大,其运行日志的数量也不断增多,但是由于日志数据的规模巨大、内容杂乱,用户查看日志数据具有一定的困难,因此对应用软件运行日志进行有效收集与处理具有重要意义。提出了一种应用软件运行日志的收集与服务处理框架,利用分布式收集策略对日志数据收集,定义了一种多层次数据存储结构对日志数据进行存储,并向用户提供日志数据查询服务。通过对某综合减灾系统的日志数据分析验证了提出的日志数据收集与服务处理框架的实用性,并与传统的日志收集分析软件ELK和Chukwa进行了对比。     

安全日志统一收集平台的数据架构设计与实现

1 数据架构安全日志统一收集平台采集的业务系统信息数据和安全日志数据信息在一定轮询周期（时间较短）内需要进行一次存储,数据特征为数据量大、插入操作频繁、查询操作范围小。因此对采集上来的数据存储逻辑进行优化,     

基于Filebeat自动收集Kubernetes日志的分析系统

Docker容器产生的日志分散在不同的相互隔离的容器中,并且容器具有即用即销的特点,传统的解决方式是将日志文件挂载到宿主机上,但是容器经常会漂移,给日志的统一查看带来挑战,并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题.本文采用Kubernetes实现容器管理、服务发现及调度,使用Filebeat采集容器及宿主机上的日志文件,并使用Redis作为缓存,Logstash转发,使用主流的开源日志收集系统ELK实现日志的存储、查看、检索.该系统具有可靠性、可扩展性等特点,提高运维人员的工作效率.     

基于监控日志的航班查询系统可靠性评估方法

针对运行阶段的系统软件可靠性评估理论和评估方法的研究缺失,提出一种基于系统监控日志的软件可靠性评估方法。以中国航信的航班查询系统为可靠性评估研究对象,首先解析该系统的监控日志,提出基于监控日志的失效数据提取方法。其次,基于航班查询系统的特点和可靠性数据的分析结果,构建了航班查询系统可靠性模型。最后,实验验证了该可靠性模型是可行的,并利用此模型评估了航班查询系统的可靠性,形成了系统软件可靠性评估过程方法。     

基于大数据实时web防火墙日志安全审计系统的探究

随着信息科学技术的迅猛发展,信息技术的广泛应用促进了全球资源的优化配置和发展模式创新,互联网对政治、经济、社会和文化的影响愈加深远,围绕着信息获取、利用和控制的国际竞争日趋激烈,网络与信息安全面临的形势日益严峻。并且将服务和业务扩展到web平台上,传统的防火墙已经无法满足日趋多样化、复杂化的恶意攻击。     

基于OPC框架的高效计算服务应用

大数据计算是当前云计算研究的热点之一. 在电力信息化、精益化的建设过程中,业务复杂度不断提高,数据量与日俱增,这使得传统的数据加工性能日益劣化. 在复杂的业务场景下,由于海量的电力数据,使得数据指标加工计算的效率非常低下,传统方式的加工任务经常耗时数个小时,难以满足用户的体验要求. 为了解决这个问题,全面提升数据指标加工任务效率,基于对象化并行计算（Objectification Parallel Computing,OPC）框架实现了一种高效计算服务,OPC是分布式并行内存计算框架. 在OPC框架中,大数据集被拆分成小数据集,并分布式地存储在集群内存中. OPC计算任务借鉴了分而治之和归并树的思想,将计算任务分成两个阶段：本地计算任务和计算结果收集汇总. 计算任务基于本地计算数据进行计算,得到本地计算结果,然后将计算结果通过收集结点进行汇总合并,最后得到最终结果. OPC框架技术应用在国家电网公司工程生产管理系统（PMS）中,应用效果表明该技术稳定、可靠,性能提升几十至数百倍,可满足高效计算需求.     

云计算环境下分布式大数据多信道并行控制系统

分布式大数据控制受到信道数量影响易产生不同步现象,导致信道控制性能较差,设计一种云计算环境下分布式大数据多信道并行控制系统。系统硬件：节点处理模块由FPGA芯片以及抗干扰器组成;无线通信模块主要由射频芯片与无线收发器组成;USB模块由接口芯片、寄存器、存储芯片以及周边电路构成。系统软件：分布式大数据多信道数据存储与处理模块的构成为同步存储数据单元与数据多路实时处理单元;多信道并行控制模块主要由多信道并行管理单元、多信道状态扫查单元以及生成数据流单元构成。通过硬件与软件相结合实现了分布式大数据多信道并行控制。实验结果证明,分布式大数据信道平均传输速率数据则分布、保持的较为均匀,实现了性能提升。     

Ya rn架构下基于G A的We b日志挖掘技术

提出了一种面向TB级别日志文件挖掘需求的日志挖掘技术。采用MapReduce编程模型设计并实现了一种基于子种群联姻策略的GA,并部署到Yarn架构上,使Yarn架构与GA有效结合。在算法Partition阶段,采用Round-Robin策略代替原有的哈希方法,使各个子种群基因更加趋向均匀分布,增加了子种群收敛效率和结果准确性,同时均衡各个节点运行负载,提高了系统性能。经测试,应用该技术的挖掘结果平均准确度达到93％以上,效率提升接近33％。     

物联网智能数据采集和监测系统后台服务设计研究

本文结合物联网的智能数据采集和监控系统的应用场景,对该系统后台服务的设计理念、架构设计的研究成果进行了阐述,探讨了采用协议转换等抽象设计模式的设计效果。本文对构建具有良好的扩展能力、高性能和易实施的物联网智能数据采集和监控系统具有一定的指导意义。     

基于SQL-on-Hadoop查询引擎的日志挖掘及其应用

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈。大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统应运而生。为了让原有的业务能够充分利用Hadoop的优势,本文首先研究了基于大数据技术的网络日志分析方法,构建了网络日志分析平台以实现万亿级日志采集、解析、存储和高效、灵活的查询与计算。对比分析了Hive、Impala和Spark SQL这3种具有代表性的SQL-on-Hadoop查询系统实例,并展示了这类系统的性能特点。采用TPC-H测试基准对它们的决策支持能力进行测试及评估,通过对实验数据的分析和解释得到了若干有益的结论。实现了海量日志数据计算与分析在证券领域的几种典型应用,为进一步的研究工作奠定了基础。     

云计算环境下基于数据关联度的海洋监测大数据布局策略

海洋监测数据是具有强数据关联的大数据,如何高效地进行数据布局,是制约其有效管理和应用的关键问题之一。在云计算环境下,针对海洋监测大数据的特点,提出了一种基于数据关联度的海洋监测大数据布局策略。在保证数据中心存储均衡的情况下,综合考虑了监测任务、监测点和监测数据之间的关联,建立了海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度,从三个角度对海洋监测大数据进行布局,使得同一数据中心内的数据具有较高的关联度。通过实验分析,该方法降低了用户访问海洋监测大数据的响应时间,为海洋监测大数据提供了一种有效的布局策略。     

基于全景监测与智能预警的配电网全域大数据应用研究

面对不断扩大的电网规模及愈加复杂的外部环境,影响电网安全稳定运行的因素也在不断增加,为此提出了基于大数据机器学习算法的设备状态监测方法.运用成熟的数据挖掘技术,基于当前大量的数据积累开展数据价值的挖掘分析,构建基于随机森林的设备状态评价模型、基于D-S证据论的故障预警模型等,以云计算为支撑,以“互联、共享、智能”为理念...     

基于嵌入式数据库的分布式大坝监测数据汇聚器设计

采用ARM9及嵌入式数据库设计开发了基于分布式技术的大坝监测系统的数据汇聚器,论述了分布式大坝监测系统的结构及数据汇聚器的作用.重点研究了数据汇聚器的硬件构成、软件平台以及采用SQLite数据库的软件实现.该设备可以有效地应用于大坝的安全监测.     

Data collection and restoration for heterogeneous process migration

This study presents a practical solution for data collection and restoration to migrate a process written in high‐level stack‐based languages such as C and Fortran over a network of heterogeneous computers. We first introduce a logical data model, namely the Memory Space Representation (MSR) model, to recognize complex data structures in process address space. Then, novel methods are developed to incorporate the MSR model into a process, and to collect and restore data efficiently. We have implemented prototype software and performed experiments on different programs. Experimental and analytical results show that: (1) a user‐level process can be migrated across different computing platforms; (2) semantic information of data structures in the process's memory space can be correctly collected and restored; (3) costs of data collection and restoration depend on the complexity of the MSR graph in the memory space and the amount of data involved; and (4) the implantation of the MSR model into the process is not a decisive factor of incurring execution overheads. With appropriate program analysis, we can practically achieve low overhead. Copyright © 2002 John Wiley & Sons, Ltd.