共查询到20条相似文献,搜索用时 31 毫秒
1.
陆世鹏 《电子产品可靠性与环境试验》2017,35(5)
在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理. 相似文献
2.
3.
Web日志挖掘的预处理及路径补全算法的研究 总被引:9,自引:0,他引:9
Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用。文章详细介绍了Web日志挖掘的预处理过程。通过实例分析了预处理方法,着重分析其中的路径补全方法。并给出了路径补全的算法实现。 相似文献
4.
5.
6.
7.
论文设计实现了基于增量日志的数据复制、双向复制机制,并对其相关的因素进行了分析,对其中的处理逻辑进行了优化。 相似文献
8.
王锐 《电信工程技术与标准化》2024,(1):75-80
传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。 相似文献
9.
传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。 相似文献
10.
电力通信运行管理过程中,会产生和存储各类相对独立的业务数据(如故障工单、值班日志、检修工单、巡检记录等),这些业务数据为电力通信网运行管理提供了重要支撑。目前大多数业务数据的统计过程相对独立,后期较少人工加以关联。选取了电力通信运行管理中值班日志与故障工单两种典型的业务数据,采用文本挖掘技术,构建无监督召回和监督分类相结合的机器学习模型,提出值班日志与故障工单的智能关联方法,并利用电力通信运行管理系统中相关历史业务数据,对智能关联方法进行实验验证,达到较好的关联效果。 相似文献
11.
对Web日志中用户访问数据的挖掘可以很好的获得系统优化的信息,方便Web站点走向个性化、智能化道路。本文深入了解了Web日志格式的内容,研究了进行Web日志挖掘的一般流程。采取预处理的方式来获得用户有用信息,经过数据清理、用户识别、用户会话识别、界面过滤、路径补充来完成信息的有效汲取,最终通过模式发现和模式分析来完成对使用者感兴趣信息的传送工作,将Web日志挖掘技术真正应用在站点优化进程中。 相似文献
12.
《电子技术与软件工程》2017,(6)
随着气象部门对数据传输时效要求不断提升,以及业务系统规模不断扩大,对系统中日志的收集和集中处理的需求越来越高。本文提出了基于ELK实时进行大日志数据搜索的软件集成方案。通过对ELK、Redis整合方案的介绍描述了ELK日志分析平台的日志处理流程,结合全国综合气象信息共享系统(CIMISS)内蒙古气象局实际场景设计了ELK日志分析平台。通过分析日志可以快速定位系统异常,提前预警风险,加快了气象部门实现智能化运维、信息化管理的步伐。 相似文献
13.
14.
DNS日志是互联网中重要的访问日志,数量巨大且承载着大量信息,需要借助大数据技术进行处理和分析.现网DNS日志数据量大,且数据倾斜现象严重,对MapReduce的性能有较为严重的影响.基于上述问题,采用小文件合并方法优化分片,缓解Map端的数据倾斜问题,并实现动态设置分片大小,提高MapReduce作业执行效率.该方法有效均衡了Map任务的负载,从而提高了数据倾斜情况下的MapReduce作业的执行效率和资源利用率.实验表明,使用该方法可以有效缩短MapReduce作业的执行时间. 相似文献
15.
大多数软件都采用日志记录系统的关键操作,而且把日志代码与业务代码交织在一起,并散布到关键操作的业务逻辑中。本人在研发邮件服务系统的过程中,采用面向方面编程(Aspect Oriented Programming,AOP)技术将邮件日志与邮件服务的业务逻辑分离,并把日志单独作为一个模块来实现,然后使用代理的方法将日志功能与业务联接在一起,组合成一个完整的软件系统。这种设计方法增强了日志模块的独立性和可重用性,提高了系统的灵活性与可维护性。 相似文献
16.
李晨光 《电子产品维修与制作》2014,(16):49-53
随着大家对网络安全意识的提高,企业网管人员必须对IT基础设置进行监控及安全事件的管理,管理数据的数量和种类非常巨大,那么就需要有一款能够分析各种日志数据的工具。本文向大家推荐一款全能型分析工具Splunk。 相似文献
17.
基于蜜罐日志分析的主动防御研究 总被引:1,自引:0,他引:1
论文主要针对蜜罐技术中日志分析的薄弱环节,引入了日志分析工具Log Parser,利用Log Parser支持众多日志格式的输入和输出,能够对不同日志格式进行统一和数据融合,并提供灵活的日志过滤规则的自定义,研究了运用Log Parser来分析蜜罐日志进行主动防御的方法和优势。同时,对于日志分析技术来说,蜜罐日志的低噪声级别让日志分析结果更加准确有效。 相似文献
18.
潘全卫 《电子产品维修与制作》2009,(5):111-111
一个网站的管理,维护,网站的日志文件是一个重要的参考文件,但日志文件信息量大时,一个网管员很难一下子把需要的情况提取出来,而有了日志分析器就可以帮助网管员把日志记录中的情况以图表的形式进行统计分析并展示出来,大大地提高了日志查看分析的效率.并且还可以从分析表找到网站被黑客入侵攻击的迹象. 相似文献
19.
20.
通过大数据交易过程模型优化,实现对大数据交易过程的精确建模,对于构建稳定、鲁棒和精确的交易平台至关重要.然而,大数据交易流程随时间而变化,传统的静态模型优化方法无法反映现实流程模型的时态变化特征.为此,本文提出一种基于概念漂移的大数据交易模型优化方法,在概念漂移点检测和定位的基础上,设计大数据交易日志分割算法,演算日志精准分割点,构建具有时变特性的大数据交易分段模型,实现基于日志分割的模型优化.该方法在天元大数据交易平台的应用实践表明,优化模型在拟合度和精确度方面均优于静态模型,对大数据交易演化过程的适配性更强. 相似文献