基于hadoop的大规模查询日志分析模型设计

日志分析对于在用户搜索领域有着很重要的意义,目前的日志分析系统有着不少弊端,比如：海量数据无法处理、离线处理模式、处理时延长等。对日志数据采用分级归档,可以实现大数据的分级优化处理。本文通过提出在一种基于Hadoop的大数据日志分析模型,并对其业务处理流程以及功能架构进行深入分析,实验结果反映出该系统扩展性强、海量数据处理能力卓越、满足在线处理等,具有良好的可行性和有效性。     

基于Hadoop的网络日志浏览器访问者统计

本文搭建了一个基于虚拟机网络的hadoop云计算环境,对日志数据KPI指标的计算及处理分析,获取该批日志数据浏览器访问者来源信息,通过对结果按数量排序获得该应用的最活跃的访问者情况.该系统的实现算法不但能处理日志数据,还可以对格式化的文本大数据进行处理.     

多源日志的远程存储和分析管理

在现代计算机系统和软件开发过程中日志数据越来越受到业内人士的普遍重视。文章旨在实现对日志数据的远程备份并按照一定的规则挖掘出对后续的日志管理有帮助的记录。首先使用TCP可靠传输协议把日志数据存入到远端服务器上,为了实现对日志数据的较为全面的分析管理,把不同格式的日志数据做统一化处理,并写入到数据库中,实现对日志数据的安全管理。     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

基于Spark Streaming的海量日志实时处理系统的设计

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.     

ELK日志分析平台在系统运维中的应用

随着气象部门对数据传输时效要求不断提升,以及业务系统规模不断扩大,对系统中日志的收集和集中处理的需求越来越高。本文提出了基于ELK实时进行大日志数据搜索的软件集成方案。通过对ELK、Redis整合方案的介绍描述了ELK日志分析平台的日志处理流程,结合全国综合气象信息共享系统(CIMISS)内蒙古气象局实际场景设计了ELK日志分析平台。通过分析日志可以快速定位系统异常,提前预警风险,加快了气象部门实现智能化运维、信息化管理的步伐。     

基于概念漂移检测的大数据交易过程模型优化方法

通过大数据交易过程模型优化,实现对大数据交易过程的精确建模,对于构建稳定、鲁棒和精确的交易平台至关重要.然而,大数据交易流程随时间而变化,传统的静态模型优化方法无法反映现实流程模型的时态变化特征.为此,本文提出一种基于概念漂移的大数据交易模型优化方法,在概念漂移点检测和定位的基础上,设计大数据交易日志分割算法,演算日志精准分割点,构建具有时变特性的大数据交易分段模型,实现基于日志分割的模型优化.该方法在天元大数据交易平台的应用实践表明,优化模型在拟合度和精确度方面均优于静态模型,对大数据交易演化过程的适配性更强.     

基于深度学习的网络防火墙日志数据智能分析方法

本文提出了一种针对网络防火墙日志数据的智能分析方法,该方法首先将日志数据用Word2Vec模型处理为词向量,然后通过CNN模型的卷积层自动从日志数据中提取文本特征,然后通过Softmax层对日志数据进行分类。为了证明该方法的有效性,使用真实的日志数据进行实验,并与传统的SVM、决策树模型进行对比。实验数据显示,本文提出的方法在日志数据分析上具有较强的泛化能力,精确度高并能有效改善防火墙的综合分析与防护能力。     

面向DNS日志的MapReduce性能优化技术研究

DNS日志是互联网中重要的访问日志,数量巨大且承载着大量信息,需要借助大数据技术进行处理和分析.现网DNS日志数据量大,且数据倾斜现象严重,对MapReduce的性能有较为严重的影响.基于上述问题,采用小文件合并方法优化分片,缓解Map端的数据倾斜问题,并实现动态设置分片大小,提高MapReduce作业执行效率.该方法有效均衡了Map任务的负载,从而提高了数据倾斜情况下的MapReduce作业的执行效率和资源利用率.实验表明,使用该方法可以有效缩短MapReduce作业的执行时间.     

Hadoop平台在电信企业的应用实践

随着电信企业的业务发展,其运营网络、业务系统及支撑系统等生产了大量的日志数据,这些数据蕴含了大量有用信息,传统日志处理方式限制了企业对海量日志文件的处理、分析及应用.针对电信企业特定应用平台产生的大量日志文件,实践了Hadoop平台的MapReduce编程模型,该平台以HDFS作为底层文件系统,以Hbase作为可扩展的数据存储系统,更大幅度地提高了对日志数据分析的效率,具有较好的实用价值.     

面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

基于集成Excel的个性化Web日志分析研究

日志记录了Web服务器接收处理请求以及运行时错误等各种原始信息,对日志进行统计、分析,能有效掌握服务器的运行状况,发现和排除错误原因,了解客户访问分布.在此,介绍了集成Excel技术的概况,并利用Office内置的编程语言VBA实现了对Excel的集成,利用应用程序实现了对Excel的操纵,实现了Web数据挖掘的个性化.     

IPTV日志数据分析系统的设计与实现

交互式网络电视(Interactive Personality TV,IPTV)是一种集互联网、多媒体、网络通讯等技术于一身,向家庭用户提供数字电视在内的多种交互式用户体验的全新电视技术。日志是计算机系统运行时产生事件记录,记载着时间、使用者及动作等相关操作的描述信息。本文研究的IPTV日志是指交互式网络电视播控系统每时每刻产生的用户行为日志,这些日志对了解用户使用IPTV的情况、节目播放信息等都具有非常大的商业价值。系统对用户登录、播放、订购等IPTV日志信息进行业务分析,采用B/S体系结构,基于.NET企业级应用开发平台,按照软件工程生命周期模型,设计并实现了IPTV日志数据分析系统。系统主要划分为用户数据分析、订购数据分析、收视数据分析、活动专题分析、搜索收藏分析五个部分,以四川广播电视台IPTV播控平台为基础,建立了较为完整的IPTV日志分析数据模型,从技术、业务、内容多方面对开发过程中涉及相关功能进行了阐述,为IPTV日志数据分析提供了清晰的解决方案,通过该系统IPTV业务人员可以有效的分析用户行为,并结合用户推荐信息提高使用率,规避内容采购风险提升收益,具有一定的参考和使用价值。     

面向主动运维的Syslog日志分析方法

网络在运行过程中,有时会出现一些异常事件,这些异常事件对网络具有一定的危害性,严重的可能会导致网络故障.现代网络运维工作中普遍使用Syslog日志记录网络设备上发生的各种事件,然而许多网络运维部门仅仅用Syslog日志分析故障,对日志中所反映的网络异常情况往往重视不够.为了改变被动等待故障的工作方式,网络部门需要全面了解网络的运行情况,找出可能导致网络故障的因素,使得运维工作由被动变为主动.Syslog日志分析是主动运维工作中的一项重要内容.由于大型网络中Syslog日志数量非常庞大,依靠人的分析方法几乎不可行,而且由于日志消息格式的随意性,也使得传统的基于规则的计算机分析方法通用性较差.本文通过对异常事件的特征进行研究,结合实际网络中的Syslog日志数据,对如何找出网络中的异常事件和异常设备进行总结.     

一种电力网络设备暴力登陆分析方法

随着城市供电企业信息化建设的迅速发展,基于网络基础设施的网络设备每时每刻产生着大量的包含运行、安全风险信息的日志数据,为更好的保障网络安全,利用日志数据实现数据挖掘、安全事件分析成为迫切需求.国网铜陵供电公司结合信息通信一线业务提升需求,使用大数据技术,通过syslog协议,探索一种电力网络设备暴力登陆的分析方法,以尽快发现暴力登录行为,提升网络安全管控水平.     

网站日志分析器

一个网站的管理，维护，网站的日志文件是一个重要的参考文件，但日志文件信息量大时，一个网管员很难一下子把需要的情况提取出来，而有了日志分析器就可以帮助网管员把日志记录中的情况以图表的形式进行统计分析并展示出来，大大地提高了日志查看分析的效率．并且还可以从分析表找到网站被黑客入侵攻击的迹象．     

基于日志模板的异常检测技术

日志分析是云计算业务平台管理中一项非常重要的工作.日志分析旨在保证云平台的高效性与可用性,传统的人工分析方式存在日志复杂、日志量大等问题.本文提出了一种日志异常检测方法,首先基于编辑距离进行文本聚类形成日志模板,在此基础上构建特征向量,利用弱分类器训练形成得分特征向量,利用得分特征向量与随机森林构建强分类器.实验表明,日志模板与真实模板之间的互信息为0.91,较为接近,利用随机森林构建的强分类器在本文的数据集上表现最好,分类精度达0.94.     

基于增量日志的数据复制

论文设计实现了基于增量日志的数据复制、双向复制机制,并对其相关的因素进行了分析,对其中的处理逻辑进行了优化。     

手机用户画像在大数据平台的实现方案

大数据平台通过对DPI上网日志的加工处理和分析,形成用户上网行为的特征刻画;同时结合经分系统现有用户基础信息、套餐信息、终端信息、业务订购等信息,进行深度数据融合及交叉分析,形成手机用户画像,实现电信业务针对性营销。     

基于设备日志的异构网络问题发现及预警方法

本文主要研究在NFV场景下应对接入种类繁多的日志，基于预警规则的日志问题发现及预警方法。具体方法为基于全量日志正文数据，对细分网元的日志量进行统计，得到网元日志量监测数据和日志正文表达式监测数据，结合自动化处理与AI算法初步生成问题发现规则集和历史预警数据集，引入时间序列异常检测算法，提升问题预警的智能化水平，进一步对自动生成的规则通过专家经验进行确认，得到有效的规则集合。经过验证，采用以上方法在生产环节可得到有效规则，并生成预警数据，实现精准监测日志量异常、发现问题日志并产生预警。