基于Spark Streaming的海量日志实时处理系统的设计

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

Web日志挖掘的预处理及路径补全算法的研究

Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用。文章详细介绍了Web日志挖掘的预处理过程。通过实例分析了预处理方法，着重分析其中的路径补全方法。并给出了路径补全的算法实现。     

基于SQL-on-Hadoop的网络日志分析

当今网络带宽、设备和应用数量急剧扩张,日志管理面临数据量爆炸式增长的挑战。基于SQL-on-Hadoop构建网络日志分析平台,实现千亿级日志存储和高效、灵活查询。利用真实TB级数据集对多种Hadoop列存储格式及压缩算法进行性能测试,并对比Hive和Impala引擎日志扫描及统计查询效率,选用Gzip压缩的Parquet格式可将日志体积压缩80%,且将Impala查询性能提升至5倍。基于该平台已开发6种安全事件响应、攻击检测和预警应用并发挥良好效果。     

Web日志挖掘中的数据预处理技术研究

在网络技术高速发展的今天,Web技术得到普及,通过对Web的数据挖掘,用户能够获取到所需要的数据信息、知识,同时能够对用户的访问行为、内容进行深入分析.Web日志挖掘是数据挖掘中的重点内容,借助日志挖掘的数据预处理技术,获取到用户特征,将自身的Web的服务设计进行优化,开展针对性的网络活动.基于此,在本文中对Web日志挖掘中的数据预处理技术进行研究,提出预处理算法.     

大规模查询日志分析模型构建机制

日志分析在用户搜索方面具有重要的意义,但是现代日志分析系统中具有多方面的问题,比如离线处理模式的处理时间较长,大量的数据没有办法进行处理.实现日志数据的分级归档,能够优化处理大数据.基于此,本文就提出了以Hadoop为基础的大数据日志分析模型,并且对其中的业务处理流程和功能架构实现全面的分析.实验结果表示,本文设计的大规模查询日志分析模型具有较强的扩展性、良好的数据处理能力,并且还具有有效性及可行性.     

基于增量日志的数据复制

论文设计实现了基于增量日志的数据复制、双向复制机制,并对其相关的因素进行了分析,对其中的处理逻辑进行了优化。     

基于日志数据的窗口化异常检测方法

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。     

面向在线日志云的海量数据分级归档机制

传统日志系统和基于Hadoop的离线日志系统在分析海量日志时都具有时延长、效率低等弊端。为构建新的基于Hadoop的在线日志系统,提出了新的数据分级归档机制,用以管理海量日志数据并形成分级优化的存储文件结构。实验结果表明该机制具有良好的可扩展性,可以有效存储海量日志数据;同时,它还有助于加快系统的数据处理速度,缩短系统的处理响应时间,使其满足在线处理的要求。     

电力通信运行管理中典型业务数据的智能关联方法

电力通信运行管理过程中,会产生和存储各类相对独立的业务数据(如故障工单、值班日志、检修工单、巡检记录等),这些业务数据为电力通信网运行管理提供了重要支撑。目前大多数业务数据的统计过程相对独立,后期较少人工加以关联。选取了电力通信运行管理中值班日志与故障工单两种典型的业务数据,采用文本挖掘技术,构建无监督召回和监督分类相结合的机器学习模型,提出值班日志与故障工单的智能关联方法,并利用电力通信运行管理系统中相关历史业务数据,对智能关联方法进行实验验证,达到较好的关联效果。     

Web日志挖掘技术的应用研究

对Web日志中用户访问数据的挖掘可以很好的获得系统优化的信息,方便Web站点走向个性化、智能化道路。本文深入了解了Web日志格式的内容,研究了进行Web日志挖掘的一般流程。采取预处理的方式来获得用户有用信息,经过数据清理、用户识别、用户会话识别、界面过滤、路径补充来完成信息的有效汲取,最终通过模式发现和模式分析来完成对使用者感兴趣信息的传送工作,将Web日志挖掘技术真正应用在站点优化进程中。     

ELK日志分析平台在系统运维中的应用

随着气象部门对数据传输时效要求不断提升,以及业务系统规模不断扩大,对系统中日志的收集和集中处理的需求越来越高。本文提出了基于ELK实时进行大日志数据搜索的软件集成方案。通过对ELK、Redis整合方案的介绍描述了ELK日志分析平台的日志处理流程,结合全国综合气象信息共享系统(CIMISS)内蒙古气象局实际场景设计了ELK日志分析平台。通过分析日志可以快速定位系统异常,提前预警风险,加快了气象部门实现智能化运维、信息化管理的步伐。     

一种电力网络设备暴力登陆分析方法

随着城市供电企业信息化建设的迅速发展,基于网络基础设施的网络设备每时每刻产生着大量的包含运行、安全风险信息的日志数据,为更好的保障网络安全,利用日志数据实现数据挖掘、安全事件分析成为迫切需求.国网铜陵供电公司结合信息通信一线业务提升需求,使用大数据技术,通过syslog协议,探索一种电力网络设备暴力登陆的分析方法,以尽快发现暴力登录行为,提升网络安全管控水平.     

面向DNS日志的MapReduce性能优化技术研究

DNS日志是互联网中重要的访问日志,数量巨大且承载着大量信息,需要借助大数据技术进行处理和分析.现网DNS日志数据量大,且数据倾斜现象严重,对MapReduce的性能有较为严重的影响.基于上述问题,采用小文件合并方法优化分片,缓解Map端的数据倾斜问题,并实现动态设置分片大小,提高MapReduce作业执行效率.该方法有效均衡了Map任务的负载,从而提高了数据倾斜情况下的MapReduce作业的执行效率和资源利用率.实验表明,使用该方法可以有效缩短MapReduce作业的执行时间.     

基于AOP技术的邮件日志系统研究

大多数软件都采用日志记录系统的关键操作,而且把日志代码与业务代码交织在一起,并散布到关键操作的业务逻辑中。本人在研发邮件服务系统的过程中,采用面向方面编程（Aspect Oriented Programming,AOP）技术将邮件日志与邮件服务的业务逻辑分离,并把日志单独作为一个模块来实现,然后使用代理的方法将日志功能与业务联接在一起,组合成一个完整的软件系统。这种设计方法增强了日志模块的独立性和可重用性,提高了系统的灵活性与可维护性。     

全面管理日志信息

随着大家对网络安全意识的提高，企业网管人员必须对IT基础设置进行监控及安全事件的管理，管理数据的数量和种类非常巨大，那么就需要有一款能够分析各种日志数据的工具。本文向大家推荐一款全能型分析工具Splunk。     

基于蜜罐日志分析的主动防御研究

论文主要针对蜜罐技术中日志分析的薄弱环节,引入了日志分析工具Log Parser,利用Log Parser支持众多日志格式的输入和输出,能够对不同日志格式进行统一和数据融合,并提供灵活的日志过滤规则的自定义,研究了运用Log Parser来分析蜜罐日志进行主动防御的方法和优势。同时,对于日志分析技术来说,蜜罐日志的低噪声级别让日志分析结果更加准确有效。     

网站日志分析器

一个网站的管理，维护，网站的日志文件是一个重要的参考文件，但日志文件信息量大时，一个网管员很难一下子把需要的情况提取出来，而有了日志分析器就可以帮助网管员把日志记录中的情况以图表的形式进行统计分析并展示出来，大大地提高了日志查看分析的效率．并且还可以从分析表找到网站被黑客入侵攻击的迹象．     

Hive日志分析的大数据存储优化探讨

由于近些年我国信息化水平的提升,数据为我们工作与生活带来了不可估量的机制,怎样快速地转化大数据为可用信息,可以说是现阶段研究的重要课题。该研究基于Hive磁盘利用率与数据仓库查询性能的优化方式,有助于在专用场景中对Hive日志查询速率进行全面提升。该研究首先对Hadoop和大数据研究现状进行分析,其次探讨Hive日志分析的优化大数据存储策略,以期能够对大数据存储提供有效借鉴。     

基于概念漂移检测的大数据交易过程模型优化方法

通过大数据交易过程模型优化,实现对大数据交易过程的精确建模,对于构建稳定、鲁棒和精确的交易平台至关重要.然而,大数据交易流程随时间而变化,传统的静态模型优化方法无法反映现实流程模型的时态变化特征.为此,本文提出一种基于概念漂移的大数据交易模型优化方法,在概念漂移点检测和定位的基础上,设计大数据交易日志分割算法,演算日志精准分割点,构建具有时变特性的大数据交易分段模型,实现基于日志分割的模型优化.该方法在天元大数据交易平台的应用实践表明,优化模型在拟合度和精确度方面均优于静态模型,对大数据交易演化过程的适配性更强.