基于Hadoop的在线网络日志分析系统研究

网络日志分析对网络安全管理具有重要意义,但现有的网络日志分析系统具有无法处理海量日志数据、采用离线模式、处理时延较长等弊端。因此,提出网络日志数据的分级归档机制,实现海量数据的分级优化存储功能。通过将传统的网络日志分析模式和基于Hadoop的离线处理模式相结合,设计基于Hadoop的在线网络日志分析系统,并深入分析系统的功能架构和业务处理流程。实验结果表明:该系统具有良好的可扩展性,可以有效存储处理海量日志数据,具有较快的请求响应速度,并能够满足在线处理的要求。从而验证了系统设计的可行性和有效性。     

基于大数据的网络日志分析技术

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案:由多台计算机完成日志文件的存储、分析、挖掘工作,建立了一个基于Hadoop开源框架的并行网络日志分析引擎,在MapReduce模型下重新实现了IP统计算法和异常检测算法。实验证明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和增加系统的可扩展性。     

基于MapReduce的网络日志分析系统

随着商业和互联网的高速发展,海量网络日志呈现爆炸趋势,传统的日志分析系统无法满足用户的需求.MapReduce编程模型由于其强大的数据处理能力成为本系统的设计基础,利用MapReduce实现了海量数据的分级收集、统一存储和分析管理,设计了有效的网络日志分析系统.     

一种多协议网络日志二次聚类方法研究

为了处理网络日志规模过大及其相关问题,并为后期日志分析提供简洁的数据源,提出一种多协议网络日志二次聚类方法。该方法采用划分网格的方式把网络日志进行网格内初次聚类,然后再依据相似度判断对初次聚类簇进行二次聚类,最后输出聚类后的日志记录及一些稀疏数据和孤立点数据。经实验测试证明,在不破坏网络日志的完整性和准确性,且不影响用户正常网络访问的前提下,该方法日志规模压缩效果显著,时间复杂度低以及能够处理实际的动态数据,实现增量式聚类。     

安全管理平台中基于云计算的日志分析系统设计

安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息。为解决现有SMP中海量日志查询效率低下的问题,设计基于云计算的SMP日志存储分析系统。基于Hive的任务转化模式,利用Hadoop架构的分布式文件系统和MapReduce并行编程模型,实现海量SMP日志的有效存储与查询。实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得SMP日志的平均查询效率提高约90%,并能加快SMP集中管控的整体响应速度。     

校园网网络流量日志处理的设计与实现

现有存储的网络流量日志信息数据量庞大,访问效率很低。为了从海量的网络日志信息中提取所需要的数据,提出了利用内存映像技术解决日志访问的方法。该方法利用网络流量日志自身的特点建立访问路径,通过对网络日志建立内存映像来访问日志信息,并通过C 程序实现日志处理。     

基于知识图谱驱动的网络安全等级保护日志审计分析模型研究

为了从海量的日志数据中审计分析安全事件,并进行事件溯源,文章提出基于知识图谱驱动的网络安全等级保护日志审计分析模型。该模型将安全、运维、数据分析和等级测评数据融合进行日志数据增益;将服务器、网络设备和安全设备作为本体构建节点;将业务数据流作为连接两个节点的关系,业务数据流的方向作为关系的方向。从安全管理中心、安全计算环境、安全区域边界和安全通信网络4个方面构建相应的网络安全等级保护日志知识图谱,实现网络日志的高效关联和深度挖掘分析,可以不需要对问题进行精确建模而在数据上直接进行分析和处理,适用于进行网络安全日志的大数据分析,为大规模复杂日志审计分析的求解提供了一种有效手段。     

基于Storm的车联网数据实时分析系统

针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.     

基于数据仓库的海量搜索日志分析系统研究

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题,提出了基于数据仓库的海量搜索日志分析系统架构.利用Hadoop分布式文件系统(HDFS)存储海量搜索日志,并对搜索日志进行清洗处理,采用impala对数据进行高速的处理,将处理后的统计结果导入到数据仓库中,使用Penta-hoBI对数据进行多维分析和统计报表.获取了关键词分析、查询频率、热词排行、查询词和时间分布、网站排名、用户统计等6个分析主题.分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义.     

基于Spark平台的网络攻击检测系统

随着计算机技术和通信技术的飞速发展,网络安全形势也越来越严峻,如何在海量日志中发现安全攻击是个值得研究的问题,传统的日志分析方法效率低,难以发现一些高级的网络安全威胁。针对该问题,提出了基于分布式存储和Spark框架的网络日志分析系统架构,不仅有效利用了云环境中的计算存储资源,同时还大大提高了计算效率。     

基于大数据平台的企业画像研究综述

随着国民经济的发展,企业的数量不断增加。基于企业运营时产生的海量数据,可以利用大数据技术结合企业画像的理论来对企业进行全面分析,为企业成长、行业发展、政府监管等各方面提供可靠的数据分析。文中首先对当前国内外企业画像构建及其技术进行总结和分析,构建了基于大数据平台的企业画像标签体系模型和建模框架;然后根据企业数据的特点,结合比较热门的用户画像技术,提出了几种处理企业的数据方法;最后提出使用大数据技术处理企业数据时值得讨论的几个问题。     

大数据时代网络安全及预测技术研究

大数据时代信息技术的快速发展,依托于各类硬件防护设备的网络体系架构的异构数据量每天以指数级的量级递增,基于传统的网络安全防护技术无法有效的适用于具有海量数据的特征网络安全和分析预测等工作,因此海量数据的保存、使用、以及分析等信息挖掘和数据分析预测逐步成为社会各界重视和当前的研究趋势。本文以海量的异构数据为研究对象,识别网络安全大数据的典型特征,结合情报预测的主要方法,创新性的提出了大数据特征下的网络安全预测分析技术,提高网络安全风险识别和预测、俞静能力,有效的改善网络防护效果。     

基于大数据分析和复杂事件处理的金融信息服务平台

针对大数据时代下金融信息服务滞后性、片面性、同质化的问题,设计并实现了基于大数据分析和复杂事件处理的金融信息服务平台. 该平台采用多通道采集、浅层语义处理等技术实现多源数据的采集、抽取与清洗,采用面向金融领域特征的网络观点分析等技术进行数据分析,为证券投资者、投资顾问及机构等三类用户提供及时、精准、个性化的金融信息服务,取得了良好的应用成效.     

基于大数据的数据挖掘中容错技术研究

随着互联网的不断发展,应用程序、数据正在迅速增长,大规模数据存储成为大数据技术研究重点,借助数据挖掘技术能更好地为决策者提供信息支撑。容错技术是大数据处理领域中一个前沿且极具挑战性的研究课题。该文依据当前的研究现状和进展,通过对大数据时代数据特征的分析,结合当前技术发展趋势,运用Python技术设计数据挖掘中代码容错技术的改进,并用算法进行实现。测试结果表明,该算法运行良好,系统的健壮性和可靠性大大提高,为大数据和数据挖掘提供理论基础,为海量数据的安全可靠挖掘提供科学有效的技术支撑。     

基于大数据的电力客户行为分析体系研究及实践

随着我国电力市场的发展,供电企业紧跟数字化发展步伐加快信息系统建设,各业务系统在运行过程中积累了海量信息数据资源,利用这些数据资源进行数字化分析已经渐渐成为供电企业的重点工作。在供电企业不断地拓展分析范围,优化分析方法的过程中,大量的数据资产被盘活,巨大企业价值与社会价值逐渐显现。大数据技术的使用可体现在电力系统运行的各种环节,为电力信息的商业化利用提供有力支撑。基于大数据技术的电力客户用电行为分析能提高电力系统的运行效率,为供电企业的实际运行提供决策依据。文章分析了国内、外电力行业大数据应用的进程及现状,根据不同类型客户的用电行为建立了基于大数据技术电力客户行为分析体系,对大数据技术的实践情况进行探究,实现电力客户用电行为的深度分析,为客户提供更优质的服务体验。     

基于Storm技术的实时数据处理平台研究与实现

针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、 Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台。利用tornado+WSGI+Apache技术搭建Web服务器,采用 Echarts技术对处理结果进行可视化分析。以网站访问日志作为数据源,对平台进行验证,通过测试,该平台能够完成网站的点 击率和访客数的实时计算,具有稳定可靠、操作简单、实时性强等特点。     

基于Storm的大数据指标实时计算方法

大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.     

基于Kafka和Storm的车辆套牌实时分析存储系统

城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式（如基于人工识别、基于牌照识别、基于射频识别等）.然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性.     

大数据技术在智能充电桩网络系统中的应用

当前智能充电桩网络系统中的数据具有“大数据”的典型特征,即数据源、数据类型丰富、数据量庞大且增长迅速,而传统的数据处理技术无法有效处理这些数据,大数据技术可以很好应对此场景。大数据技术在充电桩运维,充电客户分析,电网企业整体运营调度中起到非常关键的促进作用,对建立安全可靠高效的充电桩网络具有重要意义。本文初步探讨了大数据技术以在智能充电桩网络系统中的具体应用,分析了智能充电桩网络系统与大数据之间的关系,详细阐述了智能充电桩网络大数据处理平台总体架构的设计思路,并展开描述这其中所使用到的关键技术点,最后着重分析了大数据技术在充电桩运维,充电客户分析,企业整体运营调度中的具体应用。大数据技术能促进充电桩网络向智能化方向发展,为建设安全高效便捷充电桩网络提供切实保障。大数据技术在电力行业的广泛应用必将带来行业的变革,将智能电网的发展推向新的阶段。