基于数据仓库的Web日志挖掘技术研究

Web日志挖掘是目前Web挖掘研究的一个重点.针对Web日志挖掘中存在的问题,给出了基于数据仓库技术的Web日志挖掘方案,就数据预处理、数据立方体设计及数据挖掘技术的应用进行了较为深入的探讨.并以一个Web站点日志为例,详细阐述了Web日志数据预处理、Web日志立方体设计以及数据挖掘算法的实现过程,并实现了一个Web日志多维数据集,能够有效解决Web日志分析中的难题.     

Web对象访问特征模拟器的设计与实现

Web缓存是一个提高Web性能非常有效的方法，它可以位于网络的不同位置：客户端，代理服务器端，服务器端。研究表明Web缓存命中率可以达到30％-50％。Web缓存在应用中最大的问题就是Web缓存管理，研究Web访问特征是有效进行Web缓存管理的基础。Web日志生成模拟器对于研究Web缓存系统有很大地帮助，目前有两种方法模拟生成Web访问日志：日志驱动方法，数学模拟方法。日志驱动方法利用对历史日志进行变换来模拟生成新的日志，数学模拟方法在充分研究Ⅵ协对象访问特征的基础上，通过建立数学模型来模拟生成Web日志。该文通过分析Web对象访问特征，采用数学模拟方法分别模拟了Web对象高频区及低频区流行度特征，Web对象大小重尾分布特征，Web访问的时间局部性特征；设计并实现了一个Web日志模拟生成器WEBSIM。该模拟器不仅可以模拟生成Web对象访问日志，而且具有较大的灵活性，为进一步研究Web缓存技术和预取技术提供依据。     

基于Web日志挖掘的数据预处理应用研究

文章在分析Web日志的基础上,结合西华师范大学计算机学院WWW站点的访问日志,主要论述了在Web日志挖掘前所做的准备工作--数据预处理.数据预处理是整个Web日志挖掘过程的基础和实施有效挖掘算法的前提,在Web日志挖掘中起着重要的作用.     

一种分布式Web日志挖掘系统的设计与实现

Web挖掘已从早期的理论研究逐步转向实用阶段，可以利用对Web日志的挖掘发现用户的浏览模式、分析站点的使用情况。有效的Web日志挖掘工具是Web日志挖掘应用成功的关键。针对Web日志挖掘工具存在的问题与不足，提出了一种新颖的基于移动Agent技术的分布式Web日志挖掘系统（MAWLMS）的体系结构。重点阐述了移动代理层的设计，详细说明了移动Agent挖掘算法的设计与实现，包括最大向前路径识别算法和频繁遍历路径发现算法。最后对MAWLMS系统进行了验证，实验结果显示基于MAWLMS系统的分布式Web日志挖掘是可行且有效的。     

基于ELK的Apache日志实时分析系统探索与分析模型研究

Web日志详细地记录了Web服务器的运行情况,可从其中了解Web服务器运行性能和访问行为,全面分析Web日志可有效改善Web服务器结构,提升Web服务器性能,并可从其中识别用户行为,提升Web服务核心竞争力。文章从Apache日志角度出发,以ELK为基础构建了集中式的日志实时分析系统,通过对数据采集、清洗、格式化、分析、可视化等步骤创建实时日志分析模型,为网站管理决策提供科学依据。     

信息安全事件定位中的Web日志分析方法

随着Web技术使用范围的不断扩展,Web应用已经成为网络攻击的重要目标。当Web应用遭受攻击时,Web系统会对系统访问情况进行记录,因此在开展事件的分析定位时,最直接有效的数据来源即为Web日志。本文根据应急工作的实际经验,提出了Web日志分析的思路和方法。     

基于URL相似度的会话识别方法

随着互联网的快速发展,Web日志的用户行为分析已经成为互联网技术领域的研究热点之一.会话识别是Web日志用户行为分析的关键步骤,精准的会话识别是有效进行用户行为分析的基础.本文在IIS Web日志分析的基础上,提出了一种基于URL相似度的会话识别方法.实验结果表明,此方法可以有效的识别出用户的真实会话.     

Web日志挖掘探析

Web日志挖掘是数据挖掘领域中一个重要研究方向。文章对Web日志挖掘相关问题进行了探讨,分析了Web日志挖掘模式发现及其相关算法的不足,阐述了Web日志挖掘模式发现阶段增量更新的重要性。     

WEB日志挖掘及其实现

Web日志中积累了大量的有用信息,从Web日志中发现有用的信息是非常必要的。该文研究了Web日志挖掘的机理,提出了通过访问路径挖掘来分析用户浏览模式的方法,并实现了一种有效的访问路径模式挖掘算法。     

Web页面流行度模拟器的设计与实现

研究Web访问特征是有效进行Web缓存管理的基础。该文使用Zipf第一法则和第二法则建立数学模型,分别模拟Web页面高频区及低频区流行度特征,设计并实现了一个Web日志模拟生成器POPSIM。这种模拟器不仅可以模拟生成Web页面访问日志,而且具有很大的灵活性,为进一步研究Web缓存技术和预取技术提供依据。     

面向多平台的日志远程采集系统研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,对日志进行远程集中化管理是日志管理的有效手段。由于不同操作系统平台上支持的日志格式不统一,传统上很难将大型网络中不同系统的日志远程采集到集中的日志服务器上。nxlog是一种支持多平台的功能强大的日志采集工具,部署方便,可以在目标系统上持续稳定地收集系统日志,并支持以多种日志格式和传输模式将日志发送到远程日志服务器。同时,Syslog作为一种工业协议,也得到了越来越多的支持。基于nxlog并配合成熟的日志服务器可以构建灵活可靠的系统日志远程采集系统。实际运行结果表明该方案可有效解决大型网络中系统日志远程采集的问题。     

网络日志管理分析系统构建技术研究

日志对于系统的日常运维、审计及入侵检测等具有重要作用,如何对日志进行有效的管理和分析是日志系统的重要课题.当前,对日志进行远程集中化管理和分析是普遍认同的有效手段.完整的日志系统包括日志源、日志服务器、日志存储和日志分析四个环节,其中日志服务器具有核心地位.首先介绍了常见的日志服务器系统、客户端软件及前端分析系统,详细说明了功能特性.最后分析了日志系统的部署架构和基本处理流程.     

Web站点的路径聚类研究

用户对Web网站访问兴趣可以通过页面的浏览顺序表现出来,Web站点的访问日志记录了用户访问页面的详细信息.介绍Web站点访问日志挖掘的相关知识,并定义新的兴趣度,相似度和聚类中心,提出了一种基于用户访问兴趣的路径聚类算法,最后通过实验来验证这种算法的有效性.     

系统日志模板提取方法研究

提取日志模板是处理海量系统日志十分有效的方法.本文以Web系统日志为切入点,采用基于标签识别树的模板提取方法提取日志模板,并在其基础上,研究并完善了其日志预处理和模板表达式生成方法.针对于系统日志普遍存在的结构复杂问题,具体采用了基于文本相似度的预处理方法,实现了日志消息分类;采用模板最大匹配的方法,解决了由于日志格式不统一和切词导致的模板匹配度低的问题.最后,对本次日志模板提取方法的实验进行了评估,结果证明该方法的准确率达到96.4%,且模板匹配度大幅上升.     

基于知识图谱驱动的网络安全等级保护日志审计分析模型研究

为了从海量的日志数据中审计分析安全事件,并进行事件溯源,文章提出基于知识图谱驱动的网络安全等级保护日志审计分析模型。该模型将安全、运维、数据分析和等级测评数据融合进行日志数据增益;将服务器、网络设备和安全设备作为本体构建节点;将业务数据流作为连接两个节点的关系,业务数据流的方向作为关系的方向。从安全管理中心、安全计算环境、安全区域边界和安全通信网络4个方面构建相应的网络安全等级保护日志知识图谱,实现网络日志的高效关联和深度挖掘分析,可以不需要对问题进行精确建模而在数据上直接进行分析和处理,适用于进行网络安全日志的大数据分析,为大规模复杂日志审计分析的求解提供了一种有效手段。     

基于多维时序日志的异常行为可视分析

当前许多企业面临着来自内部的信息安全问题,由于核心信息的窃取而造成无法估量的损失。企业内部的监控日志数据记录了员工的操作行为与访问记录,通过对内部监控日志进行有效的分析以及时发现员工的异常行为具有重要的意义。然而现有的关于日志分析的方法不能很好地结合多种用户行为日志进行有效分析,并及时发现异常行为提前进行预警。针对这一问题,基于日志的多维性和时序性,提出了一种新颖的可视化系统MLVis。通过设计多个可视化视图,实现一个交互式的可视分析系统,可以帮助决策者发现异常行为,定位异常员工,并分析异常行为之间的联系。采用ChinaVis2018挑战赛I的数据集进行实验和案例分析,验证了该系统的可行性和有效性。     

基于内存映像技术的网络流量日志处理的实现

针对现有存储的网络流量日志信息数据量庞大,访问效率低等问题,为了从海量的网络日志信息中提取所需要的数据,提出了利用内存映像技术解决日志访问的方法,该方法利用网络流量日志自身的特点建立访问路径,通过对网络日志建立内存映像来访问日志信息,并通过C 程序实现了此方法.     

3D porosity prediction from seismic inversion and neural networks

In this work, we address the problem of transforming seismic reflection data into an intrinsic rock property model. Specifically, we present an application of a methodology that allows interpreters to obtain effective porosity 3D maps from post-stack 3D seismic amplitude data, using measured density and sonic well log data as constraints. In this methodology, a 3D acoustic impedance model is calculated from seismic reflection amplitudes by applying an L₁-norm sparse-spike inversion algorithm in the time domain, followed by a recursive inversion performed in the frequency domain. A 3D low-frequency impedance model is estimated by kriging interpolation of impedance values calculated from well log data. This low-frequency model is added to the inversion result which otherwise provides only a relative numerical scale. To convert acoustic impedance into a single reservoir property, a feed-forward Neural Network (NN) is trained, validated and tested using gamma-ray and acoustic impedance values observed at the well log positions as input and effective porosity values as target. The trained NN is then applied for the whole reservoir volume in order to obtain a 3D effective porosity model. While the particular conclusions drawn from the results obtained in this work cannot be generalized, such results suggest that this workflow can be applied successfully as an aid in reservoir characterization, especially when there is a strong non-linear relationship between effective porosity and acoustic impedance.     

一种基于异构系统发现日志本体关联规则的方法

构建日志本体之上的访问模式关联规则是语义Web使用挖掘的主要任务之一.在DL-safe规则的限定下,将日志本体和一阶应用规则相结合,构成异构日志知识库,以提高Web日志系统的知识表示和推理能力.在此基础上借助ILP理论从异构日志知识库中挖掘出频繁用户访问模式,并生成访问模式关联规则,以发现用户访问行为之间更丰富的潜在关联知识.该方法提高了语义Web使用挖掘的质量,为改进站点结构提供了更有效的决策知识.实验结果证明了该方法的可行性和有效性.