Web使用挖掘的数据预处理

Web使用挖掘的基本思想是将数据挖掘技术应用于Web使用数据源。在数据挖掘研究领域中，数据预处理起着至关重要的作用。Web使用挖掘的数据源最主要的是Web日志，介绍了Web日志的具体内容，针对Web日志的特点，介绍预处理过程中一些特殊情况的处理方法，并在事务的识别阶段给出了一种新的最大向前引用序列挖掘算法——剪枝算法。     

Web日志挖掘中的数据预处理研究——Frame页面过滤算法改进

Web数据挖掘是分析网络应用的主要手段.其数据源一般是网络服务器日志,然而日志记录的是杂乱的、不完整的、不准确的并且是非结构化的数据,必须进行数据预处理.本文将预处理过程分为4个阶段:数据净化、用户识别、会话识别、路径补充,并提出了一个高效的Web数据挖掘预处理结构和相应的算法.     

Web数据挖掘中的数据预处理

Web数据挖掘是分析网络应用的主要手段，其数据源一般是网络服务器日志，然而日志记录的是杂乱的，不完整的，不准确的并且是非结构化的数据，必须进行数据预处理。文章将预处理过程分为3个阶段－数据清洗、区分使用者，会话识别，并提出了一个高效的Web数据挖掘预处理结构WLP和相应的算法。     

Web日志挖掘中的数据预处理研究

Web日志信息的预处理是Web日志挖掘任务中的重要阶段,是整个Web日志挖掘过程的基础和实施有效挖掘算法的前提,在Web日志挖掘中起着重要的作用,也是工作量较大的一部分。数据预处理的基本技术,包括数据清理、数据集成和转换、数据归约等。本文介绍了数据预处理中涉及到的数据清理、用户识别、会话识别、路径补充、事务识别等过程,并提出了一种路径补充算法。     

个性化学习系统中Web日志挖掘的数据预处理

在数据挖掘研究领域中,数据预处理起着十分重要的作用。Web使用挖掘的数据源最主要的是Web日志．本文介绍了Web日志的格式,针对Web日志的特点。介绍预处理过程中一些特殊情况的处理方法。     

一种WEB日志挖掘的数据预处理方法①

Web日志是目前Web数据挖掘的重要研究方向。数据预处理是Web日志挖掘中的关键技术。详细的介绍了Web日志挖掘的预处理过程。数据预处理包括数据清理、识别用户、识别会话和框架页面清理、路径补充。用户识别后,框架页面降低了数据挖掘的效率,可以通过过滤框架页面大幅度减少产生的无效页面数。     

Web日志预处理技术探析

随着Internet的普及,Web日志挖掘成为一个新的研究课题。由于Web日志数据的半结构化,为了得到有效的挖掘模式,提高挖掘算法的效率,首先需要对数据预处理。该文详细介绍了Web日志数据预处理的四个步骤:数据清洗,用户识别,会话识别和路径补充,并实现了对某校院网日志记录的预处理,得到了理想的结果。     

利用图片类日志信息改进会话识别质量

数据预处理是Web日志挖掘的基础,而会话识别则是数据预处理的关键步骤,其质量严重影响Web日志挖掘的结果。在分析现有会话识别方法的基础上,提出了利用数据预处理中废弃的图片等日志数据,并结合扩展Web图结构,从页面分组规则和路径补全算法两个方面改进会话识别质量,并通过实验证实该方法对改善会话识别质量是有效的。     

Web日志挖掘的数据预处理研究

数据预处理在Web日志挖掘过程中起着至关重要的作用。本文详细分析了数据预处理的过程,并对用户识别提出了改进策略,最后实现了一个Web日志挖掘预处理模型(WLMPM)。     

基于Web日志挖掘数据预处理技术的研究

数据预处理是Web日志挖掘中的关键和重要一步,文章分析了Web日志挖掘的数据预处理过程,并给出基于日志参引页的用户识别、路径补全算法和基于一种时间窗口模型的会话划分算法。     

Web日志挖掘中数据预处理技术的研究

数据预处理在Web日志挖掘过程中起着至关重要的作用,直接影响日志挖掘的质量和结果。详细分析了数据预处理的过程,提出一种改进的数据清洗方法,以提高日志挖掘中数据预处理的效率,并针对Web日志数据预处理中会话识别这一重要环节,提出一种改进的会话识别方法。在用户识别后,根据页面内容、站点结构确定页面重要程度,对阈值进行调整。然后,根据用户对页面内容的兴趣度来删除会话中的链接页面和不感兴趣的页面。实验结果表明,提出的方法能更准确地确定页面访问时间阈值,得到更为合理有效的会话集合。     

Web日志挖掘中数据预处理方法的研究

Web日志挖掘是目前网上智能信息检索和电子商务的主要研究课题之一。而数据预处理在Web日志挖掘中起着很重要的作用,直接影响日志挖掘的质量和结果。介绍了Web日志挖掘数据预处理过程,综述了国际上的研究现状,及流行的处理方法。针对预处理步骤中的用户会话识别和路径填充进行了相应的改进。根据评估会话构造方法的标准,通过实验对给出的新方法与其他方法进行了分析比较。     

Web日志挖掘中数据预处理方法的研究

Web日志挖掘是目前网上智能信息检索和电子商务的主要研究课题之一。而数据预处理在Web日志挖掘中起着很重要的作用，直接影响日志挖掘的质量和结果。介绍了Web日志挖掘数据预处理过程，综述了国际上的研究现状，及流行的处理方法。针对预处理步骤中的用户会话识别和路径填充进行了相应的改进。根据评估会话构造方法的标准，通过实验对给出的新方法与其他方法进行了分析比较。     

一种有效的深网入口识别方法

深网入口自动识别是深网数据集成的前提和基础。由于表单在设计上具有较大的随意性,使得深网入口缺 乏统一的构建标准,难以利用确定性的规则对其进行判断。首先基于统计特征,抽取了部分表单属性作为深网入口与 非深网入口的可区分特征,在此基础上,提出了一种利用神经网络进行深网入口自动识别的方法。不同于基于规则的 判断方法,神经网络是被训练的,不需要任何先验知识,这种特性使其非常适合于对具有复杂表现形式的深网入口进 行判定。实验结果表明了该方法的有效性。     

基于客户端的网页预取模型

提出一种基于客户端的网页预取模型。此模型以WPC方法为理论核心,WPC方法以客户端用户访问日志数据为依据,从中挖掘出Web用户的访问模式再通过提出的模式匹配算法进行网页预测,还提出基于Agent的Web预取系统具体应用WPC方法进行网页预取决策。此模型避免或简化了一般的网页预取模型对Web日志进行的复杂的预处理的一些步骤,其中包括数据净化,用户识别,用户会话识别和事务识别等,从而提高了预取效率。实验结果表明该模型能够达到较为理想的预取效果,具有较高的实用价值。     

Web日志预处理中优化的会话识别方法

针对Web日志数据预处理中会话识别这一重要环节,提出一种优化的会话识别算法。在用户识别后,通过过滤框架页面大幅度减少实验产生的有效页面数,为每个页面设置访问时间阈值,并根据页面重要程度对该阈值进行调整,页面的重要性由页面内容及站点结构确定。实验数据显示,与对所有页面使用单一的先验阈值进行会话识别的方法相比较,该方法得到了真实性更强的会话集。     

多Web数据源环境下的重复实体识别方法研究

Web中大量可访问的数据源为人们获取有用的信息带来了极大的便利。作为Web数据源集成的一个必要的步骤,需要将存在于不同数据源表达形式各异的重复Web实体准确地识别出来。在已有的重复实体识别的工作中,主要是在两个数据源之间进行。由于Web数据源数量众多,使得这些方法无法应用于多个Web数据源之间的重复实体识别。针对这个问题提出了一种基于迭代训练的Web重复实体识别方法,可以在较小规模的训练样本上实现在多个Web数据源上的重复实体识别。通过在图书和计算机产品两个不同领域中多个Web数据源上的广泛实验,表明了提出方法的有效性。     

基于过滤器的Web访问模式挖掘

针对传统Web访问模式挖掘系统中用户识别和会话识别的复杂性和不准确性，该文提出了基于过滤器的Web访问模式挖掘系统。它能够准确地识别用户和会话，为挖掘算法提供优质的数据。给出了日志过滤器的实现和部署，提出了Web访问模式的挖掘算法。目前该方法已经广泛地应用于科学数据库系统中。