Web数据挖掘

用户访问数据中往往存在大量无用或与当前信息挖掘无关的数据，我们通过数据清洗从挖掘对象中去除不相关的数据，并实现了用户识别、会话识别、格式化等步骤，对WEB信息进行预处理，为进一步的操作提供了较好的数据格式，提高了挖掘效率。同时，因特网上的信息往往具有非结构化或半结构化特性，难以得到传统数据挖掘技术的支持，我们通过事务识别技术解决了这一问题，将访问序列组织成逻辑单元以表示事务或用户会话，将所有事务组成一个事务数据库，识别出事务后就可以利用对传统数据挖掘的方法对WEB数据进行挖掘：事务识别技术有多种实现形式，不同形式有不同的应用场合，本文根据特定挖掘任务，实现了以时间维来分割事务的算法，并给出了一些实验数据。     

电子商务网站用户访问模式挖掘中的预处理技术

对电子商务网站的用户访问模式挖掘中数据预处理阶段所采用的技术做了全面的研究,主要包括源数据的采集方法以及数据清理、用户识别、会话识别、事务识别、会话子序列生成等所采用的技术。并给出了框架网页过滤、识别搜索引擎Robot产生的访问记录,以及生成用户会话语义序列的方法。     

网络日志预处理中优化的会话识别算法

研究网络日志预处理中会话识别问题,会话识别是网络日志数据预处理中最蘑要的一个环节.为使用户准确快速地找到需要的资源,传统网络日志预处理方法采用固定阈值会话识别算法,不能适合网络日志的动态性和不能很好消除网络日志中的冗余信息,导致后继网络日志数据挖掘效率和挖掘精度低.为更好消除网络日志冗余信息,提高后继数据挖掘的效率和精度,提出一种改进的网络日志预处理会话识别算法.新算法可根据页面内容、站点结构确定页面重要程度,对阈值进行动态调整,克服传统固定阈值缺陷,根据用户对页面内容的兴趣度删除不感兴趣页面,消除冗余信息,并对该算法进行了仿真.结果表明,相对于传统网络预测的会话识别算法,新算法能更准确地确定页面访问时间阈值,消除了网络日志冗余信息,提高了网络日志预处理效率和数据挖掘精度.     

一种基于图结构挖掘WEB用户访问模式的方法

挖掘Web用户访问模式常用的技术有Web挖掘特有的路径分析技术和数据挖掘领域的传统技术。文章首先分析了现有路径分析技术的不足,然后从Web用户访问模式挖掘过程预处理的结果用户会话文件开始,提出了一种基于Web拓扑结构(图结构)挖掘用户访问模式的方法,提高了发现模式的精确性和效率,并在实验室对该方法进行了简单实现和实际日志数据的测试。     

基于过滤器的Web访问模式挖掘

针对传统Web访问模式挖掘系统中用户识别和会话识别的复杂性和不准确性,该文提出了基于过滤器的Web访问模式挖掘系统。它能够准确地识别用户和会话,为挖掘算法提供优质的数据。给出了日志过滤器的实现和部署,提出了Web访问模式的挖掘算法。目前该方法已经广泛地应用于科学数据库系统中。     

使用DFA的Web会话构造方法

会话识别是Web使用挖掘数据预处理中重要的一个环节。将确定的有限自动机（DFA）思想运用于会话构造,针对一段用户访问日志,通过DFA中各个状态间的转换,实现会话构造。该方法更多考虑页面之间的连续性,关注用户的实际访问序列,有利于后续的用户访问模式的挖掘。     

基于点击流的客户行为分析引擎的设计与实现

给出了一个基于点击流的客户分析引擎的设计,通过对ExLF日志文件格式进行扩充,分别利用基于嵌入Session变量的Cookie识别机制和时间窗口模型来对用户及用户访问事务进行识别,同时给出了数据源收集的具体数据库表格.在结合聚类和CLV价值分析识别核心客户后,进一步将点击流会话事务文件与商务网站的内部数据相结合,利用改进的Apriori算法,进行多维关联规则挖掘,从而实现对用户行为和兴趣模式进行分析.     

Web日志挖掘中的会话识别方法

为更好地实现会话识别,从而为后续模式发现提供准确的挖掘数据,在分析现有常用的会话识别方法后,提出一种基于待挖掘站点首页的用户会话识别方法.该方法根据用户浏览站点的习惯,以站点首页作为用户新会话开始标识,并增强了用户会话的定义.最后利用数据库编程实现该方法,将识别出的会话存储在数据库中,便于后续数据挖掘使用.实验结果表明,该方法能识别出更多的用户会话,且识别会话的准确率也更高.     

基于会话分类的Web用户访问模式挖掘研究

随着Internet的迅速发展,Web站点的访问用户越来越多样化,不同种类用户的访问模式有所不同.提出一种基于会话分类的Web用户访问模式挖掘方法.这套方法把用户会话划分为人类用户会话、网络爬虫会话和资源下载类用户会话三大类,在此基础上分别对3类用户的访问模式进行挖掘.通过会话分类可以提高挖掘的效率与准确性.其中重点研究了人类用户的访问模式挖掘,提出一种基于用户访问路径树的事务识别方法,并对PrefixSpan算法进行了改进.这套方法在实验中取得了很好的挖掘效果.     

Web应用数据挖掘可视化界面布局的设计方法

在对Web应用挖掘的基本步骤作系统性研究的基础上,设计了一个Web应用挖掘可视化系统.该系统能够对用户访问Web时服务器方留下的访问记录进行挖掘,从中得出用户的访问模式和访问兴趣,并对所得出的结果进行可视化的处理.为了识别用户浏览模式利用Apriori算法对Web应用挖掘过程中预处理阶段所产生的用户会话文件进行了挖掘.采用Web图可视化了Web站点的拓扑结构以及各节点访问计数和登录计数信息.Web图的新颖之处在于两点:首先,为了将Web拓扑结构映射到Web图上,利用了站点拓扑结构数据和站点应用数据;其次,在绘制表示用户登录计数的信息层时允许通过使用动态布局的方法,以及为每一层的节点重新分配360度周长的方法来解决节点之间的冲突问题.文中较详细地阐述了该系统对Web应用数据挖掘可视化界面布局的具体措施.     

WEB信息检索与WEB数据挖掘

首先分析了WEB信息检索的现状,主要针对WEB信息检索的局限性,引出WEB数据挖掘,并对WEB数据挖掘技术作了概要的介绍.然后,讨论了WEB数据挖掘与WEB信息检索之间的关系,最后阐述了如何将WEB数据挖掘的研究成果应用到WEB信息检索领域中,从而提高WEB信息检索的效率和质量.     

Web日志挖掘中的数据预处理技术

数据预处理是Web日志挖掘中的重要步骤,一般分为数据清理、用户识别、会话识别和路径补充。为消除代理服务器、防火墙和本地缓存对Web日志带来的影响,采用基于引用的分析方法完成用户会话识别和路径补充。实验结果表明,在Web访问日志中的记录引用信息较完整的情况下,该方法可以高效地获得用户的访问路径。     

一种Web使用模式挖掘模型的设计

Web使用模式挖掘是对用户浏览Web后在服务器日志上所留信息的数据挖掘.介绍了挖掘中常用技术及流程,并提出一种Web使用模式挖掘体系结构,介绍了系统的工作原理,对系统设计中的数据清洗和会话识别等关键技术作了详细讨论.     

模糊C均值聚类算法在Web使用挖掘上的应用研究

Web日志中含有大量的用户浏览信息,从中将相似用户及相关页面进行聚类是建立自适应网站的必要前提.通过基本的预处理,实现了日志的数据净化、用户识别会话识别及数据规约,形成了用户访问页面的序列数据库,同时通过离散化技术计算出用户访问页面频度.在这些数据准备工作的基础上,构造了用户一页面关联矩阵,作为改进的模糊C均值聚类算法的输入,实现了相似用户及相关页面的聚类.实验表明改进的FCM算法的有效性.     

模糊C均值聚类算法在Web使用挖掘上的应用研究

Web日志中含有大量的用户浏览信息,从中将相似用户及相关页面进行聚类是建立自适应网站的必要前提。通过基本的预处理,实现了日志的数据净化、用户识别会话识别及数据规约,形成了用户访问页面的序列数据库,同时通过离散化技术计算出用户访问页面频度。在这些数据准备工作的基础上,构造了用户一页面关联矩阵,作为改进的模糊C均值聚类算法的输入,实现了相似用户及相关页面的聚类。实验表明改进的FCM算法的有效性。     

Web 日志挖掘中的会话识别方法研究

数据预处理是 Web 日志挖掘的首要环节,而会话识别是数据预处理中的关键步骤之一.为了更好地实现会话识别、提高会话识别的真实度,从而为后续的模式挖掘工作提供精确的挖掘数据,文中在分析了现有常用的会话识别方法后,提出了优化初始会话集的方法.在该方法中,首先初始会话集的产生采用传统的基于访问时间的方法,然后对初始会话集进行合并和断开操作,生成优化的会话集.最后,采用实验实现了该方法.实验结果表明会话质量得到了提高     

Web日志挖掘中路径补充的影响评

Web用户访问多是匿名访问,Web日志挖掘的主要目标是从Web访问记录中抽取用户行为模式,通过分析挖掘结果理解用户的行为,从而改进站点的结构.Web日志挖掘第一步是进行数据预处理.数据预处理是Web页面分析中最耗时的阶段,首先研究了数据预处理的过程,包括数据清洗、用户识别、会话识别、路径补充.提出了一种路径补充的算法,...     

Web的数据挖掘

文章主要描述了WEB页数据挖掘的基本任务,包括内容、结构、使用等。针对Web数据的复杂性和特殊性,Web的数据挖掘除日志等一小部分可以用常用的数据挖掘方法外,必须对Web页做必要的数据处理,使之达到结构化数据的挖掘要求,或使用XML技术来构造半结构数据模式再进行数据挖掘。     

基于动态网站的语义数据挖掘模型研究

WEB使用挖掘正逐渐成为WEB个性化服务领域的研究重点,它通过对用户历史使用信息的分析,实现网站的个性化服务。然而,由于动态网页对象URL结构的特殊性,导致了WEB使用挖掘在动态网站应用上的局限性。论文在基于WEB使用挖掘分析的基础上,针对动态网站数据挖掘和个性化服务,提出了语义数据挖掘模型,并详细描述该模型的挖掘流程。     

Web日志挖掘中数据预处理技术的研究

在Web日志挖掘中数据预处理是整个挖掘过程的基础,由于客户端缓存的存在,在已往的预处理过程中都是通过路径补充技术得到用户完整的访问路径之后,才能进行事务识别.提出了一种只需根据网站的拓扑结构,不需要使用路径补充技术,由用户访问序列直接生成事务的算法.