基于关联规则的Web挖掘技术研究

关联规则是Web挖掘中一个重要的研究领域。为了挖掘出隐藏在数据间的相互关系,将关联规则的概念引入到Web挖掘系统中,把用户的访问路径以关联规则的形式表现出来。基于Apriori算法的思想,给出了适合Web挖掘用户访问的新Apriori算法规则及其模式,最后将结果在一些较简单的网页上进行了验证,取得了较好的应用效果。     

应用于音乐节目分类的Apriori挖掘算法设计

传统Apriori挖掘算法需多次扫描数据库、多次连接频繁项集,导致挖掘效率较低,为此对Apriori挖掘算法加以改进,设计一种新的Apriori挖掘算法用于音乐节目分类。改进的Apriori挖掘算法采用莱特准则对音频数据进行野值与噪声平滑处理,改进Apriori挖掘算法的音频数据库映射令两个线性表分别负责音频数据存储和对应项存储,音频数据库扫描次数降为一次;改进Apriori挖掘算法的连接次数无需对不具备交运算能力的元素进行交运算操作,减少频繁项集连接次数。基于改进频繁项集Apriori挖掘算法挖掘频繁项集、生成音频数据关联规则,基于关联规则集构建分类器,实现音乐节目分类。实验结果显示,改进Apriori挖掘算法用于音乐节目分类的效率优势突出,准确度高。     

基于网页日志的频繁模式挖掘

频繁模式挖掘应用广泛,是数据挖掘中的一个重点研究领域,频繁模式挖掘应用的其中一个领域就是基于网页日志的数据挖掘。在网页日志中发现频繁模式的目的是获得用户的网络浏览行为模式,这些信息可以为广告设计以及创建动态用户日志提供参考。从网页数据挖掘的角度研究了三种频繁模式挖掘方式,这三种方式分别是：网页设置、网页序列以及网页图片挖掘。     

Web挖掘中基于RD_Apriori算法发现用户频繁访问模式

从Web日志数据中发现用户的频繁访问模式，可分为两步进行。首先把经过预处理后的目志数据转换为最大前向引用的集合，然后使用Apriori算法挖掘出频繁访问模式。本文针对挖掘的第二步提出了一种基于缩减数据库(Reduced Database)的RD—Apriori算法，此算法能够准确、高效地挖掘各种长度不同的频繁访问模式。     

基于子集的Apriori算法在MapReduce下的研究

文中在频繁项目集挖掘研究的基础上,针对Hadoop分布式计算框架,提出了一种基于子集的Apriori并行改进算法Sub Apr。该算法扫描数据库两次,将分块数据分配给不同的Hadoop计算节点进行处理,利用Apriori特性并结合MapReduce框架自身特点进行剪枝。该算法与同类算法比较,可以减少各个计算节点的存储数据,达到减少候选项集输出,有效减少了大数据集挖掘过程中产生的大量数据通信,从而提高并行挖掘的效率。实验结果表明,该算法是有效且可行的。     

基于关联规则的APRIORI挖掘算法在物管系统中的扩展应用

关联规则反映了大量数据中项集之间的相互依存性和关联性,Apriori算法是关联规则挖掘中的经典算法。本文利用关联规则的Apriori算法对校园物资管理系统中的数据进行了挖掘,找出物品潜在的频繁集以达到提高工作效率的目的。     

频繁项集快速挖掘及更新算法

为了克服Apriori发现频繁项集存在的问题,提出了一种基于三维项集矩阵和向量(TIMV)的频繁项集挖掘算法.该算法摆脱了Apriori框架的束缚,仅需扫描数据库一次,不产生候选项目集.当事务数据库和最小支持度发生变化时,该算法只需重新遍历一次项集矩阵,即可得到新的频繁项集.实验结果表明,算法能有效提高频繁项目集的挖掘和更新效率.     

基于关联规则的Web日志挖掘算法研究

关联规则挖掘是数据挖掘研究领域中的一个重要的方法,旨在挖掘事务数据库中有趣的模式。阐述了Web日志挖掘和关联规则的基本内容,分析了经典Apriori算法的不足之处,提出了改进的算法。另外,利用论坛Web日志数据进行了对比实验,实验结果表明改进后的算法性能有较大提高。将改进后的算法应用于网络论坛的日志挖掘,找出用户的个性化访问模式,从而提高论坛的服务质量。     

一种无冗余的Web日志挖掘算法

Web日志挖掘是Web数据挖掘的一个重要研究领域。Web日志挖掘通过发现Web日志中用户的访问规律和模式,可以提取出其中潜在的规律和信息,人们对这个领域的研究也日益重视。然而,传统的基于关联规则的Web日志挖掘算法都是基于所有关联规则的。这种方式往往挖掘产生大量的候选规则,而且存在大量冗余的规则。提出了一种新的无冗余的Web日志挖掘算法,该算法通过引入频繁闭项集合最小关联规则的概念,从而解决了以往基于所有关联规则挖掘算法中出现的上述问题。     

基于Spark的精准关联规则挖掘算法实现

为在大数据环境中精确地进行关联规则挖掘,基于分布式框架Spark,改进关联规则挖掘算法Apriori,解决使用该算法处理大规模数据时遇到的单机内存资源限制和性能缺陷,同时保证结果准确度。利用开源数据集和海量轨迹数据集评估算法的有效性,实验结果表明:与传统方法相比,改进后的Apriori算法进行规则挖掘能够得到相同准确度的结果,并且通过增加处理节点的数量灵活扩展待挖掘数据规模,从而使关联规则挖掘不再受数据规模限制。     

基于关联规则的网络行为分析

网络用户访问网站的过程中,产生了大量的用户浏览网页的相关记录,隐含着用户在上网过程中的行为习惯。但其中潜在的用户信息难以发现。因此,急需有效的方法提取这些数据中的信息,数据挖掘应用而生。其中,关联规则技术是应用广泛的技术之一。文中利用Apriori算法对Web结构数据进行关联规则挖掘,所得到的规则反映出页面之间的链接关系。分析挖掘结果可得到用户访问的行为规律,为相关网站的安全性和优化改进提供有效的决策依据。     

基于Web日志的序列模式挖掘应用研究

首先分析了序列模式挖掘算法--类Apriori算法,然后重点介绍了如何对Web服务产生的大量日志数据进行收集、预处理,并基于类Apriori算法对Web日志进行分析,发现新模式,为优化网站建设提供有价值数据.     

Apriori算法在数字化校园Web数据挖掘中的使用

校园内各部门网站每天都会更新很多的数据,数据挖掘技术在发现对师生行为分析及预测起到了举足轻重的作用。Apriori算法在数字化校园中Web数据挖掘的使用,重点研究了关联规则和Apriori算法,从而有效提高学校的办公效率。     

关联规则挖掘Apriori算法的改进

在介绍Apriori算法原理和实现过程的基础上,针对该算法存在的两个缺陷,即多次扫描事务数据库和产生大量的候选集,提出新的算法New_Apriori,该算法改变由低维频繁项目集到高维频繁项目集的多次连接运算,直接从1-频繁项目集产生高维频繁项目集,克服了Apriori算法的固有缺点,从而提高了运算效率.     

对关联规则挖掘Apriori算法的进一步改进

本文对关联规则挖掘问题进行了介绍。并在分析研究了关联规则挖掘Apriori算法厦其若干改进算法的基础上，对Apriori算法做了进一步地改进，提出了RIAprlori算法。改进后的算法采用事务压缩的方法时事务集进行了更大幅度的压缩。减小了不必要的开销，从而提高了挖掘速度。     

一种基于Web日志用户浏览模式的数据挖掘

Web日志中包含了大量的用户浏览信息,如何有效地从其中挖掘出用户浏览兴趣模式是一个重要的研究课题.本文研究了Web日志挖掘的机理,在分析挖掘频繁遍历路径的问题特征和对其进行形式化描述的基础上,进一步提出了一种在Web日志中挖掘频繁遍历路径算法,该算法能够正确、快速地从Web日志中抽取频繁遍历路径.     

一种基于矩阵的Apriori改进算法

Apriori算法是经典的关联规则挖掘算法之一。该算法可以很好地挖掘关联规则,通过连接步和剪枝步从频繁项集中获取候选项集,但产生大量的候选项集,这就需要重复扫描数据库,大大增加算法运行时间。文中提出一种基于矩阵的改进算法,通过事务矩阵和候选项集项目矩阵相乘的矩阵操作来改进频繁扫描数据库的问题。事务数组的建立可以删除不能生成下一频繁项集的事务,删除不必要的项,针对频繁项集的产生过程优化Apriori算法的连接步和修剪步。在不同的数据集下通过实验验证改进算法不仅能准确地挖掘出频繁项集而且大大地缩短挖掘时间。     

基于预判筛选的高效关联规则挖掘算法

关联规则分析作为数据挖掘的主要手段之一,在发现海量事务数据中隐含的有价值信息方面具有重要的作用。该文针对Apriori 算法的固有缺陷,提出了AWP (Apriori With Prejudging) 算法。该算法在Apriori 算法连接、剪枝的基础上,添加了预判筛选的步骤,使用先验概率对候选频繁k项集集合进行缩减优化,并且引入阻尼因子和补偿因子对预判筛选产生的误差进行修正,简化了挖掘频繁项集的操作过程。实验证明AWP算法能够有效减少扫描数据库的次数,降低算法的运行时间。     

CR:一种逆向的关联规则挖掘算法

引入与交易相关的有关概念，对传统关联规则挖掘的概念进行了扩展，并基于交易提出了一种关联规则挖掘算法，该算法从较长的交易入手，试图找出长的频繁项集，再确定它们的子项集，从而避免了组合爆炸问题。该算法对原数据库进行1次扫描，对压缩数据库进行了2次扫描，较Apriori算法减少了扫描次数，提高了挖掘效率。     

一种基于邻接表的最大频繁项集挖掘算法

针对Apriori算法与FP-Growth算法在最大频繁项集挖掘过程中存在的运行低效、内存消耗大、难以适应稠密数据集的处理、影响大数据价值挖掘时效等问题,该文提出一种基于邻接表的最大频繁项集挖掘算法。该算法只需遍历数据库一次,同时用哈希表对邻接表进行辅助存储,减小了遍历的空间规模。理论分析与实验结果表明,该算法时间与空间复杂度较低,提高了最大频繁项集挖掘速率,尤其在处理稠密数据集时具有较好的优越性。