Web数据挖掘与挖掘算法探讨

本文介绍了Web数据挖掘的概念及其分类,并对Web数据挖掘技术的研究进行概述。利用Apriori算法发现频繁集,找到页面间的关联规则。针对网页超链接结构的特点：一条超链接只能建立在两个网页上,发现频繁集只要找出所有2-项集即可,从而提出网页超链接挖掘的NApriori算法。NApriori算法显著提高了Apriori算法的效率。     

一种新的关联规则挖掘算法

对关联规则算法进行了研究和分析,基于候选集的Apriori-like算法需要反复扫描数据库,并产生大量的候选集,在挖掘低支持度、长模式的规则时效率低下。针对算法的缺陷,该文提出了一种PS算法,优化了关联规则的挖掘。实验结果证明了该算法的有效性。     

Web数据挖掘中的增量挖掘

为了高效及时地处理频繁新增的数据，在Web挖掘中引入增量挖掘的方法，并给出了一个Web关联规则增量挖掘的有效算法。     

一种高效关联规则挖掘EARM算法的研究

针对类Apriori关联规则挖掘算法的不足，将以往关联规则算法予改进，提出一个更有效率的关联规则挖掘算法EARM算法。通过试验评估，该文所提算法的挖掘效率比Apriori及其改良算法要快2到5倍。     

一种Web关联挖掘数学模型的建立和算法实现

本文首先分析了Web用法挖掘的数据源－Web日志文件的内容和格式，建立了一种适用于Web用法挖掘的关联挖掘数学模型DPR，并利用深度优先搜索算法进行了仿真实验。     

一种新的关联规则挖掘的模型

1.引言 support-confidence模型是正关联规则挖掘普遍应用的模型,而如何度量关联规则的不确定性则是正关联规则挖掘中的重要问题之一。在该模型中,用supp(X∪Y)和conf(X→Y)来度量关联规则X→Y的不确定性。然而,用这一度量标准可能会得到诸如X→Y,但X与Y不相关(或独立)的规则。可见,用conf(X→Y)来度量关联规则是不够的. 实际应用中,我们不仅要挖掘正关联规则,而且还要挖掘负关联规则。正关联规则即形如X→Y的式子,负关联规则即形如X→Y的式子,其中X,YI,X∩Y=,I为数据库D中的所有项的集合,首先看一个例子,若p(c)=0.6,p(t)=0.4,p(t∪c)=0.05,p(t∪c)=0.35,minconf=0.52,有p(t∪c)/p(t)=0.05/0.4=0.125minconf。因此,t→c为一有效规则。     

一种基于关联规则挖掘的分类规则挖掘算法

本文根据关联规则和分类规则的概念与表示形式,指出在关联规则挖掘过程中如果指定挖掘与一个确定的项相关联,那么就是分类规则挖掘了,论述了分类规则是特殊情况下的关联规则,并指出在这种特殊情况下,关联规则所具有的特征;然后根据这一论述,提出了一种在关联规则挖掘算法中利用限制条件概率分布来发现分类规则的算法。     

一种新的普遍化关联规则挖掘算法

提出了一种新颖的普遍化关联规则挖掘算法GARL。该算法连续扫描数据库事务序列，在最多不超过两遍扫描后生成所有频繁项目集，在首次扫描数据库时，能为用户给出反馈信息，允许用户对最小支持率进行调整，该算法能连续处理事务序列，可用于网上在线数据挖掘。     

一种改进的关联规则挖掘算法

在传统的Apriori的算法中大多存在项集生成瓶颈和难以确定合适的支持度阈值的问题．并且没有考虑各数据之间的重要性。为了解决这些问题,该文提出了一种改进的关联挖掘算法法。     

一种时态关联规则挖掘算法

时态关联规则挖掘是针对在一段时间范围内的关联挖掘,在现实中有较多的应用。现有的大多数时态关联挖掘算法或者需要多次扫描数据库,或者没有考虑各个项在数据集上出现或结束时间上的不同,因而挖掘性能受到较大的制约。为此,本文提出一种增量式的面向具有不同时间出现与结束的项的时态关联规则挖掘算法。为减少存储方面的开销,只需保存已挖掘过的历史数据集中的频繁1项集。为了减少数据的扫描量,通过有效的剪枝策略,有选择性地扫描相关事务项,至多只需扫描一次完整的数据库。实验证明,该算法具有较好的挖掘性能。     

数据挖掘技术及其在高校教学系统中的应用

分析和指出了现有一些关联规则算法的优缺点，并进行改进，对教学信息库进行数据挖掘，寻找高校教学体制中各因素间的关联关系，为高校管理决策提供了科学依据。     

数据挖掘技术

数据挖掘技术是当前数据库和人工智能领域研究的热点课题,为了使人们对该领域现状有个概略了解,在消化大量文献资料的基础上,首先对数据挖掘技术的国内外总体研究情况进行了概略介绍,包括数据挖掘技术的产生背景、应用领域、分类及主要挖掘技术;结合作者的研究工作,对关联规则的挖掘、分类规则的挖掘、离群数据的挖掘及聚类分析作了 较详细的论述;介绍了关联规则挖掘的主要研究成果,同时指出了关联规则衡量标准的不足及其改进方法,提出了分类模式的准确度评估方法;最后,描述了数据挖掘技术在科学研究、金属投资、市场营销、保险业、制造业及通信网络管理等行业的应用情况,并对数据挖掘技术的应用前景作了展望。     

海难事故的数据挖掘

分析了建立海难数据仓库的意义,提出了海难数据仓库的雪花模型,对Aprioir算法进行了改进,用改进后的算法实现了海难数据的关联规则和频繁模式挖掘,用改进的有向图方法实现了关联规则的可视化表示。结果表明,利用数据挖掘技术对海难历史数据作深层次分析,克服了传统统计分析方法的局限性,可挖掘出大量的知识,为以后的航海安全提供借鉴。     

基于数据挖掘技术的智能化入侵检测模型

给出了一个基于数据挖掘技术智能化入侵检测模型,它由若干个对等式执行入侵检测功能的单元IDU（intrusion detection unit)组成,每个IDU参照通用入侵检测轮廓CIDF（common intrusion detection framcwork)构建,该模型采用关联规则,序列规则对数据进行挖掘,用判定树分类技术对获得的模式进行分类,实验表明,该模型具有较好的效益。     

基于云计算的Web数据挖掘

因特网是一个巨大的、分布广泛的信息服务中心,其上产生的海量数据通常是地理上分布、异构、动态的,复杂性也越来越高,若用已有的集中式数据挖掘方法则不能满足应用的要求。为了解决这些问题,提出了一种基于云计算的Web数据挖掘方法:将海量数据和挖掘任务分解到多台服务器上并行处理。采用Hadoop开源平台,建立一个基于Apriori算法的并行关联规则挖掘算法来验证了该系统的高效性。还提出计算向存储迁移的设计思想,将计算在数据存储节点就地执行,从而避免了大量数据在网络上的传递,不会占用大量带宽。     

图像数据挖掘中的关联规则

介绍了遥感图像数据的关联规则挖掘方法。对目前图像数据挖掘的研究及应用现状进行了综述。介绍了图像数据关联规则挖掘的最新进展,总结了图像数据关联规则挖掘的特点、类型及图像数据预处理的技术方法。     

基于数据仓库的高效关联规则的挖掘

提出在基于数据仓库的关联规则发现中生成最小关联规则集来代替完全关联规则集,最小关联规则集必须具备两个条件：（1）最小关联规则集是最小、最简单的关联规则集合;（2）最小关联规则集与完全关联规则集有相同的置信度。通过最小关联规则集,可以有效地剪除弱关联规则,大幅度减少候选频繁项目集,从而提高规则发现效率。是后,在传统经典算法Apriori基础上设计了一个相应的高效算法。     

一种新的关联规则挖掘思想

提出的新的关联规则挖掘思想（以下称为“记录加权型关联规则挖掘”）是为每一条历史记录加上相应的权重值，以反映“不同记录对挖掘结果贡献不同”这一数据挖掘的实际要求。在此基础上，还对支持度、可信度和挖掘算法作了相应的修正，提出了RWApriori-Tid算法。     

支持个性化推荐的Web页面关联规则挖掘算法

分析了应用于个性化推荐的Web页面关联规则的特点,提出了“壹支持数下k关联规则”的思想,根据这一思想设计、实现了一种应用于个性化推荐的Web页面关联规则挖掘算法——PARM(Pageview Association Rule Mining)及频繁项集的Freq-Set-Tree存储结构,在产生频繁项的同时挖掘关联规则,因而能提高效率。实验证明在个性化推荐系统中PARM算法的效率明显高于FP-Growth算法。     

一个改进的关联规则的频繁项目集数据挖掘算法

在关联规则中的Apriori算法,具有天生的缺陷,运行效果很不理想。为了克服Apriori算法的缺点,本文提出了一个改进的算法：在产生频繁项目集组合时,只需扫描数据库一次,这样就可以有效率地降低I／O的存取时间,更快速地找出符合使用者需求的关联规则。仿真实验表明,该算法是有效的。