基于关联规则的Web日志数据分析系统

本文旨在研究基于Web环境下利用关联规则对Web日志挖掘的数据分析系统。把关联规则的概念引入到Web日志挖掘中,将用户的访问路径以关联规则的形式表现出来,其目的在于从用户访问超文本系统的行为中发现用户的访问模式。然后在Apriori挖掘算法思想的基础上,对其改造,给出了适合挖掘用户访问频繁路径的类Apriori算法。最后设计开发了一个Web日志数据分析系统。此系统主要包含三个功能模块:数据预处理模块、智能分析模块和基本分析模块     

基于关联规则的Web日志数据分析系统

本文旨在研究基于Web环境下利用关联规则对Web日志挖掘的数据分析系统。把关联规则的概念引入到web日志挖掘中,将用户的访问路径以关联规则的形式表现出来,其目的在于从用户访问超文本系统的行为中发现用户的访问模式。然后在砷riori挖掘算法思想的基础上,对其改造,给出了适合挖掘用户访问频繁路径的类Apriori算法。最后设计开发了一个Web日志数据分析系统。此系统主要包含三个功能模块：数据预处理模块、智能分析模块和基本分析模块     

基于Rough Set的Web日志规则挖掘

Web日志挖掘是提高Web应用系统效率的有效手段。将Web日志通过预处理形成决策表,运用Roughset理论中的区分矩阵方法进行属性约简,从而获得简洁有效的关联规则,进行用户行为的预测研究。实验效果良好。     

基于关联规则的Web日志挖掘算法研究

分析了经典的Web日志挖掘算法Apriori的特点,使其具有更高的效率。     

基于Web日志的时态关联规则挖掘算法

分析Web日志数据的特点,把时态约束应用到Web日志数据挖掘中可以获得更好的效率。文章从概化的角度给出了一个基于Web日志的时态关联规则挖掘算法,并用一段用户会话事务数据为例,介绍了具体挖掘过程。     

基于Web日志的隐私保护关联规则挖掘方法

电子商务网站用户的每次购物会话信息会被记录在Web服务器的日志中,分析这些日志并挖掘出购物篮商品问的强关联规则,可以主动为Web终端用户提供商品推荐,优化网站服务质量.鉴于原始用户会话信息及挖掘结果的隐私保护问题,提出了一种新的数据随机干扰处理方法,即结合列置换的伪列随机化回答方法,先对原始日志信息进行变化和隐藏,然后以此为基础,给出了一种基于住逻辑与操作的高效频繁项集生成算法,进而实现了原始信息及挖掘结果均获得隐私保护的网上购物篮问题的关联规则挖掘.实验结果表明,本方法具有很好的隐私保护性、高效准确性以及适用推广性.     

一种适用于Web日志挖掘的关联规则发现算法

Apriori算法是一种经典的关联规则发现算法。针对Web日志挖掘的特点,在Apriori算法基础上给出一种适用于动态事务数据库挖掘的关联规则发现算法,并对比该算法与Apriori算法的区别。将该算法应用到网站的日志挖掘中,实验证明该算法的性能较原算法有一定的提高。     

关联规则在Web日志挖掘中的应用研究

首先分析了类FP关联规则挖掘算法,然后重点介绍了如何对Web服务产生的大量日志数据进行收集、预处理,并基于类FP挖掘算法对Web日志进行分析,发现新模式,为优化网站建设提供有价值数据。     

基于Web日志挖掘的个性化服务站点

介绍个性化站点的概念，并对Web日志挖掘系统体系结构进行分析。其后将关联规则挖掘技术应用到日志事务会话中，在对日志数据的特性分析的基础上提出类Apriori挖掘算法。对类Apriori挖掘算法得到的频繁项集如何有效提取关联规则提出了最有效的方法。在实际应用中探讨了如何从多个匹配的关联规则中选择合适的匹配规则。     

基于免疫遗传退火算法的Web关联规则挖掘方法*

摘要：根据关联规则挖掘的要求与特点,结合免疫算法,遗传算法和模拟退火算法的优点,提出一个基于免疫遗传退火算法的Web关联规则挖掘方法。实验结果表明,与遗传算法和模拟退火算法相比,基于免疫遗传退火算法的关联规则发现在Web挖掘中具有一定的优势。     

基于日志挖掘的Web service安全关联规则挖掘算法及应用

针对传统的Web service安全性测试方法存在的低效性和盲目性,提出了一种基于Web service日志挖掘的安全关联规则挖掘算法,并阐述了算法的应用环境。通过该算法挖掘出正常行为的关联规则,采用错误注入的方式对Web service注入预先设计的构造算子,并把执行后的日志与关联规则进行比较,进而发现Web service存在的安全性问题。实验结果表明,该算法较大地提高了日志挖掘的效率及覆盖率,同时应用该算法能较好地检测出Web service的安全性问题,进一步表明提出的算法是可行有效的。     

基于MFP算法的Web日志挖掘技术的研究

为了更加合理地组织Web服务器的结构,需要通过Web日志挖掘分析用户的访问模式.数据预处理和日志挖掘算法是Web日志挖掘中的关键技术.文章就此进行了深入的研究,在已知用户访问路径的基础上,提出一种基于MFP算法的日志挖掘算法,并结合实例具体介绍了该算法的执行过程.     

基于改进Apriori算法的审计日志关联规则挖掘

针对安全审计系统中存在的智能程度低、日志信息没有充分利用的问题,提出一个基于关联规则挖掘的安全审计系统。该系统充分利用已有审计日志,结合数据挖掘技术,建立用户及系统的行为模式数据库,做到及时发现异常情况,提高了计算机的安全性。在传统Apriori算法的基础上提出一种改进的E-Apriori算法,该算法可以缩小待扫描事务集合的范围,降低算法的时间复杂度,提高运行效率。实验结果表明基于关联规则挖掘的审计系统对攻击类型的识别能力提升在10%以上,改进的E-Apriori算法相比经典Apriori算法和FP-GROWTH算法在性能上得到了提高,特别是在大型稀疏数据集中最高达到51%。     

基于负关联规则的Web使用挖掘技术及发展趋势

介绍了Web使用挖掘各阶段的主要工作以及相关技术,重点介绍模式发现阶段负关联规则的应用,并对将来Web使用挖掘领域的研究作了展望.     

一种有效的挖掘关联规则更新方法

在挖掘关联规则过程中,用户往往需要多次调整(增加或减少)最小支持度,才能获得有用的关联规则。给出一个利用已存信息有效产生新候选项目集的PSI算法,结果表明每次扫描数据库时能有效地减少候选项目集的数。     

基于兴趣度策略的启发式Web挖掘算法

针对当前Web关联规则挖掘算法中,忽略了用户对规则是否感兴趣这一重要因素,文中提出一种新的基于兴趣度的量子退火遗传挖掘算法,并在该算法中,采用遗传选择,量子交叉,退火变异操作,有效地避免了早熟收敛现象。实验结果表明,该方法能高效地解决关联规则挖掘问题。     

Ya rn架构下基于G A的We b日志挖掘技术

提出了一种面向TB级别日志文件挖掘需求的日志挖掘技术。采用MapReduce编程模型设计并实现了一种基于子种群联姻策略的GA,并部署到Yarn架构上,使Yarn架构与GA有效结合。在算法Partition阶段,采用Round-Robin策略代替原有的哈希方法,使各个子种群基因更加趋向均匀分布,增加了子种群收敛效率和结果准确性,同时均衡各个节点运行负载,提高了系统性能。经测试,应用该技术的挖掘结果平均准确度达到93％以上,效率提升接近33％。     

GA和关联规则在分类挖掘中的应用研究

遗传算法是数据挖掘中一种重要的分类挖掘算法,但简单的遗传算法具有很大的随机性,出错率较高,难以满足数据挖掘的需要。为此,提出一种基于遗传算法和Apriori的分类挖掘算法——GAA。从编码设计、适应度函数、遗传算子的设计方面进行讨论和分析,结合一个具体实例进行应用,结果表明算法在代数较少情况下,可有效提高分类的准确性,具有一定的应用价值。     

大规模数据集的增量式关联规则挖掘

商业活动和工程实践中通常会积累一些大规模的携带重要信息的数据,由于这种数据集经常有更新且数据量较大,在对它们进行增量式关联规则挖掘时,若采用基于传统的Apriori算法进行计算,一方面难以取得较好的效率;另一方面支持度设置过低会产生大量的冗余规则,设置过高则会把一些支持度不高但有用的规则过滤掉而导致算法对这些新规则感应迟钝。因此,借助遗传算法的相关机理,同时结合自然界的免疫进化理论及相关仿生机制,提出一种IOGA（Immune Optimization based Genetic Algorithm,基于免疫优化的遗传算法）增量式关联规则挖掘方法。通过实验表明,该方法应用于大规模数据集的增量式关联规则挖掘时,可以及时地感知规则的变更并发现有用的规则,减少了冗余规则的产生,同时挖掘效率也有明显提高。