IDS日志数据挖掘的改进算法

提出了一个基于最小完美哈希函数的关联规则的挖掘算法。基于Apriori的算法,在综合了传统哈希剪枝技术的同时,利用最小完美哈希函数的优点,保证了静态数据库关联规则挖掘,可以对关联规则的哈希结构数据进行动态的调整。该算法提高了挖掘效率,通过抑制哈希地址冲突提高了算法的稳定性和可用性。     

一种改进的Apriori算法

数据挖掘中的关联规则挖掘能够发现大量数据中项集之间有趣的关联或相关联系,特别是随着大量数据不停地收集和存储,从数据库中挖掘关联规则就越来越有其必要性.通过对关联规则挖掘技术及其相关算法Apaod进行分析,发现该技术存在的问题.Apriori算法是关联规则挖掘中的经典算法.对Apriori算法做了改进.借助0-1矩阵给出了计算项集的支持度计数的更快方法,同时还简化了Apriori算法中的连接和剪枝操作,从而在时间和空间上提高了Apriori算法的效率.     

Apriori算法中频繁项集挖掘实现研究

在数据挖掘中,关联规则是发现知识的一种有效方法,而频繁项集的挖掘是关联规则中发现强规则的基础,其中连接与剪枝是逐层迭代求解k-项频繁集的核心算法。因此,文中主要介绍了基于连接与剪枝挖掘频繁项集的实现过程,并通过挖掘对传统购物篮数据中的频繁项集进行了验证,结果是一致的。算法的有效性也为进一步挖掘关联规则中的强规则提供了基础。     

Apriori算法中频繁项集挖掘实现研究

在数据挖掘中，关联规则是发现知识的一种有效方法，而频繁项集的挖掘是关联规则中发现强规则的基础，其中连接与剪枝是逐层迭代求解k-项频繁集的核心算法。因此，文中主要介绍了基于连接与剪枝挖掘频繁项集的实现过程，并通过挖掘对传统购物篮数据中的频繁项集进行了验证，结果是一致的。算法的有效性也为进一步挖掘关联规则中的强规则提供了基础。     

有效的矩阵加权正负关联规则挖掘算法——MWARM-SRCCCI

针对现有加权关联规则挖掘算法不能适用于矩阵加权数据的缺陷,给出一种新的矩阵加权项集剪枝策略,构建矩阵加权正负关联模式评价框架SRCCCI,提出一种新的基于SRCCCI评价框架的矩阵加权正负关联规则挖掘算法MWARM-SRCCCI。该算法克服了现有挖掘技术的缺陷,采用新的剪枝技术和模式评价方法,挖掘有效的矩阵加权正负关联规则,避免一些无效和无趣的模式产生。以中文Web测试集CWT200g为实验数据,与现有无加权正负关联规则挖掘算法比较,MWARM-SRCCCI算法的挖掘时间减幅最大可达74.74%。理论分析和实验结果表明,MWARM-SRCCCI算法具有较好的剪枝效果,候选项集数量和挖掘时间明显减少,挖掘效率得到极大提高,其关联模式可为信息检索提供可靠的查询扩展词来源。     

一种改进的Apriori算法

数据挖掘中的关联规则挖掘能够发现大量数据中项集之间有趣的关联或相关联系,特别是随着大量数据不停地收集和存储,从数据库中挖掘关联规则就越来越有其必要性。通过对关联规则挖掘技术及其相关算法Apriori进行分析,发现该技术存在的问题。Apriori算法是关联规则挖掘中的经典算法。对Apriori算法做了改进。借助0—1矩阵给出了计算项集的支持度计数的更快方法,同时还简化了Apriori算法中的连接和剪枝操作,从而在时间和空间上提高了Apriori算法的效率。     

一种有效的完全加权正负关联模式挖掘算法AWAPM_SPRMI

完全加权正负关联模式在文本挖掘、信息检索等方面具有重要的理论和应用价值.针对现有挖掘算法的不足,构建完全加权正负关联模式评价框架SPRMII(support-probability ratio-mutual information-interest),提出完全加权项集双兴趣度阈值剪枝策略,然后基于该剪枝策略提出一种新的基于SPRMII框架的完全加权正负关联模式挖掘算法AWAPM_SPRMII(all-weighted association patterns mining based on SPRMII).该算法克服了传统挖掘算法缺陷并采用新剪枝方法从完全加权数据库中挖掘有趣的频繁项集和负项集,通过项集权重维数比的简单计算和SPRMII评价框架,从这些项集中挖掘有效的完全加权正负关联规则.理论分析和实验表明,该算法有效,具有良好的扩展性,与现有经典挖掘算法比较,获得了良好的挖掘性能.     

正相关性指导下的关联规则剪枝算法

基于支持度和置信度模型的关联规则剪枝算法会挖掘出很多无趣规则。针对该问题,提出一种正相关性指导下的关联规则剪枝算法。利用全置信度和提升度构造一个正相关性评价函数,以此对频繁项集进行剪枝。实验结果表明,该算法能减少无趣关联规则数量,提升挖掘结果质量,缩短挖掘时间。     

基于FP-Tree的共享前缀频繁项集挖掘算法

在数据挖掘中发现关联规则是一个基本问题,而发现频繁项集是关联规则挖掘中最基本、最重要的问题。提出了基于FP-Tree的共享前缀频繁项集挖掘算法－FP-SPMA算法。构造FP-Tree来压缩事务数据库,通过共享前缀和前瞻剪枝快速减小候选项集,无需递归构造条件模式树,算法性能有明显的提高。     

基于AR_TSM的时间序列motif关联规则挖掘方法研究

挖掘时间序列motif间潜在的关联规则可以在预测未来趋势方面发挥重要作用,时间序列motif即时间序列中先前未知的重复出现的模式。针对符号化时间序列提取motif导致信息丢失的问题,提出基于剪枝技术的motif提取算法PM_Motif,实现了保留原始信息的motif的精准快速提取;针对分割motif来发现其内部关联规则导致的规则不一致的问题,从motif间的关联规则入手,给出了基于AR_TSM方法的时间序列motif关联规则挖掘算法,从根本上避免了因motif分割引起的不确定性,保证了规则的一致性;最后,引入了关联规则评价参数RM,在多数据集上证明了关联规则的预测性能。     

一种模糊多层关联规则挖掘算法

针对传统数据挖掘中的“尖锐边界”问题,采用将模糊理论和关联规则挖掘技术相结合的思想,在改进传统Apriori算法的基础上,结合多层关联规则挖掘的方法,提出了一种模糊多层关联规则挖掘算法。对模糊多层关联规则挖掘的基本概念进行了定义,详细描述了模糊多层关联规则挖掘算法。最后用Visual FoxPro6．0语言实现了该算法程序,通过交易数据库挖掘实验表明算法是有效的。     

一种基于MFP树的快速关联规则挖掘算法

在关联规则挖掘FP-Growth算法的基础上,提出一种基于MFP树的快速关联规则挖掘算法。文中给出了MFP算法的工作原理。MFP算法能在一次扫描事务数据库的过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP-Growth算法减少一次对事务数据的扫描,因此具有较高的时间效率。     

一种基于MFP树的快速关联规则挖掘算法

在关联规则挖掘FP-Growth算法的基础上,提出一种基于MFP树的快速关联规则挖掘算法。文中给出了MFP算法的工作原理。MFP算法能在一次扫描事务数据库的过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP-Growth算法减少一次对事务数据的扫描,因此具有较高的时间效率。     

布尔型关联规则挖掘算法研究

在分析FP_growth关联规则挖掘算法的基础上,提出了一种MFP的算法,给出了算法的工作原理。MFP算法能在一次扫描事务数据库过程中,把该数据库转换成MFP树,然后对MFP树进行关联规则挖掘。MFP算法比FP_growth算法减少一次对事务数据的扫描,因此具有较高的时间效率。     

空间关联规则的双向挖掘

空间数据库中关联规则挖掘不仅需要考虑关系元组属性之间的关系——纵向关系,更需要挖掘元组之间的关系——横向关系,如相邻、相交、重叠等。本文通过分析空间数据库的存储模式,借鉴事务数据库关联规则的挖掘方法,对空间关联规则进行完整定义,并对规则的兴趣度度量进行探讨。根据挖掘的方向将空间数据挖掘归纳为纵向挖掘、横向挖掘、双向挖掘。在双向挖掘中,提出一种新算法,该算法根据挖掘任务进行约束,缩小挖掘空间,然后通过空间计算将空间关系转化为非空间关系,经过多次循环,获取非空间项集,进而挖掘出空间关联规则。据此提出空间数据双向挖掘工作流程,并通过实例进行了验证。     

基于属性位复用的约束性关联规则挖掘算法

在提取满足用户特定需求的关联规则时,由于现有约束性关联规则挖掘算法存在大量的冗余候选项和重复计算,故提出一种基于属性位复用的约束性关联规则挖掘算法,其适合挖掘任何长度且满足用户特定需求的关联规则。该算法通过属性位的权值组合,将交易事务转换成整数,用属性位复用技术构建候选区间,并利用其端点值双向变化,构建索引候选频繁项,同时也用布尔运算计算其支持数。实验证明其比现有算法更快速,将其应用到客户关系管理系统中分析客户关联信息,可以有效地提高系统效率。     

基于时序和兴趣度约束的加权关联规则挖掘算法研究

为了解决关联规则挖掘算法中频繁集信息挖掘不完善和时序周期对事务集频繁项挖掘的影响问题,提出了一种基于时序和兴趣度约束的加权关系规则挖掘算法。该算法首先利用时序滑动函数对时序事务集进行发生概率估算和权值赋值,依据兴趣度约束函数和剪枝定理进行事务集化简,然后根据支持度和寿支持期望进行加权频繁事务集抽取,最后依据置信度进行加权关联规则导出。实验结果证明,该算法能够快速有效地挖掘出符合用户兴趣度的关联规则。     

基于改进多层次模糊关联规则的定量数据挖掘算法

针对单一层次结构实现规则提取具有规则提取准确性不高、算法运行时间长、难以满足用户使用需求的问题,提出一种基于改进多层次模糊关联规则的定量数据挖掘算法。采用高频项目集合,通过不断深化迭代的方法形成自顶向下的挖掘过程,整合模糊集合理论、数据挖掘算法以及多层次分类技术,从事务数据集中寻找模糊关联规则,挖掘出储存在多层次结构事务数据库中定量值信息的隐含知识,实现用户的定制化信息挖掘需求。实验结果表明,提出的数据挖掘算法在挖掘精度和运算时间方面相较于其他算法具有突出优势,可为多层次关联规则提取方法的实际应用带来新的发展空间。     

基于垂直数据分布的大型稠密数据库快速关联规则挖掘算法

为进一步解决对大型事务数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁的问题,给出了一种基于垂直数据分布的改进关联规则挖掘算法,称为VARMLDb算法。该算法首先有效地把数据库分为内存可以满足要求的若干划分,然后结合有向无环图和垂直数据形式diffse、差集来存储和计算频繁项集,极大地减少了存储中间结果所需的内存大小,解决了传统垂直数据挖掘算法对稠密数据库挖掘效率低下的问题,使该算法可有效地适用于大型稠密数据库的关联规则挖掘。整个算法吸取CARMA算法的优势,只需扫描两次数据库便可完成挖掘过程。实验结果表明该算法是正确的,在大型稠密数据库中,VARMLDb算法具有较高的执行效率。     

一种基于倒排索引树的增量更新关联挖掘算法

增量更新关联规则挖掘主要解决事务数据库中交易记录不断更新和最小支持度发生变化时关联规则的维护问题。针对目前诸多增量更新关联规则挖掘算法存在效率低、计算成本高、规则难以维护等问题,提出一种基于倒排索引树的增量更新关联挖掘算法。该算法有效地将倒排索引技术与树型结构相结合,使得交易数据库中的数据不断更新和最小支持度随应用环境不同而不断改变时,以实现无需扫描原始交易数据库和不产生候选项集的情况下生成频繁项集。实验结果表明,该算法只需占用较小的存储空间、且检索项集的效率较高,能高效地解决增量更新关联规则难以维护的问题。