基于FP-Tree含正负项目的频繁项集挖掘算法

借鉴FP_growth算法中频繁模式树的思想,提出包含正负项目的频繁模式树的构造方法.通过对该频繁模式树进行模式扩展,可以挖掘出包含正负项目的频繁项集.该算法与直接使用FP_growth算法挖掘含负项目的频繁项集相比,无需对原始数据库进行负项目的扩展,也不用再构造并销毁额外的数据结构,只需在原始的频繁模式树上修改,在时间和空间的开销上都具有一定优势.实验表明,本文算法比现有的同类挖掘算法和直接FP_growth算法具有更好的效率.     

基于二进制表示的频繁项集挖掘算法

发现频繁项集是关联规则挖掘中最基本、最重要的问题.提出了一种基于二进制表示的频繁项集挖掘算法,并利用二进制的性质快速产生候选项集并计算其支持度.算法总体性能在一定程度上得到了提高.     

基于谱聚类的在线数据库垂直分区多阶段生成方法

垂直数据分区技术从逻辑上将满足一定语义条件的数据库表属性存放在同一个物理块中,进而降低数据访问成本,提高查询效率.数据库查询负载中的每条查询通常只与数据库表中的部分属性有关,因此只需使用数据库表的某个属性子集便可以得到准确的查询结果.合理的垂直数据分区方式可以使大多数查询负载不需要扫描完整数据库就可以完成查询任务,从而达到减少数据访问量,提高查询处理效率的目的.传统的数据库垂直分区方法主要基于专家设置的启发式规则,分区策略粒度较粗,且不能根据负载的特征进行有针对性的分区优化.同时,当负载规模较大或者属性个数较多时,现有垂直分区方法执行时间过长,尤其无法满足数据库在线实时调优的性能需求.为此,提出在线环境下基于谱聚类的垂直数据分区方法（spectral clustering based vertical partitioning,SCVP）,采用分阶段求解的思想,减少算法时间复杂度,加快分区执行速度.首先通过增加约束条件缩小解空间（即根据谱聚类生成初始分区）,然后对解空间设计算法进行精细的搜索（即采用频繁项集和贪心搜索相结合的策略对初始分区进行优化）.为了进一步提升SCVP在高维属性下的性能,提出了SCVP的改进版本SCVP-R （spectral clustering based vertical partitioning redesign）.SCVP-R通过引入同域竞争机制、双败淘汰机制和循环机制,对SCVP在分区优化过程中的合并方案进行了进一步优化.在不同数据集上的实验结果表明,相比于目前最好的垂直分区方法,SCVP和SCVP-R有着更快的执行时间和更好的性能表现.     

一种基于SFP树的快速关联规则挖掘算法

对于传统的FP-Growth算法而言,当事务数据库D很大时,构造基于内存的FP树可能是不现实的.针对此问题,提出了一种基于样本事务数据库的SFP算法.该方法对事务数据库D进行随机抽样,得到样本数据库S,此时以比指定的支持度min_sup小的支持度(min_sup')在S中挖掘频繁项集L',根据求得的频繁项集L',在剩余的数据库D-S中求得L'中各事务的支持数,这在大多数情况下就可以求得所有的频繁项集,但是有时可能会漏掉一些.这时可以对D进行二次扫描以发现漏掉的频繁项集.该算法大多数情况下只需要对数据库进行一次扫描,最坏情况下也只需要对数据库进行二次扫描.当把效率放在首位时,比如计算密集事务数据库的频繁项集时,SFP算法尤其合适.     

基于聚类矩阵的入侵日志关联规则算法

分析已有的关联规则算法,提出一种基于聚类矩阵的入侵检测日志关联规则算法。当数据库和最小支持度发生变化时,只需扫描变动的数据即可得到新的频繁项集。实验结果表明,该算法只需扫描一次数据库,具有频繁k-项集生成速度快、节约时间等优点,能提高入侵检测日志数据库关联规则挖掘的效率,满足实时入侵检测系统的需要。     

基于频繁项集的多标签文本分类算法

针对多标签文本分类问题,提出基于频繁项集的多标签文本分类算法——MLFI。该算法利用FP-growth算法挖掘类别之间的频繁项集,同时为每个类计算类标准向量和相似度阈值,如果文本与类标准向量的相似度大于相应阈值则归到相应的类别,在分类结束后利用挖掘到的类别之间的关联规则对分类结果进行校验。实验结果表明,该算法有较高的分类性能。     

一种改进的加权关联规则挖掘方法

考虑属性数量和属性权值对关联规则的影响,提出一种新的加权支持度和加权置信度计算方法,在挖掘加权关联规则时通过改进加权支持度设置模型保持Apriori算法的频繁集向下封闭特性。与Apriori算法和水平加权关联规则挖掘方法的比较结果证明该方法能快速有效地挖掘重要的关联规则。     

基于前缀树的高效频繁项集挖掘算法

针对频繁项集挖掘时间与空间效率低的问题,提出一种基于前缀树的高效频繁项集挖掘算法,通过对事务集进行预处理,创建索引表并分配索引编号,保证前缀树中事务顺序的一致性,根据索引编号等信息创建紧凑的前缀树,采用自底向上的挖掘与投影的方式挖掘出频繁项集。实验结果表明,该算法挖掘效率高、占用空间少。     

基于客户机/服务器模式并行关联规则的研究与实现

为了解决并行关联规则挖掘各节点间通信量巨大以及全局频繁项集难以准确、快速得到等问题,提出了一种新的基于客户机/服务器模式的并行关联规则挖掘算法.该算法中,各客户机只需要和服务器之间传递少量的信息,而无需和其它客户机通信,降低了通信成本;服务器端利用了数据库的触发器机制,使全局频繁项集得到的过程能够自动快速实现.实验结果表明了改进后算法的有效性,该算法可以使大数据集的挖掘从不可行到可行,从困难到容易.     

一种改进的增量挖掘算法

Pre-FUFP算法基于次频繁项的概念有效处理了频繁模式树的更新,但当有次频繁项变成频繁项时,需要判定原数据库中哪些事务包含该数据项。为此,通过引入次频繁项对应原事务标识符的索引确定需要处理原数据库的事务,减少这一过程所消耗的时间,并用基于压缩FP-tree和矩阵技术代替原始FP-growth挖掘出频繁模式。实验证明该算法在时间效率上较Pre-FUFP有大幅度提高。