多段支持度数据挖掘算法研究

在基于相联规则的数据挖掘算法中,Apriori等算法最为著名。它分为两个主要步骤：（1）通过多趟扫描数据库求解出频繁项集;（2）利用频繁项集生成规则。随后的许多算法都沿用Apriori中“频繁项集的子集必为频繁项集”的思想,在频繁项集Lk-1上进行JOIN运算构成潜在k项集Ck。由于数据库和Ck的规模较大,需要相当大的计算量才能生成频繁项集。AprioriTid算法给每个事务增加了一个唯一标识Tid,其特点是只扫描一趟数据库,其余趟扫描（如第k趟扫描）均在相应的数据集Ck^-上进行。由于数据规模改变不大,各算法的效率差别并不明显。该文提出分段计算支持度的思想,是把一个项集的支持度分段计算,每一个段记录该项集在相应规模事务中出现的频度,从而构成一个支持度向量。由于有了项集的多段支持度,可以推测出该项集能否包含在更大规模的频率项集中,采用这种算法既提高了在扫描数据库中的信息获取度,又能及时剔除超集不是频繁项集的项集,进一步缩减了潜在项集的规模,在数据集扫描过程中,按文中定理1的思想调整数据集,达到提高频繁项集生成效率的目的。     

挖掘相联规则的并行算法研究

在研究多段支持度数据挖掘算法的基础上提出并行挖掘相联规则的算法。给出了在并行条件下以负载平衡为目的的种子项集的划分的贪心算法策略。基于多段支持度特征，为减少各个处理机之间的制约，提出按事务长度进行数据集划分的方案，并具体实现了多段支持度的并行算法。实验结果表明该算法具有很高的效率，特别是在双CPU情况下，并行算法的效率接近顺序算法的两倍，如果把算法修正和推广到群集环境下，会更一步增加相联规则的实用性。