基于垂直数据分布的大型稠密数据库快速关联规则挖掘算法

为进一步解决对大型事务数据库进行关联规则挖掘时产生的CPU时间开销大和I/O操作频繁的问题,给出了一种基于垂直数据分布的改进关联规则挖掘算法,称为VARMLDb算法。该算法首先有效地把数据库分为内存可以满足要求的若干划分,然后结合有向无环图和垂直数据形式diffse、差集来存储和计算频繁项集,极大地减少了存储中间结果所需的内存大小,解决了传统垂直数据挖掘算法对稠密数据库挖掘效率低下的问题,使该算法可有效地适用于大型稠密数据库的关联规则挖掘。整个算法吸取CARMA算法的优势,只需扫描两次数据库便可完成挖掘过程。实验结果表明该算法是正确的,在大型稠密数据库中,VARMLDb算法具有较高的执行效率。     

一种面向实时数据库存储引擎的设计与实现

卫星地面设备监控中,需研究实时数据库技术来管理大量的分布式环境下的实时数据.为此文章设计了一种实时数据存储引擎.该引擎借助内存文件映射机制实现内存表,以LRU算法和页面缓冲池实现了磁盘表,通过位图方法管理数据库表的文件空间,以影子页面法实现了事务的提交与回滚,并设计了数据库表的逻辑结构.通过使内存表和磁盘表结构保持一致,确保了数据库运行时内存表和磁盘表的灵活转换,影子页面法确保了数据库具有实时的故障恢复速度.结果表明,该引擎适用于存储卫星地面设备监控中的大量实时数据.     

基于事务ID集合的带约束的关联规则挖掘算法

为解决在挖掘关联规则时存在大量冗余规则以及效率不高的问题,提出了一种基于事务ID集合的带约束的关联规则挖掘算法ACARMT.该算法结合了Separate算法以及基于数据垂直分布算法的优势,先根据约束条件产生基础频繁项目集,再利用事务ID集合存储项目集信息,从而避免重复扫描数据库,提高了挖掘效率.应用该算法挖掘实际的生殖健康数据的实验表明,在数据量大到超出基于数据垂直分布算法的使用范围时,该算法仍然有效,并且其效率优于Separate算法.     

基于布尔矩阵的关联规则算法研究*

针对可快速在大型交易事务数据库中挖掘关联规则的问题,基于布尔矩阵提出一种新的挖掘算法。该算法通过仅需存储布尔位节约了内存,通过简单布尔运算提高了求解频繁项集的效率。实验证明该算法较之于Apriori 算法有更好的性能。     

基于矩阵的关联规则挖掘算法研究与改进

为了有效提高关联规则挖掘算法处理数据库的效率,在研究基于矩阵的关联规则挖掘算法的基础上,提出了改进的关联规则挖掘算法DMApriori,并选取程序模拟超市购物产生的4个试验数据集,应用DMapriori算法对该数据集进行了关联规则挖掘;实验结果表明,该算法能平均提高关联规则挖掘时间20%;在计算数据库中的频繁项集时,通过有效裁剪布尔矩阵,使算法逐层扫描的数据量大大减少,并且对每个项集计数时,只扫描部分数据,提高了关联规则挖掘算法的性能。     

基于关联规则映射的生物信息网络多维数据挖掘算法

针对在生物信息网络中对复杂和大规模的数据集进行挖掘时所出现的算法挖掘精度低、运行速度慢、内存占用大等问题,提出一种基于关联规则映射的生物信息网络多维数据挖掘算法.该算法结合网络数据集之间的关联映射关系,从而确定网络数据集的关联规则,并引入挖掘因子和相对误差来提高算法的挖掘精度;根据多维子空间中数据集之间的关联程度进行子空间区分以及子空间内数据集区分,从而实现对不同数据集的有效挖掘.在实验中,对不同数据集数量下的算法内存占用情况、算法挖掘精度、算法运行时间进行仿真,从实验结果可以看出基于关联规则映射的挖掘算法可以有效地提高挖掘精度,在减少内存占用和提升计算速度上也具有一定的优势.     

一种基于向量的概率加权关联规则挖掘算法

关联规则挖掘是数据挖掘领域中最活跃的一个分支。目前提出的许多关联规则挖掘算法需要多次扫描数据库并产生大量候选项集,影响了挖掘效率。针对加权关联规则挖掘算法中多次扫描数据库影响算法性能的问题,对其进行了优化,采取了以空间换时间的思路,提出一种基于向量的概率加权关联规则挖掘算法。以求概率的方式设置项目属性的权值,通过矩阵向量存储结构保存事务记录,只需扫描一次数据库,并且采用不同的剪枝策略及加权支持度和置信度的计算方式。使用数据实例进行模拟实验,结果表明此算法明显提高了挖掘效率。     

基于二叉频繁模式树的医学图像关联规则挖掘

医学图像的数据量是相当巨大的,挖掘医学图像中数据的关联关系就需要一种适合挖掘海量数据的挖掘算法。针对基于频繁模式树FP_TREE的关联规则算法在挖掘海量数据时占用大量内存的缺点,提出了一种基于二叉频繁模式树(FP_BTREE)的关联规则算法。该算法采用二叉树存储数据的技术来映射数据库中数据,以减少对数据库的访问次数。而且根据内存具体情况可以先求出先建立的二叉频繁模式树的频繁模式。解决了占用大量内存的缺点,适合挖掘医学图像海量数据集。此算法也为多棵二叉频繁模式树的并行计算打下基础。最后应用此算法提取医学图像数据集中隐含的关联信息。     

基于频繁模式表的增量更新算法

对大型数据库中关联规则挖掘的频繁模式维护问题进行了研究,提出一种增量更新算法(Update Frequent Pattern List,UFPL).该算法基于频繁模式表(FPL),可以处理数据库数据增加和最小支持度都发生改变的情况下关联规则的维护问题.最后,利用公共测试数据集,对算法性能进行测试,相对于快速更新(Fast Update,FUP)算法和增量维护(Incremental Maintenance,IM)算法,其效率有较大改进.     

基于本体的XML关联规则挖掘方法

针对传统的数据挖掘技术不能直接应用到半结构化的XML数据挖掘问题,给出了基于本体的XML关联规则挖掘方法。该方法引入领域本体和哈希技术来改进产生频繁项目集的操作和生成关联规则的操作,并且使用哈希表存储相关的领域本体,从而将数据库操作转化为对XML内存树的操作,通过理论分析和实验验证了方法的挖掘效果,论述了该方法的优点。     

Incremental fuzzy temporal association rule mining using fuzzy grid table

Traditional temporal association rules mining algorithms cannot dynamically update the temporal association rules within the valid time interval with increasing data. In this paper, a new algorithm called incremental fuzzy temporal association rule mining using fuzzy grid table (IFTARMFGT) is proposed by combining the advantages of boolean matrix with incremental mining. First, multivariate time series data are transformed into discrete fuzzy values that contain the time intervals and fuzzy membership. Second, in order to improve the mining efficiency, the concept of boolean matrices was introduced into the fuzzy membership to generate a fuzzy grid table to mine the frequent itemsets. Finally, in view of the Fast UPdate (FUP) algorithm, fuzzy temporal association rules are incrementally mined and updated without repeatedly scanning the original database by considering the lifespan of each item and inheriting the information from previous mining results. The experiments show that our algorithm provides better efficiency and interpretability in mining temporal association rules than other algorithms.

     

DRFP-tree: disk-resident frequent pattern tree

Frequent itemset mining methods basically address time scalability and greatly rely on available physical memory. However, the size of real-world databases to be mined is exponentially increasing, and hence main memory size is a serious bottleneck of the existing methods. So, it is necessary to develop new methods that do not fully rely on physical memory; new methods that utilize the secondary storage in the mining process should be the target. This motivates the work described in this paper; we mainly propose (Disk Resident Frequent Pattern) DRFP-Growth as a disk based approach similar to FP-Growth. DRFP-growth uses DRFP-tree, which is treated exactly as FP-tree when constructed in main memory and gets into a modified structure when it turns into disk resident to overcome the main memory bottleneck. This way, we are able to mine for frequent itemsets from databases of arbitrary sizes without being restricted by the available physical memory. In other words, we initially try to mine the database using the original FP-growth; we expand into the secondary memory only if we run out of physical memory. So, DRFP-growth is very comparable to FP-growth for small databases and high support threshold values. On the other hand, using DRFP-growth, we are still able to mine huge databases for low support threshold values (the only limitation is the available secondary storage rather than physical memory). The reported test results demonstrate how the proposed approach succeeds for cases where main memory based approaches fail.     

一种用于快速关联规则挖掘的分段信息表生成算法

对关联规则的挖掘是数据挖掘中的一个重要问题。在挖掘之前先对数据库扫描,以获得一些辅助的信息,能极大地加速挖掘过程。ARSC算法以建立一种称为分段信息表的数据结构来提高关联规则挖掘的效率。分段信息表所占用的空间很小,生成所需要的时间也很短,却能够获得很好的性能。它还有很强的通用性,能在多种数据挖掘任务和多种算
算法中使用。     

基于有限个条件FP_树中挖掘频繁模式

在数据挖掘中发现关联规则是一个基本问题,而关联规则发现中最昂贵的步骤便是寻找频繁模式。FP_growth(frequent-patern growth)方法在产生长短频繁项集时不产生候选项集,从而大大提高了挖掘的效率,但是FP_growth在挖掘频繁模式时候产生大量的条件FP树从而占用大量空间,对FP_growth进行研究提出一种改进算法不仅利用FP_growth 算法所有优点,而且避免FP_growth的缺陷。主要通过建立有限棵条件FP树（数目为事务数据库的属性个数）来挖据长短频繁模式,大大节省FP_growth算法所需要空间,实验证明本文算法是有效的。     

Spark平台的分布式阶段自适应关联规则挖掘算法

为满足日益增长的海量数据挖掘需求,迫切需要设计一种能够在多台机器上运行的分布式关联规则挖掘算法。Apriori这种高度迭代算法在Hadoop平台上运行时每次迭代执行大量的磁盘I/O操作,大大影响并限制了算法的运行效率。本文利用Spark对分布式计算内置支持的特点,在Spark平台上设计并实现一种分布式关联规则挖掘算法,称为阶段式自适应挖掘算法(Staged Adaptive Apriori)。算法使用自适应的数据集部分处理的策略对频繁项集进行高效挖掘,在每次迭代前初步评估执行时间,并采用较为合适的方法来减少时间和空间的复杂性,是一种基于数据集性质的自适应关联规则挖掘算法。实验结果表明了算法的有效性。     

基于线索频繁模式树的关联规则产生算法

虽然FP-Growth算法能够有效地从数据库中挖掘频繁模式,但如何由其挖掘出的频繁模式中高效地产生关联规则仍是一个相当复杂的问题。该文提出了用于组织频繁模式的线索频繁模式树(TFPT)和一个从TFPT中挖掘关联规则的高效算法—最短模式优先算法(SPF)。挖掘模式Y的关联规则时,SPF算法应用了两个优化策略,避免了对大量的不可能成为规则XY-X左部的Y的子集的检查,从而获得了很好的性能。实验表明:与类FP-Growth算法结合时,SPF算法运行速度远远快于Apriori算法,并有相当好的可伸缩性。     

基于Apriori算法的改进算法

关联规则挖掘是数据挖掘研究的一项重要内容.为了快速挖掘关联规则,分析了挖掘关联规则的Apriori算法,并在此基础上给出了一种改进的算法:NApriori算法,利用频繁1项集重新组织事务数据库来挖掘关联规则,此方法仅需扫描数据库2次,且避免了Apriori算法繁琐的连接和删除步骤,实验结果表明此方法比Apriori算法有更好的性能.     

关联规则中FP树算法的研究与改进

传统的基于关联规则的FP-树算法在挖掘频繁项目集算法中应用很广,它在数据挖掘过程中不需要产生候选集,但是该FP-树算法在挖掘较大型数据库时运行速度慢、占用内存大或根本无法构造基于内存的FP-树。为了解决这些问题,本文提出了一种占用内存少、能满足大型数据库挖掘需求的改进的FP树算法。     

Frequent Closed Sequence Mining without Candidate Maintenance

Previous studies have presented convincing arguments that a frequent pattern mining algorithm should not mine all frequent patterns but only the closed ones because the latter leads to not only a more compact yet complete result set but also better efficiency. However, most of the previously developed closed pattern mining algorithms work under the candidate maintenance-and- test paradigm, which is inherently costly in both runtime and space usage when the support threshold is low or the patterns become long. In this paper, we present BIDE, an efficient algorithm for mining frequent closed sequences without candidate maintenance. It adopts a novel sequence closure checking scheme called Bl-Directional Extension and prunes the search space more deeply compared to the previous algorithms by using the BackScan pruning method. A thorough performance study with both sparse and dense, real, and synthetic data sets has demonstrated that BIDE significantly outperforms the previous algorithm: It consumes an order(s) of magnitude less memory and can be more than an order of magnitude faster. It is also linearly scalable in terms of database size.     

一种基于压缩矩阵的关联规则挖掘算法

针对在关联规则中的Apriori算法进行了深入研究的基础上,提出了一种基于压缩矩阵的关联规则挖掘算法(CMApriori算法)。该算法只需扫描一次数据库,在矩阵上采用事务压缩和项目压缩技术,节省了数据占用的内存空间。在对建立好的压缩矩阵上只需进行简单的计数运算即可得到频繁项集。仿真实验证明:该算法与Apriori算法相比,运算效率大大提高。