一种有效的数据流最大频繁模式挖掘算法

针对频繁项集挖掘存在数据和模式冗余的问题,对数据流最大频繁项集挖掘算法进行了研究。针对目前典型的数据流最大频繁模式挖掘算法DSM-MFI存在消耗大量存储空间及执行效率低等问题,提出了一种挖掘数据流界标窗口内最大频繁项集的算法MMFI-DS,该算法首先采用SEFI-tree存储包含在不断增长的数据流中相关最大频繁项集的重要信息,同时删除SEFI-tree中大量不频繁项目,然后使用自顶向下和自底向上双向搜索策略挖掘界标窗口中一系列的最大频繁项集。理论分析与实验表明,该算法比DSM-MFI算法具有更高的效率,并能节省存储空间。     

基于滑动窗口的数据流频繁项集挖掘方法

数据流的特点要求挖掘算法只能经过一次扫描获得挖掘结果,并且要求较低的空间复杂度。结合数据流的特点,提出一种基于滑动窗口的数据流频繁项集挖掘新算法MFIM。该算法采用二进制向量矩阵表示滑动窗口中的事务序列,以这种新的结构来记录频繁项集的动态变化,有效地挖掘数据流频繁项集。理论分析与实验结果表明该算法能获得较好的时间复杂度与空间复杂度。     

基于周期采样的数据流频繁项集挖掘算法研究

针对用于数据流频繁项集挖掘的现有方法存在引入过多次频繁项集以及时空性能与输出精度较低的问题,利用Chebyshev不等式,构造了项集频度周期采样的概率误差边界,给出了动态检测项集支持度变化方法.提出了一种基于周期采样的数据流频繁项集挖掘算法FI-PS,该算法通过跟踪项集支持度变化确定项集支持度的稳定性,并以此作为调整窗口大小以及采样周期的依据,从而以一个较大的概率保证项集支持度误差有上界.理论分析及实验证明该算法有效,在保证挖掘结果准确度相对较好的条件下,可获得较优执行性能.     

一种基于索引数组的频繁项集高效挖掘算法

为改进基于数据库垂直表示的频繁项集挖掘算法的性能,给出了用索引数组方法来改进计算性能的思路.提出了索引数组的概念及其计算方法,并提出了一种新的高效的频繁项集挖掘算法Index-FIMiner.该算法大大减少了不必要的tidset求交及相应的频繁性判断操作,同时也论证了代表项可直接与其包含索引中的所有项集的组合进行连接,这些结果项集的支持度均与代表项的支持度相等,从而降低了这些频繁项集的处理代价,提高了算法的性能.实验结果表明,Index-FIMiner算法具有较高的挖掘效率.     

一种频繁项集挖掘改进算法

利用Apriori算法和FP-growth算法挖掘密集型数据集的全部频繁项集代价高昂,针对该问题提出一种基于链表数组的关联规则挖掘算法,该方法使用链表数组为每个项目建立事务链表,只需要扫描数据库1次,就能够快速得到每个候选项的支持度,从而有效的发现频繁项集。通过与经典算法分析对比表明,该算法具有较快的挖掘速度。     

基于云和频繁项集的认知测试性诊断方案权衡优化

针对装备认知测试性智能决策问题,提出基于云和频繁项集的认知测试性诊断方案权衡优化方法。研究装备认知测试性中信息流在定性域和定量域的描述和转换方法,给出基于数据概要的中心云产生方法,实现事务数据清洗与筛选;研究基于频繁项集和新增项集的数据挖掘方法,提出基于2-范数及协方差的数据相关性分析方法,实现基于云和频繁项集的认知测试性诊断方案权衡优化的数据挖掘过程;得到基于存储层-云层-应用层-决策层的认知测试性仿真诊断与权衡优化模型,并对该模型进行补充说明。该方案可为装备认知测试性诊断方案权衡优化的智能化发展奠定基础。     

基于滑动窗口的数据流字符串近似查询

针对数据访问模式随着网络技术的发展逐渐从静态磁盘转移到动态数据流的状况,研究了数据流上的字符串近似查询.为了解决数据流的连续性、无边界性、不可预知性和在线计算资源的局限性导致基于静态数据集的近似查询处理方法无法高效地支持数据流的问题,提出了基于滑动窗口数据流的字符串近似查询(AS3)方法.该方法基于过滤-验证框架和基本窗口索引更新机制,改进并应用非对称特征策略提取数据流和查询关键字的特征,采用了两个新的过滤算法——预剪裁过滤(PPF)算法和流统计(CFS)过滤算法,以及基于矩阵坐标的验证(CV)算法.实验结果表明,AS3方法能够高效地支持基于滑动窗口的数据流字符串近似查询,在保证结果准确率的同时具有较高的实时性及峰值处理能力.     

基于压缩事务矩阵相乘的Apriori改进算法

Apriori算法是当前使用最广泛的关联规则挖掘方法中最为经典的算法之一;但是该算法需要反复的扫描数据库,在I/O上花消很大,并且在得到频繁-2项集的过程中会产生庞大的候选-2项集,其次在筛选得到频繁-k项集时,并没排除那些不应该参组合的元素,而导致该算法效率很低,针对上面影响计算效率的三个方面提出基于压缩事务矩阵相乘得到频繁项目集的算法,只需一次扫描数据库,经过压缩处理产生产生事务矩阵,通过矩阵间运算得到频繁项目集,有效提高了关联规则的挖掘效率。     

分布式数据库中关联规则挖掘的研究

在数据挖掘研究中,关联规则挖掘作为数据挖掘研究中的一个重要部分,引起越来越多的关注。因此,主要研究关联规则挖掘,首先介绍关联规则挖掘的一些基础知识、概念描述等,然后对关联规则挖掘的常用算法进行分类探讨,最后分析其中的几种典型算法。     

一种基于fp-tree的Apriori算法改进研究

提出了一种改进的基于fp-tree的Apriori算法.该算法先用尾元将fp-tree分区,生成数据量更小的子数据集,再动态删除冗余数据将子数据集的数据进一步压缩,最后通过扫描子数据集进行支持数统计,从而快速挖掘.实验结果表明,在对含有大量高维度数频繁项集的数据集进行挖掘时,这个改进算法的挖掘速度较快.