反频繁集挖掘可计算复杂性问题研究

频繁集挖掘是总结二进制数据的重要技术，但如何找到一个二进制数据集与频繁集挖掘结果相一致却十分困难。文中从可计算复杂度的观点研究了频繁集的隐私保持。特别分析了反频繁挖掘问题的可计算复杂度。给出了决定是否存在与一个已知频繁集兼容的数据集是一个NP难度问题；当原始数据集d由6个集合组成时计算与已知频繁集兼容的数据集的数量是一个p类完全问题。     

反频繁集挖掘可计算复杂性问题研究

频繁集挖掘是总结二进制数据的重要技术,但如何找到一个二进制数据集与频繁集挖掘结果相一致却十分困难。文中从可计算复杂度的观点研究了频繁集的隐私保持。特别分析了反频繁挖掘问题的可计算复杂度。给出了决定是否存在与一个已知频繁集兼容的数据集是一个NP难度问题;当原始数据集d由6个集合组成时计算与已知频繁集兼容的数据集的数量是一个P类完全问题。     

频繁模式集挖掘算法TFPDM的研究

受经典的Apriori算法思想和FP-Growth算法思想的启发,在结合两者优点的基础上提出了一种新的算法思想,它是对传统的FP-Growth算法的变形。该算法只需对数据库扫描一次,可以同时对全局和局部频繁模式集进行挖掘,减少了对发生增益数据库挖掘的费用。理论分析表明算法是有效的、可行的。     

频繁闭项目集挖掘算法研究

目前已提出了许多基于Apriori算法思想的频繁项目集挖掘算法,这些算法可以有效地挖掘出事务数据库中的短频繁项目集,但对于长频繁项目集的挖掘而言,其性能将明显下降.为此,提出了一种频繁闭项目集挖掘算法MFCIA,该算法可以有效地挖掘出事务数据库中所有的频繁项目集,并对其更新问题进行了研究,提出了一种相应的频繁闭项目集增量式更新算法UMFCIA,该算法将充分利用先前的挖掘结果来节省发现新的频繁闭项目集的时间开销.实验结果表明算法MFCIA是有效可行的.     

快速挖掘全局频繁项目集

分布式环境中，全局频繁项目集的挖掘是数据挖掘中最重要的研究课题之一．传统的全局频繁项目集挖掘算法采用Apriori算法框架，须多遍扫描数据库并产生大量的候选项目集，且通过传送局部频繁项目集求全局频繁项目集的网络通信代价高．为此，提出了一种分布数据库的全局频繁项目集快速挖掘算法——FMAGF.FMAGF算法采用传送条件频繁模式树或条件模式基来挖掘全局频繁项目集，可有效地减小网络通信量，提高全局频繁项目集挖掘效率．理论分析和实验结果表明提出的算法是有效可行的．     

一种带约束条件的关联规则频繁集挖掘

论文先提出顺序单调约束和反顺序单调约束的概念并对其所包含的数学性质进行了讨论,在此基础上将其运用于频繁集挖掘过程中,给出挖掘基于顺序反单调性约束的频繁集算法和挖掘基于顺序单调约束的频繁集算法。带约束条件的关联规则频繁集挖掘可减少生成无意义的规则;同时,在频繁集生成过程,利用约束条件对搜索空间进行修剪,可提高挖掘算法的效率。     

快速挖掘频繁项目集算法

频繁项目集挖掘是数据挖掘领域最重要的基本问题之一,在分析已有算法的基础上,提出了一种能够快速挖掘频繁项目集的算法,对频繁项目集挖掘的搜索空间以及数据表示进行了优化,缩小搜索空间和数据表示的规模,减少计算项目集支持数的时间,提高算法的执行效率,实验结果表明,该算法在性能上优于FP-Growth算法.     

海量加密军用数据下的频繁项目集挖掘仿真

军用加密数据为了达到保密的目的,人为设定了较多的加密规则,打破了数据之间常规的关联性.在进行军用数据挖掘建立关联规则时,由于数据关联规则被人为隐藏,递归生成关联条件模式树的过程中,传统的FP-tree算法挖掘算法,由于加密数据的关联复杂性,会递归生成大量条件模式树,导致后期挖掘过程占用了大量的挖掘算法资源,挖掘效率较低.提出基于改进FP-tree的海量加密军用数据下频繁项目集挖掘算法,依据海量加密军用数据下频繁项目集挖掘原理,在FP-tree 算法的基础上,依据预剪枝策略减少挖掘节点,通过单向有序FP-tree防止每次存储当前挖掘出的频繁项目集之前都需要超集检验,建立项目表格,避免递归生成条件模式树浪费资源.将提出的改进FP-tree算法应用到海量加密军用数据下频繁项目集的挖掘中,获取的实验结果说明,改进FP-tree算法在提高加密军用数据频繁项目集挖掘速度及准确率方面具有较高的优越性.     

近似到达时间约束下的语义轨迹频繁模式挖掘

随着GPS定位技术的不断发展与智能移动设备的普及,轨迹数据的获取变得越来越容易,同时,轨迹数据相关应用的需求也逐渐增多.在轨迹数据上加入语义信息,可以得到体积较小、质量较高、能够更好地反映用户行为的语义轨迹,在其上实现旅游线路推荐、路线预测、用户生活模式挖掘、朋友推荐等应用,可以更好地满足用户需求.挖掘语义轨迹的频繁模式是实现这些应用的技术基础,而在很多情况下,用户对语义轨迹频繁模式常存在到达时间方面的需求,比如按特定时间游玩热门景点的同时需要按时到达车站候车.现有的语义轨迹模式挖掘方法大多没有考虑到达时间的约束,挖掘出的频繁模式缺少到达时间信息;少数方法考虑了精确的到达时间,但因为约束太强会导致无法挖掘到频繁的模式.因此,首次对近似到达时间约束下的语义轨迹频繁模式（approximate arrival-time constrained frequent pattern,简称AAFP）挖掘方法进行了研究,并给出了其形式化定义;通过时间轴划分提出了挖掘AAFP的基线算法,并通过建立索引AAP-tree提出了改进后的高效、灵活的AAFP挖掘算法;之后提出了信息熵增量公式,并给出了时间轴划分及AAP-tree的高效维护方法;最后在真实数据集上进行实验,验证了方法的有效性及高效性.     

频繁闭合项目集的并行挖掘算法研究

频繁项目集挖掘因其在数据挖掘领域中的基础地位和广泛应用备受学术界和产业界的关注,用挖掘频繁闭合项目集代替挖掘频繁项目集是近年来提出的一个重要策略。不同于以往提出的挖掘所有频繁项目集的并行算法,本文针对频繁闭合项目集的特性及并行挖掘的特点,给出了共享存储器模型上(Shared Memory)基于频繁模式树(FP-tree)的挖掘频繁闭合项目集的并行算法(FCIPM)思想,提出了频繁闭合项目集直接判断法,性能分析表明所提技术对算法的性能提高起到了关键作用。     

分组随机化隐私保护频繁模式挖掘

已有的隐私保护频繁模式挖掘随机化方法不考虑隐私保护需求差异性,对所有个体运用统一的随机化参数,实施同等的保护,无法满足个体对隐私的偏好.提出基于分组随机化的隐私保护频繁模式挖掘方法（grouping-based randomization for privacy preserving frequent pattern mining,简称GR-PPFM）.该方法根据不同个体的隐私保护要求进行分组,为每一组数据设置不同的隐私保护级别和与之相适应的随机化参数.在合成数据和真实数据中的实验结果表明：相对于统一单参数随机化mask,分组多参数随机化GR-PPFM不仅能够满足不同群体多样化的隐私保护需求,还能在整体隐私保护度相同情况下提高挖掘结果的准确性.     

基于FP-Tree的反向频繁项集挖掘

在拓展现有反向频繁挖掘问题定义,探索反向频繁项集的3个具体应用后,提出了一种基于FP-tree的反向频繁项集挖掘方法.该方法首先采用分治思想,将目标约束划分为若干子约束,每步求解一个子线性约束问题,经过若干步迭代后找到一个满足整个给定约束的目标FP-tree;然后根据目标FP-tree生成一个仅含频繁项的临时事务数据库TempD;最后通过向TempD中撒入非频繁项得到目标数据集.理论分析和实验表明该方法是正确的、高效的,且与现有方法仅能输出1个目标数据集相比,该方法能够输出较多的目标数据集.     

带学习的同步隐私保护频繁模式挖掘

为了提高挖掘结果的准确性,提出基于样例学习和项集同步随机化的隐私保护频繁模式挖掘方法(learning and synchronized privacy preserving frequent pattern mining,简称LS-PPFM).该方法充分利用不需要隐私保护的个体数据,首先对不需要保护的数据学习,得到样...     

基于前缀树的高效频繁项集挖掘算法

针对频繁项集挖掘时间与空间效率低的问题,提出一种基于前缀树的高效频繁项集挖掘算法,通过对事务集进行预处理,创建索引表并分配索引编号,保证前缀树中事务顺序的一致性,根据索引编号等信息创建紧凑的前缀树,采用自底向上的挖掘与投影的方式挖掘出频繁项集。实验结果表明,该算法挖掘效率高、占用空间少。     

基于隐私保护的数据挖掘

基于隐私保护的数据挖掘(PPDM)的目标是在保护原始数据的情况下建立挖掘模型并得到理想的分析结果。该文从PPDM的总体需求出发,基于数据隐藏,将PPDM技术分为安全多方计算技术、匿名技术和数据转换技术。从准确性、隐私性和复杂性3个方面对PPDM技术进行了评估。     

差分隐私下的一种频繁序列模式挖掘方法

频繁序列模式挖掘是数据挖掘领域的1个基本问题,然而模式本身及其支持度计数都有可能泄露用户隐私信息.差分隐私(differential privacy, DP)作为一种新出现的隐私保护技术,定义了一个相当严格的攻击模型,通过添加噪音使数据失真达到隐私保护的目的.由于序列数据内在序列性和高维度的特点,给差分隐私应用于频繁序列模式挖掘带来了挑战.对此提出了一种基于交互式差分隐私保护框架的频繁序列模式挖掘算法Diff-FSPM(differential-privacy frequent sequential pattern mining).该算法利用指数机制获取最优序列长度,并采用一种维规约策略获得原始序列数据集的规约表示,有效降低序列维度的影响;应用前缀树压缩频繁序列模式,利用拉普拉斯机制产生的噪音扰动频繁模式的真实支持度计数,同时采用闭频繁序列模式和Markov假设,有效分配隐私预算,并利用一致性约束后置处理,增强输出模式的可用性.理论角度证明算法满足ε-差分隐私,实验结果验证算法具有较好的可用性.     

基于基因表达式编程的频繁函数集挖掘

函数挖掘旨在从观测数据中发现有效的函数关系,传统的函数挖掘以发现单个函数为挖掘目标,难以处理复杂数据集．为解决上述问题,作者做了如下工作：（1）提出了描述能力更强的频繁函数集FFS概念;（2）提出并实现了基于基因表达式编程的频繁函数集挖掘算法FFSM（3）在GEP中采用了精度阈值队列策略PTQ,有效地提高了FFSM的成功率;（4）用实验证实了FFS更强的描述能力和PTQ的有效性,其中,在挖掘高精度复杂函数时PTQ使FFSM的成功率提高了55倍．     

增量式隐私保护数据挖掘研究*

描述隐私保护数据挖掘技术研究进展,对主流算法进行了分类。由于隐私保护关联规则挖掘算法EMASK对Apriori算法具有较高的依赖性,计算效率较低,同时也不适用于动态变化数据库。本文用粒度计算的思想对EMASK算法进行改进,利用位操作的方法来保证准确性不降低的情况下,减少了I/O操作的次数,降低空间开销,同时在生成频繁项集的时候,也记录了其在扭曲后数据中的支持度,减少了文件的访问次数,由此提高计算效率。针对现实世界事务数据库变化情况,利用增量式更新算法FUP技术解决增量式事务数据库频繁项集计算问题。结果证明,无论是固定增量集数据库还是可变增量集数据库处理中,BIEMASK相对于EMASK而言,效率时间都有较大幅度的提高。