时序关系下的闭合序列模式挖掘算法

序列挖掘算法产生冗余序列,造成其运行时间过长.对此,提出了一种新的闭合序列挖掘算法——时序关系下的闭合序列模式挖掘算法.依据闭合序列模式的性质,通过比较频繁序列与每个1-项频繁序列之间的时序关系,推断频繁序列模式是否可扩展.基于IBM公司的合成数据,将其与闭合序列模式挖掘算法进行比较,实验结果表明,这种新的闭合序列挖掘算法可以有效降低运行时间且不易受到属性值个数的影响.     

面向聚类挖掘的个性化隐私保护算法

针对数据挖掘过程中隐私保护问题,本文提出一种面向聚类挖掘的个性化隐私保护算法。该算法界定了隐私度概念及其编码表示,并构造了由原始数据和隐私度共同描述的隐私数据模型。同时对隐私数据进行拓扑分类以获得隐私数据敏感性的线序集。该算法在原始数据、隐私度、元组敏感度、隐私线序集等视图上进行多视图聚类,结合可变k-匿名策略提出面向多视图聚类的满足个性化需求的隐私保护算法,以对不同聚类簇以及同簇内部元组施加程度有别的个性化保护操作。该算法在一定程度上降低了隐私数据在聚类挖掘过程中泄漏的风险。实验结果表明该算法具有较低的信息损失和较好的运行效率,实验验证了所提算法的可行性。     

隐私保护分类数据挖掘研究

随着数据挖掘应用领域的扩大,隐私保护的数据挖掘技术研究变得越来越重要．作为隐私保护数据挖掘的主要类型——隐私保护的分类数据挖掘已经成为近年来数据挖掘领域的热点之一．如何对原始数据进行变换,然后在变换后的数据集上构造判定树是隐私保护分类数据挖掘研究的重点．基于随机扰动矩阵提出一种隐私保护分类挖掘算法．该方法适用于字符型、布尔类型、分类类型和数字类型的离散数据,并且在隐私信息的保护度和挖掘结果的准确度上都有很大的提高．     

基于快速隐私保护关联规则的挖掘算法

随着数据库规模的日益增大,关联规则挖掘需要在挖掘效率、可用性、隐私性及精确性等方面得到提升,需要对传统的关联规则挖掘算法进行更新和改进。在传统的Apriori算法基础上,提出了一种新的在关系数据库中挖掘关联规则的算法。该算法只需扫描一次数据库即可得到频繁项集,并通过非频繁项集来减少候选项集的生成,从而提高了算法的运算效率;此外,该算法将包含敏感数据事务做相关的处理,以达到隐藏包含敏感数据的关联规则。理论分析和实验结果表明,新算法不仅提高了关联规则挖掘的效率,而且还达到了隐藏包含敏感规则的目的。     

基于差分隐私的敏感数据挖掘技术研究

基于加密的数据挖掘技术往往计算复杂度太高,而差分隐私作为一种数据扰动技术,既能有效降低计算复杂度,又能让使用者分析数据的整体价值。简要分析了差分隐私在具有敏感信息的智能数据挖掘系统中的相关技术。首先,介绍了差分隐私的基本概念;其次,针对频繁项挖掘、回归与分类以及深度学习,分别介绍了差分隐私在敏感数据挖掘中的应用;最后,对比了最新研究方法的性能和优缺点,为进一步研究隐私保护数据挖掘技术提供相关参考。     

基于图的频繁项集挖掘

通过对Apriori算法的频繁项目集的分析研究,给出了基于图的频繁项集挖掘算法．该算法在求频繁K-项集的过程中只需一次扫描数据库,避免了Apriori算法需多次扫描数据库的不足。同时,由于在有向图中利用有限节点之间的路径求频繁K-项集,该算法减少了Apriori算法中需多次进行连接运算的不足。     

增量式频繁闭合序列挖掘算法

在许多场合挖掘频繁闭合序列时,输入串数据库呈现实时动态增长的特点.分析Bide算法,给出并证明了闭合序列前缀中任意一个项目的后向扩展事件（BEE）项目交集随前缀的生长单调不增的定理,据此对BEE累计操作进行了优化,使其性能平均提高了48%.定义了闭合序列树作为频繁闭合序列的表示形式,并阐述了它的3个性质.分析发现,当新增输入串不同时包含前缀串和频繁项目时,两次连续挖掘的结果是相同的,给出了相应的定理和证明,据此实现了增量式频繁闭合序列挖掘算法BideInc.实验验证了BideInc算法的正确性,使用该算法后挖掘性能平均提高了47%.     

运用哈希技术进行关联规则挖掘

以前基于支持度一置信度框架的关联规则挖掘算法都是先用支持度做为阈值对搜索结果进行剪枝 ,产生频繁集 ,再针对频繁集产生关联规则 ,这就是频繁关联规则。然而在很多应用中 ,诸如 :鉴别相似的Web文件、网络中入侵检测等 ,有许多有趣的关联规则仅有很少的支持度。在本文中 ,针对这种情况 ,提出了一种可以挖掘非频繁项之间有趣规则的算法 ,此算法先用相似度作为兴趣度度量对算法结果进行剪枝     

关联规则挖掘算法研究及改进

关联规则挖掘是数据挖掘及知识发现领域的重要研究内容之一,其核心任务是挖掘数据库中的频繁项集.Apriori算法是频繁项集挖掘的有效算法.在Apriori的算法中,采用哈希树存储平凡项集的候补项集以便快速计算其支持度.本文在分析算法所存在的效率瓶颈的基础上,提出了一个有效的改进算法,通过利用一维数组替代算法中复杂的哈希树...     

一种新的频繁集的挖掘算法

频繁集的挖掘问题是数据挖掘的关键问题，本文提出了一种基于频繁树的挖掘频繁集的新方法，该算法从频繁项开始搜索、筛选产生符合要求的频繁结点，构成频繁树，通过有效的筛选方法和独特的构成策略，大大的减少了候选集的数量。也方便产生支持度更高的频繁集。     

基于FP-tree的快速数据挖掘算法

针对挖掘全局频繁项集的算法大多采用的类Apriori算法存在通信量大、同步次数和数据库扫描次数较多等问题,提出了一种基于频繁模式树的快速挖掘全局频繁项集算法（FAMGFI）．该算法让各计算机结点采用FP—growth算法独立地计算局部频繁项集,然后与中心结点交互实现数据汇总,最终获得全局频繁项集．FAMGFI算法采用自顶向下和自底向上策略,能大大降低通信量．理论分析和实验结果表明FAMGFI算法是快速而有效的．     

分布式数据库全局最大频繁项集增量更新算法

随着分布式数据库记录的不断增加,需要对已挖掘出的全局最大频繁项集进行增量更新。在已经提出的快速挖掘全局最大频繁项集算法(FMMFI)的基础上,提出了分布式数据库全局最大频繁项集增量更新算法(IUGMFI)。IUGMFI算法利用了FMMFI算法已经挖掘出的分布式数据库全局频繁项目和全局最大频繁项集。挖掘增量数据库的全局频繁项目,构建增量数据库的FP-tree,挖掘出增量数据库的全局最大频繁项集,采用自上而下的剪枝策略更新全局最大频繁项集。理论分析和实验结果表明,IUGMFI算法是快速而有效的。     

正相关频繁项集的挖掘算法

由频繁项集产生的关联规则往往不能保证规则前、后件中的项是正相关的,因此可能产生无意义的关联规则;当这些关联规则用于分类时,会产生大量无用分类规则,增加了时间开销.因此,基于数学期望提出了正相关的频繁项集的分类算法.该算法在挖掘正相关频繁项集时,利用置信度进行规则选取,生成正相关关联规则组成的分类器对数据集进行分类.实验表明,这种分类算法可以大幅度减少所产生的频繁项集数量,分类准确率达到C4.5和CMAR的水平,且显著减少了算法的时间.     

一种改进的Apriori算法

Apriori算法是挖掘关联规则频繁项集的最有影响的算法之一,它通过连接、剪枝等步骤产生频繁项集,进而产生强关联规则。由于面临海量数据,因此将会产生大量的候选项集,尤其是候选2-项集,严重影响了挖掘的效率。提出了一种改进的算法,此算法不产生小项候选集而直接产生大项候选集,从而提高了算法的效率。     

MapReduce框架下Aprioi算法的改进

海量数据利用传统Apriori算法进行挖掘会浪费大量存储空间和通信资源,导致算法效率低下,因此,提出MapReduce框架下Aprioi算法的改进方法,首先采用水平划分的方法将MapReduce数据库分成n个独立的数据块,然后发送到采用动态负载均衡划分的m个工作节点上。每个节点扫描各自的数据块,产生局部候选频繁项集,计算每个候选频繁项集的支持度阈值并与最小支持度阈值进行比较以确定最终的频繁项集。改进后的算法可以减少各个节点之间的数据流动,只需要扫描两次事务数据库就能挖掘出全部频繁项集,节省扫描时间和存储空间,提高挖掘效率。     

Apriori算法的改进

针对Apriori算法要多次扫描事务数据库以及生成大量候选集缺陷,在候选集C_1中增加事务标识符列表Tid_list实现只扫描一遍事务数据库,利用频繁项目集的性质来减少生成候选集的数量,提高了算法效率.     

多维数据流最大频集挖掘模型和算法

为了挖掘到有价值的信息,需要挖掘多维数据流上的频繁项目集,因此引入多维项目和多维项目集的概念表示多维数据流上的项目.设计了一种紧凑、压缩的数据结构MaxFP-Tree用于维护多维项目集,并在MaxFP-Tree的基础上设计了挖掘多维数据流上最大频集的增量式更新算法.实验结果表明,设计的挖掘多维数据流中最大频集的模型和算法是高效的.     

一种改进的基于关联图的关联规则挖掘算法

关联规则是数据挖掘研究的一个重要课题 ,而最大频繁项集的生成是影响关联规则挖掘的关键问题 .在已有的频繁集发现算法中 ,DLG算法通过减少事务数据库的扫描次数 ,进而有效减少挖掘过程的I/O代价 .在阐述DLG算法的实现原理与执行过程的基础上 ,为进一步减少候选项集的数量 ,提出一种改进算法DLG .其主要思想是在关联图构造阶段 ,统计每一个频繁项目的入度 ,以此作为剪枝的依据 .性能分析和比较试验的结果表明该算法性能优良