基于Spark字典表压缩存储的关联规则算法优化

针对大数据新型处理框架Spark执行Apriori算法存在速率低、内存负荷高等不足,提出一种改进的Apriori优化算法.基于字典表压缩存储的机制,结合Spark框架中列式存储模式对多维多属性值的数据集进行压缩,通过Spark集群进行数据并行处理.实验表明,该算法比原算法执行速率提高23％以上,且在数据量越大的情况下其优势更明显.该算法具有降低内存负荷量、去候选频繁项集、提高执行速率等优势,且解决了多维多属性值数据集的分析难题,具备一定的应用价值.     

基于二阶分段式的Apriori算法优化

针对数据的复杂多样性以及Apriori算法的低效问题,提出依托Spark计算框架的二阶分段式算法优化模型.基于K-Means方法设计并行聚类分析算法,采用该算法对多维多属性值数据类型进行聚类分析,提高数据差异性,降低数据规模.通过"字典表"化存储模式压缩数据量,采用"与"操作降低I/O和去候选频繁项集优化Apriori算法,利用优化后的Apriori算法挖掘聚类后数据的关联规则.通过算法分析及实验验证,当数据量达到"拐点"时优化后的算法模型相对于原Apriori算法执行效率提高47％以上,且不受数据复杂度和噪声影响,提高了规则的形成效率和鲁棒性.     

基于用户兴趣度的关联规则挖掘算法

经典Apriori关联规则挖掘算法需要多次扫描整个事务数据库,产生庞大的候选集。文章提出基于Apriori的IOIR算法,算法根据用户的兴趣,有选择的挖掘数据库,并通过对每个候选集进行支持数排序,从而减少扫描的数据量和扫描的时间。     

大规模轨迹数据并行化地图匹配算法

为解决大规模轨迹数据的地图匹配问题,提出一种并行化的地图匹配算法。该算法将数据转换为弹性分布式数据集,利用Spark算子并行化计算出轨迹点的匹配路段,对原始GPS轨迹点进行校正,并采用GeoHash编码对候选路段的选取进行优化。采用Spark集群平台和约14.7 GB的西安市出租车轨迹数据对方案的规模增长性、加速比和可扩展性等性能进行了实验分析,并与一种基于Hadoop的同类地图匹配算法进行了性能比较,实验结果显示所设计算法效率提高了约31倍,表明本方案有较大的改进。     

基于存储改进的分区并行关联规则挖掘算法

针对现有算法存储结构简单、生成大量冗余的候选集、时间和空间复杂度高,挖掘效率不理想的情况,为了进一步提高关联规则算法挖掘频繁集的速度,优化算法的执行性能,提出基于内存结构改进的关联规则挖掘算法。该算法基于Spark分布式框架,分区并行挖掘出频繁集,提出在挖掘过程中利用布隆过滤器进行项目存储,并对事务集和候选集进行精简化操作,进而达到优化挖掘频繁集的速度、节省计算资源的目的。算法在占用较少内存的条件下,相比于YAFIM和MR-Apriori算法,在挖掘频繁集效率上有明显的提升,不但能较好地提升挖掘速度,降低内存的压力,而且具有很好的可扩展性,使得算法可以应用到更大规模的数据集和集群,从而达到优化算法性能的目的。     

一种改进的Apriori算法

关联规则挖掘是数据挖掘研究领域中的一个重要任务,旨在挖掘事务数据库中有趣的关联。Apriori算法是关联规则挖掘中的经典算法。然而Apriori算法存在着产生候选项目集效率低和频繁扫描数据等缺点。提出了一种新的Apriori的改进算法,该算法在生成k(k>1)项频繁集时,不需要重新扫描数据库,只是在生成1项频集时,才需要扫描事务数据库,有效地减少了对事务数据库的读操作,在时间复杂度上较经典的Apriori算法有更加优越的性能。     

基于二进制编码的Apriori增量更新算法研究

针对经典Apriori算法在迭代过程中频繁扫描数据库,且动态数据更新后需要重新处理数据的不足,提出一种基于二进制编码的增量更新改进CBEF-Apriori算法。该算法的核心思想是将添加增量后的项集、事务转换成二进制编码,从而将计算项集支持度转化为项集与事务数据库的二进制编码位运算过程。改进算法筛选原数据库生成的频繁项集与增量数据库新生成的候选项集,有效减少了候选项集的规模,提高算法效率的同时更符合现实需要。实验结果表明,相比于经典Apriori算法和CBE-Apriori算法,改进算法在挖掘出正确频繁项集的数量不降低的情况下,明显提升了计算效率,在小数据规模下相比经典Apriori算法最高提升3.6倍,相比CBE-Apriori算法最高提升1.4倍。在较大数据规模下相比经典Apriori算法最高提升10.41倍,相比CBE-Apriori算法最高提升11.53倍。     

基于Apriori改进算法的入侵检测系统的研究

通过对经典Apriori算法的思想和性能的分析,针对算法中存在的项集生成瓶颈问题:连接步骤的存在,使空间的复杂度较大,提出了一种去掉连接步骤的非连接Apriori算法.该算法通过去掉频繁项集的自连接方式来降低生成的候选项集个数,从而减少扫描数据库的次数,以优化空间复杂度.实验结果表明,改进算法比经典Apriori算法执行效率明显提高.     

基于项编码的分布式频繁项集挖掘算法

Apriori算法是解决频繁项集挖掘最常用的算法之一,但多轮迭代扫描完整数据集的计算方式,严重影响算法效率且难以并行化处理。随着数据规模的持续增大,这一问题日益严重。针对这一问题,提出了一种基于项编码和Spark计算框架的Apriori并行化处理方法——IEBDA算法,利用项编码完整保存项集信息,在不重复扫描完整数据集的情况下完成频繁项集挖掘,同时利用Spark的广播变量实现并行化处理。与其他分布式Apriori算法在不同规模的数据集上进行性能比较,发现IEBDA算法从第一轮迭代后加速效果明显。结果表明,该算法可以提高大数据环境下的多轮迭代的频繁项集挖掘效率。     

Spark环境下的并行模糊C均值聚类算法

针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值(FCM)算法Spark-FCM。首先对矩阵通过水平分割实现分布式存储,不同向量存储在不同节点;然后基于FCM算法的计算特点,设计了分布式和缓存敏感的常用矩阵操作,包括乘法、转置和加法等;最后基于矩阵操作和Spark平台特点,设计了Spark-FCM算法,主要数据结构采用分布式矩阵存储,具有节点间数据移动少和每个步骤分布式计算特点。通过在单机和集群环境下测试,算法具有良好的可扩展性,并可以适应大规模数据集,算法性能与数据量成线性关系,集群环境下性能比单机提高2~3倍。     

HFIM: a Spark-based hybrid frequent itemset mining algorithm for big data processing

Frequent itemset mining is one of the data mining techniques applied to discover frequent patterns, used in prediction, association rule mining, classification, etc. Apriori algorithm is an iterative algorithm, which is used to find frequent itemsets from transactional dataset. It scans complete dataset in each iteration to generate the large frequent itemsets of different cardinality, which seems better for small data but not feasible for big data. The MapReduce framework provides the distributed environment to run the Apriori on big transactional data. However, MapReduce is not suitable for iterative process and declines the performance. We introduce a novel algorithm named Hybrid Frequent Itemset Mining (HFIM), which utilizes the vertical layout of dataset to solve the problem of scanning the dataset in each iteration. Vertical dataset carries information to find support of each itemsets. Moreover, we also include some enhancements to reduce number of candidate itemsets. The proposed algorithm is implemented over Spark framework, which incorporates the concept of resilient distributed datasets and performs in-memory processing to optimize the execution time of operation. We compare the performance of HFIM with another Spark-based implementation of Apriori algorithm for various datasets. Experimental results show that the HFIM performs better in terms of execution time and space consumption.     

基于矩阵约简的Apriori算法改进

 Apriori算法在搜索频繁项集过程中,通常需要对数据库进行多次的重复扫描和产生大量无用的候选集,针对此问题提出一种基于矩阵约简的Apriori改进算法。该算法只需扫描一次数据库,将数据库信息转换成布尔矩阵,根据频繁k-项集的性质推出的结论来约简数据结构,有效地降低无效候选项集的生成规模。通过对已有算法的对比,验证该算法能有效地提高挖掘频繁项集的效     

关联规则挖掘Apriori算法的研究与改进

关联规则挖掘是数据挖掘研究领域中的一个重要任务,旨在挖掘事务数据库中有趣的关联.Apriori算法是关联规则挖掘中的经典算法.然而Apriori算法存在着产生候选项目集效率低和频繁扫描数据等缺点.对Apriori算法的原理及效率进行分析,指出了一些不足,并且提出了改进的Apriori_LB算法.该算法基于新的数据结构,改进了产生候选项集的连接方法.在详细阐述了Apriori_LB算法后,对Apriori算法和Apriori_LB算法进行了分析和比较,实验结果表明改进的Apriori_LB算法优于Apriori算法,特别是对最小支持度较小或者项数较少的事务数据库进行挖掘时,效果更加显著.     

基于改进的关联规则挖掘算法的研究

A priori算法是经典的关联规则挖掘算法,它利用逐层搜索的迭代方法完成频繁模式的挖掘工作,反复进行连接剪枝操作,思路简单易操作,但也伴随着产生庞大候选集,多次扫描数据库产生巨大I/O开销的问题,提出一种改进算法:基于矩阵的关联规则挖掘算法,同A priori算法比较,该算法只需扫描一遍数据库,就可直接查找k-频繁项集,尤其是当频繁项集较高的时候,该算法具有更高的执行效率,在大数据量的情况下更具有可行性。     

一种基于单事务项集组合的频繁项集挖掘算法

Apriori是挖掘频繁项集的基本算法,目前该算法及其优化变种都没有解决候选项及重复扫描事务数据库的问题.文章通过对Apriori及其优化算法的深入探究,提出了一种基于单事务组合项集的挖掘算法,该算法在一个事务内部对"数据项"进行组合,在事务数据库中对所有相同"项集"进行计数.不经过迭代过程,不产生候选项集,所有频繁项集的挖掘过程只需对事务数据库一次扫描,提高了频繁项集挖掘效率.     

基于矩阵压缩的Apriori算法改进的研究

Apriori算法是利用关联规则进行数据挖掘的一种经典算法,但其具有产生大量候选项集和多次扫描数据库的缺点。鉴于此,提出了一种基于压缩矩阵的Apriori改进算法,通过扫描一次数据库,将其转化为布尔事务矩阵,按照相关性质对事务矩阵进行压缩,以减少算法的运算量。实验结果表明,改进算法在性能上得到了明显提高。     

BitTableFI: An efficient mining frequent itemsets algorithm

Mining frequent itemsets in transaction databases, time-series databases and many other kinds of databases is an important task and has been studied popularly in data mining research. The problem of mining frequent itemsets can be solved by constructing a candidate set of itemsets first, and then, identifying those itemsets that meet the frequent itemset requirement within this candidate set. Most of the previous research mainly focuses on pruning to reduce the candidate itemsets amounts and the times of scanning databases. However, many algorithms adopt an Apriori-like candidate itemsets generation and support count approach that is the most time-wasted process. To address this issue, the paper proposes an effective algorithm named as BitTableFI. In the algorithm, a special data structure BitTable is used horizontally and vertically to compress database for quick candidate itemsets generation and support count, respectively. The algorithm can also be used in many Apriori-like algorithms to improve the performance. Experiments with both synthetic and real databases show that BitTableFI outperforms Apriori and CBAR which uses ClusterTable for quick support count.     

一种关联规则挖掘算法-GBARM

Apriori算法是经典的频繁项目集生成算法,在数据挖掘界起着里程碑的作用。但是该算法要求多次扫描可能非常大的交易数据库。文章在Apriori算法的基础上,提出了一种改进的关联规则挖掘算法-GBARM。该算法能够使得每次扫描的事务数大大减少,并且能够逐步减小候选k-项集的规模,从而改善算法的性能。     

利用Hash树生成频繁项目集的新方法

频繁项目集的生成是关联规则挖掘中的关键问题 .提出基于 Hash树的频繁项目集生成新方法 ,探讨了 Hash树中候选项目集的数据组织与建立算法 ,提出了利用 Hash树计算候选项目集支持数的算法 ,并用 Java语言实现了该算法 ,最后通过实验验证了利用 Hash树生成频繁项目集的有效性     

基于改进Apriori算法的评教系统应用研究

指出了Apriroi算法的不足,并提出改进算法:在剪枝侯选项目集的时候,采用生成频繁项目集和删除具有非频繁子集候选同时进行的方法来减少多余子项目集的生成。这样,既提高了扫描数据库过程中的信息获取率,又及时删除超集不是频繁项目集的项集,进一步缩减项集的潜在规模,提高了频繁项目集即关联规则生成的效率。讨论了如何利用改进的Apriori算法对评教系统数据进行关联规则挖掘。