| 基于Hadoop的Apriori改进算法研究 |
| |
| 引用本文： | 黄剑,李明奇,郭文强.基于Hadoop的Apriori改进算法研究[J].计算机科学,2017,44(7):262-266, 269. |
| |
| 作者姓名： | 黄剑 李明奇 郭文强 |
| |
| 作者单位： | 电子科技大学数学科学学院 成都611731,电子科技大学数学科学学院 成都611731,新疆财经大学计算机科学与工程学院 乌鲁木齐830012 |
| |
| 基金项目： | 本文受国家自然科学基金(61163066)资助 |
| |
| 摘 要： | 对于规模庞大的事务数据库,传统的并行Apriori算法在挖掘中会在数据IO上有较大的时间开销。 从压缩事务、减少扫描次数、简化候选集生成3个方面对Apriori算法进行改进。提出了以元素“0”和“1”表示事务的布尔矩阵模型,并引入权值维度,压缩了相同事务的矩阵规模。同时,动态地进行剪枝,矩阵的“与”运算用于候选集合的生成。将改进后的算法在Hadoop框架上进行并行化实现,实验表明该算法适合大规模数据挖掘且具有良好的伸缩性与有效性。
|
| 关 键 词： | Apriori算法 事务数据库 布尔矩阵 Hadoop |
| 收稿时间： | 2016/6/20 0:00:00 |
| 修稿时间： | 2016/9/14 0:00:00 |
Reseach on Improved Apriori Algorithm Based on Hadoop |
| |
| HUANG Jian,LI Ming-qi and GUO Wen-qiang.Reseach on Improved Apriori Algorithm Based on Hadoop[J].Computer Science,2017,44(7):262-266, 269. |
| |
| Authors: | HUANG Jian LI Ming-qi and GUO Wen-qiang |
| |
| Affiliation: | School of Mathematical Sciences,University of Electronic Science and Technology of China,Chengdu 611731,China,School of Mathematical Sciences,University of Electronic Science and Technology of China,Chengdu 611731,China and School of Computer Science and Engineering,Xinjiang University of Finance & Economics,Urumqi 830012,China |
| |
| Abstract: | |
| |
| Keywords: | Apriori algorithm Transaction database Boolean matrix Hadoop |
|
|
点击此处可从《计算机科学》下载全文 |
|
