| Hadoop-MapReduce下的PageRank矩阵分块算法 |
| |
| 引用本文： | 李远方,邓世昆,闻玉彪,韩月阳. Hadoop-MapReduce下的PageRank矩阵分块算法[J]. 计算机技术与发展, 2011, 21(8) |
| |
| 作者姓名： | 李远方 邓世昆 闻玉彪 韩月阳 |
| |
| 作者单位： | 云南大学信息学院,云南昆明,650091 |
| |
| 基金项目： | 云南省自然科学基金，云南大学研究生科研课题资助项目 |
| |
| 摘 要： | PageRank是Web结构挖掘的经典算法,已在Google搜索引擎中取得了巨大成功.但其迭代次数多,时空消耗大,执行速度和收敛速度都还较慢.文中详细讨论了Hadoop-MapReduce的执行流程及其内部实现机制后,提出了一种并行MapReduce实现矩阵分块的PageRank算法,其实质是减少MapReduce框架结构中Map阶段和Reduce阶段的迭代次数,从而减少时空开销.最后搭建Hadoop-MapReduce开源平台,模拟Web结构爬取,比较了传统算法和改进算法的性能.结果表明,改进后的算法迭代次数低,并行效率较高,在模拟环境中PgeRank标识网页等级显示其优越性.
|
| 关 键 词： | PageRank MapReduce Hadoop 矩阵分块 |
PageRank Matrix Partitioned Algorithm Using Hadoop-MapReduce |
| |
| LI Yuan-fang,DENG Shi-kun,WEN Yu-biao,HAN Yue-yang. PageRank Matrix Partitioned Algorithm Using Hadoop-MapReduce[J]. Computer Technology and Development, 2011, 21(8) |
| |
| Authors: | LI Yuan-fang DENG Shi-kun WEN Yu-biao HAN Yue-yang |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
