| 基于MapReduce和分布式缓存的KNN分类算法研究 |
| |
| 引用本文： | 涂敬伟,皮建勇.基于MapReduce和分布式缓存的KNN分类算法研究[J].微型机与应用,2015(2):18-21. |
| |
| 作者姓名： | 涂敬伟 皮建勇 |
| |
| 作者单位： | 贵州大学计算机科学与信息学院;贵州大学云计算与物联网研究中心 |
| |
| 摘 要： | 随着大数据时代的到来,K最近邻(KNN)算法较高的计算复杂度的弊端日益凸显。在深入研究了KNN算法的基础上,结合Map Reduce编程模型,利用其开源实现Hadoop,提出了一种基于Map Reduce和分布式缓存机制的KNN并行化方案。该方案只需要通过Mapper阶段就能完成分类任务,减少了Task Tracker与Job Tracker之间的通信开销,同时也避免了Mapper的中间结果在集群任务节点之间的通信开销。通过在Hadoop集群上实验,验证了所提出的并行化KNN方案有着优良的加速比和扩展性。
|
| 关 键 词： | KNN分类算法 并行化 MapReduce编程模型 Hadoop 分布式缓存 |
Parallelized K-nearest neighbor algorithm based on MapReduce and distributed cache |
| |
| Tu Jingwei;Pi Jianyong.Parallelized K-nearest neighbor algorithm based on MapReduce and distributed cache[J].Microcomputer & its Applications,2015(2):18-21. |
| |
| Authors: | Tu Jingwei;Pi Jianyong |
| |
| Affiliation: | Tu Jingwei;Pi Jianyong;College of Computer Science and Information, Guizhou University;Research Centre of Cloud Computing and Internet of Things, Guizhou University; |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 等数据库收录！ |
