| 海量高维向量的并行Top-k连接查询 |
| |
| 引用本文： | 马友忠,慈祥,孟小峰. 海量高维向量的并行Top-k连接查询[J]. 计算机学报, 2015, 38(1) |
| |
| 作者姓名： | 马友忠 慈祥 孟小峰 |
| |
| 作者单位： | 1. 中国人民大学信息学院 北京100872;洛阳师范学院信息技术学院 河南洛阳471022
2. 中国人民大学信息学院 北京100872 |
| |
| 基金项目： | 国家自然科学基金，国家“八六三”高技术研究发展计划项目基金，高等学校博士学科点专项科研基金，中国人民大学科学研究基金，This research was partially supported by the grants from the Natural Science Foundation of China，the National High Technology Research and Development Program(863 Program) of China，Specialized Research Fund for the Doctoral Program of Higher Education，the Fundamental Research Funds for the Central Universities |
| |
| 摘 要： | 在很多应用领域中,向量的Top-k连接查询是一种很重要的操作,给定两个向量集合R和S,Top-k连接查询要求从R和S中返回距离最小的前k个向量对.由于数据的海量性和高维特性,传统的集中式算法已经无法在可接受的时间内完成连接查询任务.MapReduce作为一个并行处理框架,能够有效地处理大规模数据.由于其高可扩展性、高可用性等特点,MapReduce已经成为海量数据处理的首选实现方案,在很多领域都得到了广泛的应用.文中基于分段累积近似法对高维向量进行降维,然后利用符号累积近似法对高维向量进行分组;在此基础上,结合MapReduce框架,提出了基于SAX的并行Top-k连接查询算法.实验表明,文中所提方案具有良好的性能和扩展性.
|
| 关 键 词： | 高维向量 MapReduce框架 Top-k连接查询 大数据 |
Parallel Top-k Join on Massive High-Dimensional Vectors |
| |
| MA You-Zhong,CI Xiang,MENG Xiao-Feng. Parallel Top-k Join on Massive High-Dimensional Vectors[J]. Chinese Journal of Computers, 2015, 38(1) |
| |
| Authors: | MA You-Zhong CI Xiang MENG Xiao-Feng |
| |
| Abstract: | |
| |
| Keywords: | high-dimensional vector MapReduce framework Top-k join query big data |
| 本文献已被 万方数据 等数据库收录！ |
|
