首页 | 本学科首页   官方微博 | 高级检索  
     

用MapReduce实现天文星表交叉认证*
引用本文:宋烜,韩冀中,王凯,高建.用MapReduce实现天文星表交叉认证*[J].计算机应用研究,2010,27(10):3740-3743.
作者姓名:宋烜  韩冀中  王凯  高建
作者单位:1. 北京天文馆,信息中心,北京,100044
2. 中国科学院计算技术研究所,北京,100190
3. 北京师范大学,天文系,北京,100875
基金项目:北京市自然科学基金资助项目(1052008)
摘    要:天文星表的交叉认证是天文研究中非常重要的基础工作。新巡天项目和更强大望远镜的投入使用,使天文数据爆炸增长,数据量的增加使得两个星表之间的交叉认证变得非常耗时。描述了如何利用MapReduce实现并行天文星表交叉认证,综合考虑了算法与体系结构的匹配问题,并给出了在大数据天文星表交叉认证工作的性能评估,通过与广泛使用的PostgreSQL数据库的比较,证明了基于MapReduce交叉认证方法的有效性。

关 键 词:映射化简    交叉认证    并行    大规模

MapReduce for astronomical cross-matching
SONG Xuan,HAN Ji-zhong,WANG Kai,GAO Jian.MapReduce for astronomical cross-matching[J].Application Research of Computers,2010,27(10):3740-3743.
Authors:SONG Xuan  HAN Ji-zhong  WANG Kai  GAO Jian
Abstract:As a basic and indispensable step, the astronomical cross-match is facing a data avalanche. With the completion of new sky survey projects and powerful telescopes, current cross-matching methods cannot be performed on demand for large scale astronomical data sets. This paper introduced MapReduce framework to solve this problem. It carefully considered the mapping of cross-matching algorithm on map and reduce phases. Performance evaluation shows that the MapReduce-based cross-matching can outperform the traditional one on PostgreSQL. As the knowledge, it is the first effort to adopt MapReduce for astronomical cross-matching problem.
Keywords:MapReduce  cross-matching  parallel  large-scale
本文献已被 万方数据 等数据库收录!
点击此处可从《计算机应用研究》浏览原始摘要信息
点击此处可从《计算机应用研究》下载全文
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号