| 基于MapReduce和Spark的大数据主动学习比较研究 |
| |
| 引用本文： | 翟俊海,齐家兴,沈矗,宋丹丹,王谟瀚,田石.基于MapReduce和Spark的大数据主动学习比较研究[J].计算机工程与科学,2019,41(10):1715-1722. |
| |
| 作者姓名： | 翟俊海 齐家兴 沈矗 宋丹丹 王谟瀚 田石 |
| |
| 作者单位： | 河北省机器学习与计算智能重点实验室,河北 保定 071002;河北大学数学与信息科学学院,河北 保定 071002;河北省机器学习与计算智能重点实验室,河北 保定 071002;河北大学数学与信息科学学院,河北 保定 071002;河北省机器学习与计算智能重点实验室,河北 保定 071002;河北大学数学与信息科学学院,河北 保定 071002;河北省机器学习与计算智能重点实验室,河北 保定 071002;河北大学数学与信息科学学院,河北 保定 071002;河北省机器学习与计算智能重点实验室,河北 保定 071002;河北大学数学与信息科学学院,河北 保定 071002;河北省机器学习与计算智能重点实验室,河北 保定 071002;河北大学数学与信息科学学院,河北 保定 071002 |
| |
| 基金项目： | 国家自然科学基金(71371063)；河北省重点研发计划项目（19210310D）；河北省自然科学基金(F2017201026)；河北大学研究生创新资助项目（hbu2019ss077） |
| |
| 摘 要： | 在我们以前的工作中,提出了基于MapReduce的大数据主动学习算法。在本文中,将这一算法移植到Spark环境,提出了基于Spark的大数据主动学习算法,并对基于MapReduce和Spark的2种大数据主动学习算法从运行时间、文件数目、同步数目和内存耗费4个方面进行了比较研究,得出了一些有价值的结论,这些结论将为相关研究人员提供很好的帮助。
|
| 关 键 词： | 大数据 机器学习 主动学习 样例选择 开源框架 |
| 收稿时间： | 2019-04-20 |
| 修稿时间： | 2019-10-25 |
Comparative study of big data active learning
based on MapReduce and Spark |
| |
| ZHAI Jun-hai,QI Jia-xing,SHEN Chu,SONG Dan-dan,WANG Mo-han,TIAN Shi.Comparative study of big data active learning
based on MapReduce and Spark[J].Computer Engineering & Science,2019,41(10):1715-1722. |
| |
| Authors: | ZHAI Jun-hai QI Jia-xing SHEN Chu SONG Dan-dan WANG Mo-han TIAN Shi |
| |
| Affiliation: | (1.Hebei Key Laboratory of Machine Learning and Computational Intelligence,Baoding 071002;
2.College of Mathematics and Information Science,Hebei University,Baoding 071002,China) |
| |
| Abstract: | In our previous work, a big data active learning algorithm based on MapReduce was proposed. In this paper, we transplant this algorithm into the Spark environment and propose a Spark based big data active learning algorithm. Furthermore, the two algorithms are experimentally compared on four aspects: running time, number of files, number of synchronizations, and memory cost. Some valuable conclusions are obtained,which can be very helpful to researchers in the related fields. |
| |
| Keywords: | big data machine learning active learning instance selection open source framework |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《计算机工程与科学》浏览原始摘要信息 |
|
点击此处可从《计算机工程与科学》下载全文 |
|
