| 一种异构集群中能量高效的大数据处理算法 |
| |
| 引用本文： | 丁有伟,秦小麟,刘亮,王涛春.一种异构集群中能量高效的大数据处理算法[J].计算机研究与发展,2015,52(2):377-390. |
| |
| 作者姓名： | 丁有伟 秦小麟 刘亮 王涛春 |
| |
| 作者单位： | 南京航空航天大学计算机科学与技术学院 南京 210016 |
| |
| 基金项目： | 国家自然科学基金项目，教育部高等学校博士学科点博导基金资助项目，江苏高校优势学科建设工程资助项目，中央高校基本科研业务费专项基金项目 |
| |
| 摘 要： | 集群的能量消耗已经超过了其本身的硬件购置费用,而大数据处理需要大规模的集群耗费大量时间,因此如何进行能量高效的大数据处理是数据拥有者和使用者亟待解决的问题,也是对能源和环境的一个巨大挑战.现有的研究一般通过关闭部分节点以减少能量消耗,或者设计新的数据存储策略以便实施能量高效的数据处理.通过分析发现即便使用最少的节点也存在很大的能源浪费,而新的数据存储策略对于已经部署好的集群会造成大规模的数据迁移,消耗额外的能量.针对异构集群下I/O密集型的大数据处理任务,提出一种新的能量高效算法MinBalance,将问题分为节点选择和负载均衡两个步骤.在节点选择阶段采用4种不同的贪心策略,充分考虑到节点的异构性,尽量选择最合适的节点进行任务处理;在负载均衡阶段对选择的节点进行负载均衡,以减少各个节点因为等待而造成的能量浪费.该方法具有通用性,不受数据存储策略的影响.实验表明MinBalance方法在数据集较大的情况下相对于传统关闭部分节点的方法可以减少超过60%的能量消耗.
|
| 关 键 词： | 大数据 能量高效 异构性 云计算 负载均衡 |
An Energy Efficient Algorithm for Big Data Processing in Heterogeneous Cluster |
| |
| Ding Youwei,Qin Xiaolin,Liu Liang,Wang Taochun.An Energy Efficient Algorithm for Big Data Processing in Heterogeneous Cluster[J].Journal of Computer Research and Development,2015,52(2):377-390. |
| |
| Authors: | Ding Youwei Qin Xiaolin Liu Liang Wang Taochun |
| |
| Affiliation: | Ding Youwei;Qin Xiaolin;Liu Liang;Wang Taochun;College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics; |
| |
| Abstract: | |
| |
| Keywords: | big data energy efficiency heterogeneity cloud computing workload balance |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
