| 大数据环境下的分布式数据流实时处理技术研究 |
| |
| 作者姓名： | 梁肖 孙丽 |
| |
| 作者单位： | 河北政法职业学院计算机系,石家庄,050061;河北政法职业学院计算机系,石家庄,050061 |
| |
| 基金项目： | 河北省人力资源与社会保障厅研究课题“基于大数据的农村劳动力城镇转移就业渠道研究”;河北政法职业学院研究课题“电子商务专业学生自主创业问题;对策研究”;Research topic of Hebei Department of human resources and social security in 2016-Research on the transfer of employment channel based on large data in rural labor force;Research project of Hebei Professional College of Political Science and Low in 2016Research on the problems and Countermeasures of students' Entrepreneurship in E-commerce Major |
| |
| 摘 要： | 大数据背景下的海量分布式数据流处理技术要求较高的实时性和成功率。为了提高分布式环境下数据流实时处理的实时性,采用Hadoop分布式系统平台,提出了一种Map Reduce工作流实时调度优化方法。该方法采用2个相关参数来动态调整每个作业在队列中的重要程度,以便对工作流的优化做出动态的判断。此外,为了减少工作流整体的执行时间,对关键作业能否本地化进行判断和时间对比,从而尽量增加map任务的本地化。实验结果显示,提出的工作流实时调度优化方法在响应时间和调度成功率方面表现出较好的性能。
|
| 关 键 词： | 大数据 Map Reduce 工作流 分布式 调度方法 |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
