| 支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议 |
| |
| 引用本文： | 魏晓辉,李翔,李洪亮,李聪,庄园,于洪梅.支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议[J].吉林大学学报(工学版),2016(4):1222-1231. |
| |
| 作者姓名： | 魏晓辉 李翔 李洪亮 李聪 庄园 于洪梅 |
| |
| 作者单位： | 吉林大学计算机科学与技术学院;吉林大学符号计算与知识工程教育部重点实验室 |
| |
| 基金项目： | 国家自然科学基金项目(61170004);国家深部探测技术与实验研究专项项目(SinoProbe-09-01);高等学校博士学科点专项科研基金项目(20130061110052);吉林省科技发展计划重点科技攻关项目(20140204013GX) |
| |
| 摘 要： | 针对现阶段大规模流数据在线处理的广泛需求,本文提出了弹性在线MapReduce流数据处理模型及相关的动态拓扑结构协议。该模型兼容现有MapReduce模型,采用内存计算模式,并具有动态的作业拓扑结构,支持大规模流数据处理作业在运行过程中的弹性调整,从而满足流数据的时效性、动态性和突发性等特殊要求。在弹性在线MapReduce模型的基础上建立了流数据处理作业动态拓扑结构管理机制,设计了作业在线初始化协议和在线调整协议。为进一步提高系统灵活性和整合资源,提出了作业间的操作共享概念,设计了作业共享协议。通过协议分析,本文提出的在线初始化协议、在线动态调整协议及作业共享协议的最大复杂度均为O(n);在数据流量发生突发性变化时,系统具有良好的可伸缩性。
|
| 关 键 词： | 计算机系统结构 流数据处理 内存计算 MapReduce 拓扑结构 操作共享 |
| 本文献已被 CNKI 等数据库收录！ |
|
