| 低内存占用的分布式top-k监测算法 |
| |
| 引用本文： | 冯大伟,孙瑞志,曹振丽. 低内存占用的分布式top-k监测算法[J]. 计算机工程与设计, 2015, 0(3): 658-663 |
| |
| 作者姓名： | 冯大伟 孙瑞志 曹振丽 |
| |
| 作者单位： | 1. 农业部农业信息获取技术重点实验室,北京,100083
2. 农业部农业信息获取技术重点实验室，北京100083; 中国农业大学烟台研究院，山东烟台264670 |
| |
| 基金项目： | 国家科技支撑计划基金项目(2012BAK17B09、2012BAJ18B07) |
| |
| 摘 要： | 为提高大数据背景下面向数据流的分布式to p‐k监测的实时性和可用性，对监测多个数据流的分布式系统处理数据的过程进行研究，提出一种低内存占用的分布式to p‐k监测算法。通过使用有限的内存空间对原本杂乱分布于各节点的关键数据进行重新调整，对数据处理过程中可能遇到的各种情形进行分类，依照调整结果和分类结果指定相应的处理流程，使很大一部分数据更新操作可以不依靠网络通信，或仅依靠少量网络通信来完成，有效减少监测过程中的网络通信量，在保证监测实时性的前提下提高系统的可用性。实验结果表明，该算法是有效可行的。
|
| 关 键 词： | top-k 在线监测 低内存 数据流 分布式 大数据 |
M emory-saving algorithm for distributed top-k monitoring |
| |
| FENG Da-wei , SUN Rui-zhi , CAO Zhen-li. M emory-saving algorithm for distributed top-k monitoring[J]. Computer Engineering and Design, 2015, 0(3): 658-663 |
| |
| Authors: | FENG Da-wei SUN Rui-zhi CAO Zhen-li |
| |
| Affiliation: | FENG Da-wei;SUN Rui-zhi;CAO Zhen-li;Key Laboratory of Agricultural Information Acquisition Technology,Ministry of Agriculture;Yantai Academy,China Agriculture University; |
| |
| Abstract: | |
| |
| Keywords: | top-k online monitoring memory-saving data stream distributed big data |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
