| Hadoop云构架的智能调度无损集群压缩技术 |
| |
| 引用本文： | 屈志坚,郭亮,陈秋琳,蒋俊俊.Hadoop云构架的智能调度无损集群压缩技术[J].电力系统自动化,2013,37(18):93-98. |
| |
| 作者姓名： | 屈志坚 郭亮 陈秋琳 蒋俊俊 |
| |
| 作者单位： | 华东交通大学电气与电子工程学院，江西省南昌市330013;华东交通大学电气与电子工程学院，江西省南昌市330013;北京太格时代自动化系统设备有限公司，北京市100054;华东交通大学电气与电子工程学院，江西省南昌市330013 |
| |
| 基金项目： | 国家自然科学基金;江西省教育厅科技研究项目 |
| |
| 摘 要： | 针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,提出了一种基于云架构的无损集群压缩新方法。对字典编码和统计编码的无损压缩进行了分类比较,利用云计算节点的集群网络配置方式进行调度主机和监控服务器的部署,在集群数据节点中融入无损压缩,建立调度监控信息的无损集群压缩实验环境。利用调度端的断面量测记录进行测试研究,得出:对于相同断面记录集的无损压缩,BZip2格式的集群压缩比优于Deflate和Gzip格式。对不同断面记录集的BZip2集群压缩结果表明:在断面记录超过3×106以上时,压缩比达到81.1%,相对传统无损压缩方法提高30%以上。
|
| 关 键 词： | 智能调度 Hadoop构架 云计算节点 无损压缩 压缩比 |
| 收稿时间： | 2013/1/18 0:00:00 |
| 修稿时间： | 8/9/2013 12:00:00 AM |
Intelligent Dispatching Lossless Cluster Compression Technology Based on Hadoop Cloud Framework |
| |
| QU Zhijian,GUO Liang,CHEN Qiulin and JIANG Junjun.Intelligent Dispatching Lossless Cluster Compression Technology Based on Hadoop Cloud Framework[J].Automation of Electric Power Systems,2013,37(18):93-98. |
| |
| Authors: | QU Zhijian GUO Liang CHEN Qiulin and JIANG Junjun |
| |
| Affiliation: | QU Zhijian;GUO Liang;CHEN Qiulin;JIANG Junjun;School of Electrical and Electronic Engineering,East China Jiaotong University;Beijing Togest Automation System Equipment Co.Ltd.; |
| |
| Abstract: | |
| |
| Keywords: | intelligent dispatching Hadoop framework cloud computing node lossless compression compression ratio |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《电力系统自动化》浏览原始摘要信息 |
|
点击此处可从《电力系统自动化》下载全文 |
