| 基于文件拆分和缓存预测的日志文件传输算法 |
| |
| 引用本文： | 马赛牧,王晶. 基于文件拆分和缓存预测的日志文件传输算法[J]. 电信工程技术与标准化, 2013, 0(8): 71-78 |
| |
| 作者姓名： | 马赛牧 王晶 |
| |
| 作者单位： | [1]北京邮电大学网络与交换技术国家重点实验室,北京100876 [2]东信北邮信息技术有限公司,北京100191 |
| |
| 基金项目： | 国家973计划项目（No.2013CB329100,2013CB329102）; 国家自然科学基金（No.61271019,61101119,61121001,61072057,60902051）; 长江学者和创新团队发展计划资助（No.IRT1049） |
| |
| 摘 要： | 当今的云计算平台和大型网站在运行时都会产生大量的日志文件,这些日志文件一般都具有收集分析的价值,所以在日志文件的收集过程中就出现了大日志文件的传输问题。本文要解决的问题就是如何使日志文件能够快速的传输到接收端。为此本文在研究了当前已经有的大数据传输办法之后,针对日志文件提出了与传输协议无关的新算法:文件拆分和预测算法。该算法主要由两部分组成:首先对日志文件进行拆分,拆分成包含描述性信息的文件和包含数据的文件,消除了文件中的冗余信息;然后在传输过程中通过预测接收端缓存的数据来达到消除传输过程中的冗余信息的目的。经过实验检验,本文设计的算法能够将实际传输的数据量降低90%以上。
|
| 关 键 词： | 文件传输 fingerprint 消除冗余 云计算 |
Journal file transmission algorithm based file splitting and buffer memory prediction |
| |
| MA Sai-mu,WANG Jing. Journal file transmission algorithm based file splitting and buffer memory prediction[J]. Telecom Engineering Technics and Standardization, 2013, 0(8): 71-78 |
| |
| Authors: | MA Sai-mu WANG Jing |
| |
| Affiliation: | 1 State Key Laboratory of Networking and Switching Technology,Beijing University of Posts and Telecommunications,Beijing 100876,China;2 EBUPT Information Technology Co.,Ltd.,Beijing 100083,China) |
| |
| Abstract: | As networks and transmission are becoming increasingly important for computational science,we are working on proposing a journal file transmission algorithm.This new algorithm focusing on optimizing the performance of journal file transmission is independent of transport protocols.Our approach includes two components： the file splitting and buffer memory prediction.The file splitting performs file compression and redundancy elimination,and the buffer memory prediction avoids transferring the redundant data.Experimental results verify that the journal file transmission algorithm can effectively eliminate the redundancy in the journal file and reduce the amount of data transmission by 9.0%. |
| |
| Keywords: | file transmission fingerprint redundancy elimination cloud computing |
| 本文献已被 CNKI 维普 等数据库收录！ |
|
