| 数字标准平台中海量时空小文件合并策略研究 |
| |
| 引用本文： | 顾鑫,熊炼. 数字标准平台中海量时空小文件合并策略研究[J]. 计算机应用研究, 2014, 0(11) |
| |
| 作者姓名： | 顾鑫 熊炼 |
| |
| 作者单位： | 1. 湖北省标准化研究院,武汉,430061
2. 武汉大学 测绘遥感信息工程国家重点实验室,武汉,430079 |
| |
| 基金项目： | 国家自然科学基金资助项目 |
| |
| 摘 要： | 针对HDFS处理时空小文件效率不高的问题，从用户的访问规律和访问数据自身属性这两者之间的相关性上出发，将用户访问流看成对数据文件的请求序列，然后根据数据的时空属性参数化表示，并利用特征提取构建一个新的特征序列，最后通过序列模式挖掘PrefixSpan算法找到用户在不同访问模式下的特征模板，合并相关文件。实验结果表明，该合并策略有效地降低了NameNode内存占用率和响应时间，提高了读取效率。
|
| 关 键 词： | 数字标准平台 HDFS 小文件 时空数据 序列模式挖掘 |
Study on consolidation strategy of small temporal-spatial files in digital standard platform |
| |
| GU Xin,XIONG Lian. Study on consolidation strategy of small temporal-spatial files in digital standard platform[J]. Application Research of Computers, 2014, 0(11) |
| |
| Authors: | GU Xin XIONG Lian |
| |
| Abstract: | |
| |
| Keywords: | digital standard platform HDFS small file spatio-temporal data sequential pattern mining |
| 本文献已被 万方数据 等数据库收录！ |
