| 一种基于内容分块的层次化去冗优化策略 |
| |
| 作者姓名： | 李建江 马占宁 张凯 |
| |
| 作者单位： | 北京科技大学计算机科学与技术系,北京,100083;北京科技大学计算机科学与技术系,北京,100083;北京科技大学计算机科学与技术系,北京,100083 |
| |
| 摘 要： | 在过去的数十年中,信息数据量呈现指数级增长,如何存储和保护这些大量信息数据成为一个难题.云存储和冗余去重技术成为解决上述难题的主要技术.去冗技术在云存储系统中得到广泛应用,但主流的云存储系统存在索引信息的膨胀以及数据分块的不确定性等不足,而这些弊端会导致内存空间的浪费和数据分块的不可预知性.针对这些问题,提出了一种基于内容分块的层次化去冗优化策略,并构建了对应的算法,解决了云存储系统中索引信息表过大和数据分块过大或过小的问题.并且选取CNN新闻的页面内容作为测试集进行实际测试,通过比较去冗比和去冗时间可以看出,相比于目前主流的去冗策略,本文提出的基于内容分块的层次化去冗优化策略能够提升3%左右的去冗比,同时降低2%左右的去冗时间.
|
| 关 键 词： | 云存储 冗余去重技术 数据分块 层次化 去冗比 |
| 收稿时间： | 2017-12-26 |
| 本文献已被 万方数据 等数据库收录！ |
| 点击此处可从《电子学报》浏览原始摘要信息 |
|
点击此处可从《电子学报》下载全文 |
|
