| 基于双布鲁姆过滤器的数据排重技术 |
| |
| 引用本文： | 席晔文,杨金民.基于双布鲁姆过滤器的数据排重技术[J].计算机工程与应用,2014(23):198-202. |
| |
| 作者姓名： | 席晔文 杨金民 |
| |
| 作者单位： | 湖南大学 信息科学与工程学院,长沙,410082 |
| |
| 基金项目： | 国家自然科学基金(No.61272401，No.61173167)；“973”子项目(No.2012CB315801)。 |
| |
| 摘 要： | 针对文件级单布鲁姆过滤器排重算法只能以文件为单位进行数据排重，数据块级单布鲁姆过滤器排重算法耗时过多的缺点，采用2个布鲁姆过滤器，创建文件级和数据块级2级数据排重的算法结构。实验结果表明，双布鲁姆过滤器排重算法可以以数据块为单位对数据排重，在保持低假阳性误判率的同时，相比数据块级单布鲁姆过滤器排重算法耗时缩短了43%~68%。
|
| 关 键 词： | 重复数据删除 集合元素查询 布鲁姆过滤器 MD5 假阳性误判率 |
Duplicate data delete technology based on double bloom filter |
| |
| XI Yewen
,
YANG Jinmin.Duplicate data delete technology based on double bloom filter[J].Computer Engineering and Applications,2014(23):198-202. |
| |
| Authors: | XI Yewen YANG Jinmin |
| |
| Abstract: | |
| |
| Keywords: | duplicate data delete query elements bloom filter MD5 false positive error rate |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
