|
|||||
|
|
| 基于统计感知的大数据系统计算框架 | |
| 引用本文： | 魏丞昊,黄哲学,何玉林.基于统计感知的大数据系统计算框架[J].深圳大学学报(理工版),2018(5). |
| 作者姓名： | 魏丞昊 黄哲学 何玉林 |
| 作者单位： | 深圳大学计算机与软件学院大数据技术与应用研究所 |
| 摘 要： | 为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总体概率分布的一致性.后者通过分析若干个随机样本数据块替代了Tbyte级全量数据分析.使用1 Tbyte模拟数据集验证随机样本划分模型的有效性,通过逐渐增加随机样本块的个数,提升了Higgs数据集基分类器的分类准确度,证明该方法能克服大数据分析中计算资源的限制瓶颈. |
| 本文献已被 CNKI 等数据库收录！ | |