非关系型分布式大数据多分辨率采集系统设计 |
| |
引用本文: | 张丹丹,吕颍颍,黄鑫.非关系型分布式大数据多分辨率采集系统设计[J].自动化与仪器仪表,2023(10):139-143. |
| |
作者姓名: | 张丹丹 吕颍颍 黄鑫 |
| |
作者单位: | 1. 河南应用技术职业学院;2. 银川科技学院 |
| |
摘 要: | 为了满足用户的数据采集与应用需求,提出非关系型分布式大数据多分辨率采集系统设计。搭建分布式大数据多分辨率采集架构,引入Boosting算法将同一空间分辨率数据划分为同一类别,完成大数据的聚类处理;测量数据传输延时与时钟偏移量,同步配置分布式时钟;以大数据聚类结果为基础,以分布式时钟同步配置为依据,以用户需求数据分辨率范围为限制,在大数据聚类集合中提取相关数据,选取适当的存储节点保存提取数据,从而实现分布式大数据的多分辨率采集。实验结果表明:应用设计系统获得的数据采集速率最大值为140 MB/s,数据采集质量因子最大值为9.4,证实设计系统应用性能更佳。
|
关 键 词: | 分布式大数据 多分辨率 非关系型数据 大数据聚类 复杂属性环境 大数据采集 |
|
|