基于大数据跨平台的分布式实时数据采集技术实现

大数据已经成为国家战略,在各行各业得到了愈发广泛的应用,电网企业也呈现出其独有的大数据场景特征。电网企业的数据具有业务域多、数据量巨大、实时性要求高等特点,建立统一有效的大数据采集中心有利于电网企业大数据的管理,符合电网企业新的发展战略。电网企业终端传感器采集的数据有用户行为的文本数据、终端图片等图片数据、其他平台的海量镜像数据。随着终端的用户量和数据量与日俱增,数据中心必须能通过添加更多服务节点来扩展性能和负载能力,以保证高可扩展性和高可用性,从而满足电网企业业务发展的需要。

Realization of Distributed Real-time Data Collection Technology Based on Big Data Cross-Platform