电力企业互联网舆情数据规格化存储系统设计

为避免舆情焦点损伤电力企业形象，设计了电力企业互联网舆情数据规格化存储系统，实时采集、处理并存储公共舆情数据。利用基于TF-IDF改进算法的聚焦网络爬虫爬取原始数据层的舆情数据，构建正则表达式描述语义模型；应用基于负载权重的负载均衡算法的存储负载均衡机制，根据负载差值计算存储节点执行任务的概率，更新存储节点的负载，实现各存储节点负载均衡。实验结果表明：读取时间均值为72.9ms,写入时间均值为425.3ms,数据读写效率高，各存储节点负载均衡，对大规模数据的处理及存储性能更佳。