基于大数据技术的数据分析处理平台设计与实现

针对目前大数据分析处理组件多而乱、平台技术架构复杂等问题，综合应用MapReduce、Hive、Sqoop等大数据技术，结合Scrapy数据采集框架，设计一种数据分析处理平台，利用SpringBoot及Vue技术搭建Web系统，实现处理结果的可视化。应用该平台对中国蔬菜网上的某一批发市场数据进行分析处理，得出年度蔬菜最高最低差价、年度价格排名前十的蔬菜品种等指标统计结果，分析结果对该批发市场的蔬菜投放及价格调控具有一定的指导意义。