基于大数据技术与网络爬虫的创新创业竞赛服务

针对传统创新创业竞赛服务数据采集效率低下，信息过于分散，导致信息质量差的问题，设计一个基于大数据技术与主题网络爬虫技术的创新创业竞赛服务系统。系统主要分为数据采集、消息订阅、智能推荐和大数据存储功能模块。首先采用主题网络爬虫方法进行信息爬取；然后采用大数据技术的向量空间模型VSM算法和改进协同过滤推荐算法对采集数据进行过滤清洗和智能推荐，以此实现各个功能模块的设计。实验结果表明，提出的主题网络爬虫方法对不同信息的平均采集速度均保持在8.6 ms上下，系统数据采集效率显著提升。提出的VSM算法对数据处理后的平均相似度取值为0.833,十分接近标准值0.75,说明本系统提升了数据采集质量。由此可知，设计的系统满足创新创业竞赛服务需求，具有一定的可行性。