基于Web搜索的舆情分析系统的设计与实现

在分析研究了网络舆情处理的信息采集技术、网络爬虫技术、数据挖掘技术等关键技术基础上，面向基层网络监察的现实工作需求，设计并实现了网络舆情监控系统，该系统分为舆情信息采集、舆晴信息处理、舆隋信息分析3个主要的功能模块，采用DOM树和改进的PageRank模型处理网页，采用TFIDF法来计算特征词的权值、利用决策树对文档进行分类、采用层次凝聚类的方法对文本进行聚类。实际应用测试表明，该系统能较好实现基于Web的网络舆情的管理需求，实现完善的舆情监控及为辅助决策者做出准确的决策，同时有效的网络舆情信息监管技术也会在很大程度上降低基层网络监察的工作强度、提升工作效率。