网络舆情热点话题聚类方法研究

主流的热点追踪算法都采用文本聚类技术来实现,在处理海量网页时,很难精准聚合中心结果,离需要的热点差距太远.现有的网络舆情系统监控的范围受限于使用者给出的关键词,使系统无法监测使用者未知的突发事件.针对网络舆情发生和传播特点,改善舆情信息采集策略;网络舆情的相关页面标题文字主题鲜明,据此提出自动挖掘热点关键词并根据关键词进行话题聚类的方法;根据新闻、论坛和博客的不同特点分别设计网络舆情热点分析模型.在此基础上,设计并实现了一个网络舆情监测系统.系统实际运行表明,该方案可以及时发掘热点话题并对突发事件实时追踪监测.     

论网络舆情监测系统中关键词智能追踪模型的建立

本通过分析舆情信息采集策略,提出智能化的关键词追踪模型,通过关键词智能追踪模型的应用,网络舆情监测系统能及时抓取热点事件的热点关键词,从而实现网络舆情监控系统对热点事件发展趋势的灵敏响应,并为网络舆情热点事件的预警提供数据支持。简单来说关键词智能追踪模型就是以一定的关键词权重算法为基础,依据舆情事件变化速度,通过多次的反复的归纳计算,对之前选取的关键词进行修改、调整和校对的过程。     

基于语义相似度的论坛话题追踪方法

现有的话题追踪方法大多面向新闻数据,将其应用于论坛时效果不够理想。结合论坛的特点,提出一种基于语义相似度的论坛话题追踪方法。该方法首先通过构建话题和帖子的关键词表建立其文本表示模型,然后利用知网计算两个关键词表的语义相似度并以此作为帖子与话题的相关程度,最后根据相关程度实现论坛话题追踪。该方法较好地避免了向量空间模型的缺陷。实验表明,该方法能比较有效地解决面向论坛的话题追踪问题。     

基于维基百科的军事舆情论坛话题追踪方法

针对互联网论坛话题追踪,提出一种基于维基百科知识的军事话题追踪方法。该方法首先以基于维基百科的词语语义相关度与共现统计方式,同时结合军事主题与帖子的结构特征建立文本图中节点间的关系边及其权重;接着以改进的基于图的链接挖掘方法选取帖子关键词;最后通过计算话题与文本关键词列表间的语义相关度实现话题追踪。实验表明,该方法无需大规模样本训练与语义知识的手工构建,能够有效解决语义稀疏对追踪所带来的负面影响,较好地追踪到军事话题帖。     

基于熵值的网络论坛热点话题发现

针对网络论坛热点话题的识别、发现和舆情监测问题,提出一种基于热度熵值的热点话题发现方法。通过网络爬虫抓取网络论坛中的数据,在对数据进行预处理和分析热点话题属性特征的基础上,合理定义各属性的权重和话题的热度熵值,并以此对话题的热点信息进行分析、统计与评估,从而发现和追踪网络论坛中的热点话题。同时,对话题的热度进行细致划分和各种类型的定义,采用不同阈值策略计算不同类型的热度信息标注的准确率。实验结果表明,该方法合理、有效,相比于传统的话题语义分析方法具有较高的准确率,可作为互联网论坛舆情监测的依据。     

关系数据库中的关键词查询结果动态优化

关键词查询可以帮助用户从数据库中快速获取感兴趣的内容,它不需要用户掌握专业的数据库结构化查询语言,降低了使用门槛.针对基于关键词的数据库查询,基于数据图的方法是一种比较常见的方法,它把数据库转换成数据图,然后从数据图中计算最小Steiner树.但是,已有的方法无法根据不断变化的用户查询兴趣而动态优化查询结果.提出采用蚁群优化算法解决数据库中的关键词查询问题,并提出了基于概念漂移理论的用户查询兴趣突变探查方法,可以及时发现用户兴趣的突变.在此基础上,提出了基于概念漂移理论和蚁群优化算法的查询结果动态优化算法ACOKS^*,可以根据突变的用户兴趣,动态地优化查询结果,使其更加符合用户查询预期.在原型系统上得到的大量实验结果表明,该方法具有很好的可扩展性,并且可以比已有的方法取得更好的性能.     

融合词语关联关系的自适应微博热点话题追踪算法

针对传统文本表示模型忽略词项关系的弊端和话题追踪过程中产生的话题漂移问题,提出了结合词语关系的自适应话题追踪算法。通过挖掘词语间的互信息和关联词信息,继而更新传统文本表示模型,通过相似度计算来判断是否为热点话题的后续话题,最后通过更新热点微博话题向量来避免话题漂移问题。实验证明了所提算法针对微博热点话题追踪是有效的。     

基于反馈学习自适应的中文话题追踪

在话题追踪研究领域,由于话题是动态发展的,在追踪过程中会产生话题漂移的问题。针对该问题以及现有自适应方法的不足,本文提出基于反馈学习的自适应方法。该方法采用增量学习的思想,对话题追踪任务中的自适应学习机制提出了新的算法。该算法能够解决话题漂移现象,并能够弥补现有自适应方法的不足。该算法中还考虑了话题追踪任务的时序性,将时间信息引入到了算法中。本文实验采用TDT4语料中的中文部分作为测试语料,使用TDT2004的评测方法对基于反馈学习的自适应的中文话题追踪系统进行评价,实验数据表明基于反馈学习的自适应方法能够提高话题追踪的性能。     

基于因子分析和Elman网络的舆情关键词热度预测

从宏观角度研究基于关键词的网络舆情热度有助于相关机构把握目标群体的整体舆情动态,从而实现精准施策,提升舆论引导水平.本文以新浪微博数据为例,采用因子分析方法 (Factor Analysis, FA),挖掘舆情热度内在影响因素,并通过改进Elman网络结构,利用遗传算法(Genetic Algorithm, GA)优化初始参数来构建模型对网络舆情关键词热度进行分析预测.实验结果表明,所提出的方法相较于采用原始数据集和标准Elman网络的预测结果,具有更高的预测精度,可为相关研究提供决策支持.     

基于贝叶斯网络的食品安全舆情监控探针研究

针对大数据时代食品安全舆情数据采集不够快捷与准确的问题,提出一种基于贝叶斯网络的食品安全舆情监控探针的研究方法.首先,通过MySQL数据库建立食品安全关键词库;其次,运用贝叶斯网络模型将关键词库构建形成监控探针,并选定人民众云舆情监测系统进行数据采集;第三,将监控探针与传统舆情数据采集、网络爬虫技术做3组对比实验(奶类...