利用概率主题模型的微博热点话题发现方法

微博具有长度短、实时传播、结构复杂以及变形词多等特点,传统的向量空间模型（VSM）文本表示方法和隐含语义分析（LSA）无法很好的对其进行建模。提出了一种基于概率潜在语义分析（pLSA）和 K 均值聚类（Kmeans）的二阶段聚类算法,此外通过定义微博热度分析和排序,有效地支持微博热点话题发现。实验表明,此方法能有效地进行话题聚类并检测出热点话题。     

基于文本双表示模型的微博热点话题发现

微博作为当代生活中信息传播的重要平台,对其进行热点话题挖掘成为当今重要的研究方向之一。针对传统的热点话题发现方法在处理微博文本时存在文本表示缺乏语义信息、挖掘热点话题效果差等问题,本文提出一种基于频繁词集和BERT语义的文本双表示模型（Text dual representation model based on frequent word sets and BERT semantics, FWS-BERT）,通过该模型计算加权文本相似度对微博文本进行谱聚类,进一步基于改进相似性度量的affinity propagation (AP)聚类算法进行微博话题挖掘,最后通过引入文献计量学中的H指数提出一种话题热度评估方法。实验表明,本文提出的方法在轮廓系数及Calinski-Harabasz（CH）指标值上均高于基于频繁词集的单一文本表示方法和K-means方法,并且能准确地对微博数据进行话题表示和热度评估。     

基于用户角色定位的微博热点话题检测方法

针对在海量微博数据中提取热点话题效率较低的问题,在对用户角色分类的基础上,提出了一种新的热点话题检测方法。首先,根据用户关注度进行用户角色定位,过滤掉部分用户的噪声数据;其次,采用结合语义相似度的TF-IDF函数计算特征权重,降低语义表达形式带来的误差;然后,用改进的Single-Pass聚类算法进行话题聚类,提取出微博话题;最后,根据微博转发数、评论数等对话题热度进行评估排序,从而发现热点话题。实验表明,所提出的方法使漏检率和误检率分别平均降低12.09%和2.37%,有效地提高了话题检测的正确率,验证了该方法的可行性。     

基于两层聚类的微博热点话题发现算法研究

微博热点话题发现是指从大量的微博文本中发现用户讨论的热点话题,话题发现主要通过文本聚类的方法实现,聚类算法的选择和改进通常对结果有着重要的影响.针对微博话题发现任务,论文提出通过改进的SinglePass算法和层次聚类的方法,完成微博的话题发现,并且根据横向和纵向对比分析,验证算法话题发现的有效性.     

基于隐主题分析的中文微博话题发现

针对高维、稀疏的中文微博数据, 提出一种多步骤的新闻话题发现方法。首先结合微博的传播特点, 选取出不同时间窗口中具有较高新闻价值的微博文本; 再利用隐主题模型挖掘微博内容中隐含的主题信息, 并在此基础上进行文本聚类; 最后使用频繁项集挖掘技术获取话题关键词集合。该算法能够较好地实现对中文微博数据的降维与话题发现。真实的微博数据集实验结果验证了该方法的有效性。     

一种基于MFIHC聚类和TOPSIS的微博热点发现方法

针对微博的文本存在短小、快速、变化等特点,导致热点发现困难的问题,本文提出了一种基于改进的FIHC聚类和TOPSIS的热点发现方法。首先把知网语义相似度引入FIHC聚类算法Score函数的计算,考虑了频繁词之间的语义联系,更准确的生成基于频繁词的初始簇;然后对微博文本重复的初始簇进行消减,再采用Single-Pass聚类的思想对消减完的话题簇进一步聚类最终得到热点话题;最后对热点话题采用改进的TOPSIS模型进行排序,更好的获得热点话题的排行。通过和其他文本聚类算法以及热点发现方法对比,该方法热点发现效果好,能够比较全面的反应当前的热点话题。     

基于微博文本和元数据的话题检测

在微博热点话题发现中,微博文本短、词量少、时效性高,传统的话题检测方法不再适用。针对这些新的特点,提出一种基于微博文本和元数据的话题发现方法。首先利用微博发布时间、用户信息、微博转发评论等元数据构造描述微博词汇能量的复合权值,进而提取出话题的主题词汇,然后基于上下文关系构造主题词汇簇,最后对微博文本进行二次聚类,从而得到微博中的隐含话题以及相关微博文本。在真实微博数据上的实验表明,该方法能有效发现热门话题,提高话题检测的准确率和查全率。     

基于BTM和K-means的微博话题检测

近年来,微博等社交网络的发展给人们的沟通交流提供了方便。由于每条微博都限定在140字以内,因此产生了大量的短文本信息。从短文本中发现话题日渐成为一项重要的课题。传统的话题模型(如概率潜在语义分析(PLSA)、潜在狄利克雷分配(LDA)等) 在处理短文本方面都面临着严重的数据稀疏问题。另外,当数据集比较集中并且话题文档间的差别较明显时,K-means 聚类算法能够聚类出有区分度的话题。引入BTM话题模型来处理微博数据这样的短文本,以缓解数据稀疏的问题。同时,整合了K-means聚类算法来对BTM模型所发现的话题进行聚类。在新浪微博短文本集上进行的实验证明了此方法发现话题的有效性。     

一种基于关键词的微博话题聚类算法

由于微博跟现实生活有着密不可分的联系,微博的话题聚类可以发掘人们所关注的话题,有利于引导公众舆情。由于传统的文本聚类方法主要适用于长文本,LDA(Latent Dirichlet Allocation)话题模型是一个比较成熟也比较全面的话题聚类方法,实验中利用LDA模型来发掘当前公众讨论的热点话题,提出一种文本关联词算法。利用LDA得到的关键词进行聚类分析,也可以对LDA话题聚类后的结果进行优化调整,得到的结果与标注数据集进行对比分析,实验结果证明该算法能够提高聚类的正确率、召回率和F值。     

基于词向量的微博话题发现方法

针对微博的短文本、口语化和大数据等特性,提出基于词向量的微博话题发现方法。爬取实验数据结合中文语料库训练得到词的向量表示,再通过定义的文本词向量模型得到文本的词向量表示,相较于传统的向量空间表示模型,词向量表示模型能够解决微博短文本特征稀疏、高维度问题,同时,能够解决文本语义信息丢失问题;采用改进的Canopy算法对文本进行模糊聚类;对相同Canopy内的数据用K-means算法做精确聚类。实验结果表明,该方法与经典Single-Pass聚类算法相比,话题发现综合指标提高4%,证明了所提方法的有效性和准确性。     

基于分类的中文微博热点话题发现方法研究

智能手机和微博客户端强化了微博的媒体特性,实时发现微博话题具有现实意义。文章提出了一种基于关键字分类的中文微博热点话题发现方法,通过关键字对微博信息进行筛选和归类,以时间窗内词频和增长速度构造赋权函数提取主题词,词汇的同文本条件概率作为相似度判定依据,基于改进的单遍聚类算法进行主题词聚类。对系统运行结果分析表明,该方法可以实时有效地聚类发现微博热点话题。     

Micro-blog topic detection method based on BTM topic model and K-means clustering algorithm

The development of micro-blog, generating large-scale short texts, provides people with convenient communication. In the meantime, discovering topics from short texts genuinely becomes an intractable problem. It was hard for traditional topic model-to-model short texts, such as probabilistic latent semantic analysis (PLSA) and Latent Dirichlet Allocation (LDA). They suffered from the severe data sparsity when disposed short texts. Moreover, K-means clustering algorithm can make topics discriminative when datasets is intensive and the difference among topic documents is distinct. In this paper, BTM topic model is employed to process short texts–micro-blog data for alleviating the problem of sparsity. At the same time, we integrating K-means clustering algorithm into BTM (Biterm Topic Model) for topics discovery further. The results of experiments on Sina micro-blog short text collections demonstrate that our method can discover topics effectively.     

基于话题标签和转发关系的微博聚类和主题词提取

针对微博聚类正确率不高的问题,在研究微博数据特点的基础上,利用微博hashtag来增强向量空间模型,使用微博之间的转发关系提升聚类的准确性,并利用微博的转发、评论数以及微博发布者信息来提取聚类中的主题词。在新浪微博数据集上进行实验发现,与k-means算法和基于加权语义和贝叶斯的中文短文本增量聚类算法(ICST-WSNB)相比,基于话题标签和转发关系的微博聚类算法的准确率比k-means算法提高了18.5%,比ICST-WSNB提高了6.48%,召回率以及F-值也有了一定的提高。实验结果表明基于话题标签和转发关系的微博聚类算法能够有效地提高微博聚类的正确率,进而获取更加合适的主题词。     

面向微博用户标签推荐的关系约束主题模型

社会化标签系统允许用户使用个性化的词汇对网络中的资源进行标注而被用户广泛接受。在微博网络中,用户可以为自己加注标签以推广自己或者方便别人找到自己。深入分析了微博用户数据,总结了微博用户标签的特点,针对LDA（latent Dirichlet allocation）主题模型在处理短文本时存在的不足,提出了一种基于好友关系约束主题模型。在此基础上对微博用户标签进行主题分析,计算用户的主题分布,对标签词进行聚类,并最终为用户推荐标签。通过对比实验证明了该方法可以提高标签推荐的准确度。     

使用LSA降维的改进ART2神经网络文本聚类

针对文本数据高维度的特点和聚类的动态性要求,结合隐含语义分析（LSA）降维,提出一种改进的ART2神经网络文本聚类算法,通过LSA凸显文本和词条之间的语义关系,减少无用噪声,降低数据维度和计算复杂性;采用改进的折中学习方法,减少计算步骤,加快ART2神经网络计算速度,并利用最近邻动态重组方法提高ART2网络聚类的稳定性,减弱算法对样本输入顺序的依赖。实验表明,改进的文本聚类算法能有效地实现动态文本聚类。     

基于双态模型的微博话题跟踪方法研究

针对话题先验相关报道稀疏性及在话题发展过程中所产生的漂移问题,结合微博文本特点提出了一种基于双态模型的微博话题跟踪方法。该方法首先提出了双态话题模型的构建方法,将其划分为永久存储区域和临时存储区域,分别用于保持跟踪话题的中心和跟踪话题部分特征词的变迁;并在跟踪过程中动态更新话题模型,能有效应对微博话题发展所产生的漂移。将该方法与其他微博话题跟踪方法进行对比,结果表明,该方法使得漏检率和误检率等指标均得到降低,有效地提高了话题跟踪的效果。     

基于速度增长的微博热点话题发现

在微博热点话题发现中, 由于微博文本短、词量少、用词不规范等特征, 使得传统的热点话题检测方法力不从心。针对这一问题, 提出了基于速度增长的微博热点话题发现方法。首先把经过预处理的微博按等数量窗口划分, 统计每个窗口内各词语的词频, 并表示成时间二元组序列; 然后通过计算每相邻两个窗口的个词语的增长斜率来发现增长速度快的词语; 再通过计算与该词语有关的用户的增长速度和微博条数的增长速度来确定该词语是否是热点主题词; 最后通过热点主题词聚类产生热点话题。通过实验验证了该方法的可行性。实验结果表明, 该方法在一定程度上提高了检测效率, 降低了漏检率和误检率, 可以有效地及时发现微博热点话题。     

基于BTM的物联网服务发现方法

针对物联网（IoT）服务描述文本篇幅较短、特征稀疏,直接采用传统的主题模型对IoT服务建模得到的聚类效果不佳,从而导致无法发现最佳服务的问题,提出了一种基于BTM的IoT服务发现方法。该方法首先利用BTM挖掘现有IoT服务的隐含主题,并通过全局主题分布和主题-词分布计算推理得到服务文档-主题概率分布;其次利用K-means算法对服务进行聚类,并返回服务请求的最佳匹配结果。实验结果分析表明,该方法能够有效提高IoT服务的聚类效果,从而得到匹配的最佳服务。与现有的HDP（Hierarchical Dirichlet Process）、基于K-means的隐狄利克雷分配（LDA-K）等方法相比,该方法进行最佳服务发现的准确度（Precision）和归一化折损累积增益（NDCG）均有一定幅度的提高。