一种情感分析与质量控制的异常评论识别方法

针对因数据量的增加以及异常评论策略的更新,以用户内容和行为为基础的传统微博异常评论识别方法效果不断下降的问题,提出一种基于情感分析和质量控制的微博异常评论识别方法.通过将预处理后的微博评论进行情感分析,将微博评论进行量化处理,在对微博评论进行质量控制的过程中,根据异常与正常用户在时域上对热点微博的评论分布差别检测可疑时间间隔,结合用户聚类分析,设计了异常评论识别模型.结果表明:该方法利用情感评分,对于评论文本进行较为准确的情感分类,然后通过调整边界值范围和时间阈值范围来限定异常检测等级,当边界值范围增大时,对于异常评论的检测范围扩大,容忍度下降,检测灵敏度高;当时间阈值扩大时,容忍度提高,检测灵敏度较低;适当的选择边界值和时间阈值,可以有效提高与正常评论行为相似的异常评论识别准确率.     

基于 MB-HDP 模型的微博主题挖掘

主题模型是挖掘微博潜在主题的重要工具．然而,现有的主题模型多由 Latent Dirichlet Allocation （LDA）派生,它需要用户预先指定主题数目．为了自动挖掘微博主题,作者提出了一个基于分层 Dirichlet 过程（Hierarchical Dirichlet Process,HDP）的非参数贝叶斯模型 MB-HDP．首先,针对微博应用场景,假设消息是不可交换的;接着,利用微博的时间信息、用户兴趣以及话题标签,聚合主题相关的消息以解决微博短文本的数据稀疏问题;然后,扩展Chinese Restaurant Franchise （CRF）对微博数据进行主题建模;最后,设计一个相应的 Markov Chain Monte Carlo （MCMC）采样方法,推导 MB-HDP 模型的分布参数．实验表明,在生成主题质量、内容困惑度和模型复杂度等指标上,MB-HDP 模型明显优于 LDA 和 HDP 两种模型．     

基于中介中心度的微博影响力个体发现

微博中重要影响力个体的发现有着极为重要的作用。中介中心度方法是发现网络中重要节点的有效方法, 然而传统的中介中心度方法只适用于小规模的网络, 对于海量的微博网络信息却无能为力。提出一种基于随机游走的中介中心度算法, 该算法不仅能有效地应对海量的微博网络数据, 而且其发现结果也明显优于相关的研究。     

基于Simhash的大数据去重改进算法

数据去重是大数据预处理过程中最主要的一个步骤。为了提升大数据去重的效率,以及优化其在较差情况下的表现,本文以中文微博的原始数据为基础,在传统的Simhash方法的基础上,改进计算相似度的公式,将文本重复率纳入考虑,并在检索步骤中采用桶排序的思想,进行多次多级的线程分配以提高效率。实验结果表明,改进后的算法可以显著提升传统算法的效率和准确率。      

面向微博主题的可视分析研究

随着微博的发展,其影响力日益增大,对微博主题内容进行分析具有重要的价值.主题模型技术能够从文本数据中提取主题,但是,由于微博文本短、随意性大、信息量小等特点,微博主题的分析具有一定的难度.提出了一个微博主题可视分析系统,利用多种互相关联的视图与丰富的交互手段,支持用户对主题模型结果进行分析与探索.系统结合了微博数据的特点,引入微博用户与时间因素,支持分析者从多角度对微博主题进行全面分析.系统支持用户在主题可视分析的基础上,通过交互操作对主题进行编辑,从而改进主题模型,提高模型的准确性和可靠性.案例分析结果表明,提出的系统可以有效地帮助用户分析微博主题和修正主题.     

基于用户标签的微博推荐算法

为了解决推荐算法中用户标签稀疏、推荐准确度不高的问题,提出了一种基于用户标签的微博推荐算法。利用TextRank排序方法提取用户发布微博中的关键词,并对该关键词进行扩展,将其作为表示用户兴趣的标签;再根据微博的效应函数和生命周期形成待推荐的微博列表,计算用户标签及其同义词在待推荐微博列表 中出现的次数,将出现次数较多的TOP-k条微博推荐给用户。通过实验验证,该算法能够有效地解决用户标签的稀疏性问题,并能提高推荐算法的准确性。     

基于词共现图的中文微博新闻话题识别

针对传统的话题检测算法主要适用于新闻网页和博客等长文本信息,而不能有效处理具有稀疏性的微博数据,给出一种基于词共现图的方法来识别微博中的新闻话题.该方法首先在微博数据预处理之后,综合相对词频和词频增加率2个因素抽取微博数据中的主题词.然后根据主题词间的共现度构建词共现图,把词共现图中每个不连通的簇集看成一个新闻话题,并使用每个簇集中包含信息量较大的几个主题词来表示微博新闻话题.最后在微博数据集上进行实验,实现了对微博中新闻话题的识别,验证了该方法的有效性.