社交媒体话题检测与追踪技术研究综述

随着计算机的普及与互联网的高速发展,Facebook、Twitter、新浪微博等社交媒体逐渐成为人们信息交流的主要渠道。然而,由于社交媒体信息具有数量庞大、结构复杂、传播速度快等特点,人们无法从中快速准确地获取想要的信息。于是,话题检测与追踪技术应运而生,它将用户关注的信息从大量无序信息中筛选出来,经过细致的过滤和有效的整合,生成简单、清晰的话题信息,并在此基础上实现对话题的追踪和发展趋势分析。该文对社交媒体上的话题检测与追踪工作进行综述,首先论述了话题检测方面的三类方法,包括基于主题模型的话题检测、基于改进聚类算法的话题检测和基于多特征融合的话题检测;其次,对话题追踪的研究成果进行了介绍,主要分为非自适应话题追踪和自适应话题追踪两大类;最后,列举出社交媒体话题的检测与追踪中存在的问题以及对未来研究的展望。     

基于子话题分治匹配的新事件检测

新事件检测是话题检测与跟踪领域的一项重要研究,其任务是实时监控新闻报道流并从中识别新话题.现有方法将话题和报道描述为单一结构的特征向量进行匹配,造成子话题间互为噪声并形成错误语义,从而误导新话题的识别.针对这一缺陷,文中提出基于子话题分治匹配的新事件检测方法,将话题和报道划分为不同子话题,根据相关子话题的比例关系和分布关系建立新话题识别模型.实验在TDT4和TDT5中获得显著改进,最小检测错误代价为0.4061,相应漏检率为0.1859.     

基于吸收马尔可夫链的子话题发现方法

受互联网文本信息话题内容多元性,演化性等特点的影响,传统的话题检测模型对子话题粒度的选取和检测质量很难保证。针对该问题,该文提出一种基于吸收马尔可夫链的子话题划分算法,该算法对基于网页聚类生成的话题关键词进行组合生成子话题,并以吸收马尔可夫链对子话题进行吸收衍化,进行重排序生成结果子话题。实验结果表明,该算法能同时保证生成子话题的重要性和多样性。     

在线社交网络中的新兴话题检测技术综述

新兴话题检测是社交网络研究的热点问题之一。在线社交网络特别是微博的开放性,给话题的流行和爆发提供了前所未有的便利条件。新兴话题是即将流行或爆发的话题,往往伴随着重大的事件或新闻的发生,会产生重大的社会影响,如何在早期识别此类话题,是新兴话题检测研究的主要内容。该文回顾了近年来在新兴话题检测方面的主要进展,分析了新兴话题检测领域面临的挑战,阐述了相关的概念、方法和理论,重点从内容突发特征和信息传播模型两个方面对影响新兴话题检测的方法进行了分析和讨论,并对新兴话题检测的前景做了展望。
     

社团挖掘和话题监控的互动模型研究

社团挖掘是Web信息挖掘领域的重要应用,而话题监控是文本信息研究领域的重要应用,目前这两种技术是各自独立的。为更好地应用于互联网形成的复杂社会网络,将这两种技术结合起来研究,发现了社团和话题之间的关系,创建了社团挖掘和话题监控的静态和动态互动模型,设计了社团挖掘、话题识别以及社团跟踪算法。     

基于LDA话题演化研究方法综述

现实生活中不断有新话题的产生和旧话题的衰减,同时话题的内容也会随着时间发生变化。自动探测话题随时间的演化越来越受到人们的关注。Latent Dirichlet Allocation模型是近年提出的概率话题模型,已经在话题演化领域得到较为广泛的应用。该文提出了话题演化的两个方面 内容演化和强度演化,总结了基于LDA话题模型的话题演化方法,根据引入时间的不同方式将目前的研究方法分为三类 将时间信息结合到LDA模型、对文本集合后离散和先离散方法。在详细叙述这三种方法的基础上,针对时间粒度、是否在线等多个特征进行了对比,并且简要描述了目前广泛应用的话题演化评测方法。文章最后分析了目前存在的挑战,并且对该研究方向进行了展望。     

面向微博话题的用户影响力分析算法

微博用户影响力分析作为社交网络分析的重要组成部分，一直受到研究人员的关注。针对现有研究工作分析用户行为时间性的不足和忽略用户与参与话题之间关联性等问题，提出了一种面向微博话题的用户影响力分析算法——基于话题和传播能力的用户排序（TSRank）算法。首先，基于微博话题分析用户转发行为时间性，进一步构建用户转发和用户博文转发两种话题转发关系网络，预测用户话题信息传播能力；然后，分析用户个人历史微博和背景话题微博文本内容，挖掘用户与背景话题之间的关联性；最后，综合考虑用户话题信息传播能力以及用户与背景话题间关联性计算微博用户影响力。爬取新浪微博真实话题数据进行实验，实验结果表明，话题关联度更高用户的话题转发量明显大于关联度很低的用户，引入用户转发行为时间性相比无转发时间性，TSRank算法的捕获率（CR）提高了18.7%，进一步与典型影响力分析算法WBRank、TwitterRank和PageRank相比，TSRank算法在准确率和召回率上分别提高了5.9%、8.7%、13.1%和6.7%、9.1%、14.2%，验证了TSRank算法的有效性。该研究成果对社交网络的社会属性、话题传播等理论研究以及好友推荐、舆情监控等应用研究具有支撑作用。     

社交僵尸网络发展综述

随着社交平台的发展,社交媒体网络逐渐成为攻击者进行僵尸网络渗透的理想平台。社交僵尸网络利用社交平台自动化程度高、灵活性强与普及度高等特性构建隐蔽信道进行通信,以达到窃取社交平台用户信息、散布不良信息污染网络环境、引导控制舆论等目的。传统的僵尸网络检测机制无法有效地检测社交僵尸网络,为社交媒体的安全性带来极大的挑战。从社交僵尸网络的概念入手,阐述社交僵尸网络在不同社交平台上的发展脉络和发展趋势,研究不同社交媒体上的社交僵尸网络攻击原理和群体特征以及隐蔽型社交僵尸网络的隐蔽手段。在此基础上,将社交僵尸网络的检测方法分为服务器端检测方法和客户端检测方法,并对近年来出现的基于隐写技术和基于机器学习的检测方法进行分析,同时给出社交僵尸网络的反制技术和接管方法的研究现状及发展思路,并对该领域的未来研究方向进行展望。     

话题检测与跟踪的评测及研究综述

话题检测与跟踪是一项面向新闻媒体信息流进行未知话题识别和已知话题跟踪的信息处理技术。自从1996年前瞻性的探索以来,该领域进行的多次大规模评测为信息识别、采集和组织等相关技术提供了新的测试平台。由于话题检测与跟踪相对于信息检索、信息挖掘和信息抽取等自然语言处理技术具备很多共性,并面向具备突发性和延续性规律的新闻语料,因此逐渐成为当前信息处理领域的研究热点。本文简要介绍了话题检测与跟踪的研究背景、任务定义、评测方法以及相关技术,并通过分析目前TDT领域的研究现状展望未来的发展趋势。     

基于子图相交的社交账号与知识图谱实体对齐

社交媒体与知识图谱的数据各具特点,相互之间的数据互通具有较强的现实意义,而社交账号与知识图谱实体的对齐是数据互通的前提。针对社交媒体与知识图谱的特点,提出了一种基于子图相交的对齐方法,旨在给定社交账号的情况下,根据社交账号的相关信息在知识图谱中找到正确的对应条目。该方法在候选实体生成阶段对比实验了不同的生成策略。在目标实体选择阶段提出一种基于子图相交的算法,利用社交账号的社交关系在知识图谱中映射成子图。子图相交算法通过考察子图中候选实体周围顶点的"稠密"程度,确定社交账号所对应的目标实体。由于该领域尚无公开可用的测试数据集,构造了一个基于Twitter与Wikidata的对齐数据集,使用该数据集对该方法进行评估,对比测试了标题匹配算法和AGDISTIS算法,子图相交算法能够达到更好的效果。     

基于全局/局部共现词对分布的汉越双语新闻事件线索分析

针对汉越双语新闻事件线索分析,提出了基于全局/局部共现词对分布的汉越双语事件线索生成方法。该方法首先将新闻话题词语分布作为全局词语表征全局事件,然后用一定时间粒度下新闻片段特有的时间、人物、地点等事件元素作为局部词语,分析新闻片段中全局词语和局部词语的共现关系,将全局/局部词语的共现规律作为监督信息,结合RCRP算法和汉越双语新闻的对齐语料,构建有监督话题生成主题模型,获得相应时间跨度下代表事件发展进程的子话题分布,通过子话题的分布反映事件发展的线索,从而构建出在线汉越双语事件线索生成模型。实验在汉越混合新闻数据集上进行,事件线索生成对比实验结果证明了提出的方法的有效性。
     

Event detection in online social network: Methodologies,state-of-art,and evolution

Online social network such as Twitter, Facebook and Instagram are increasingly becoming the go-to medium for users to acquire information and discuss what is happening globally. Understanding real-time conversations with masses on social media platforms can provide rich insights into events, provided that there is a way to detect and characterise events. To this end, in the past twenty years, many researchers have been developing event detection methods based on the data collected from various social media platforms. The developed methods for discovering events are generally modular in design and novel in scale and speed. To review the research in this field, we line up existing works for event detection in online social networks and organise them to provide a comprehensive and in-depth survey. This survey comprises three major parts: research methodologies, the review of state-of-the-art literature and the evolution of significant challenges. Each part is supposed to attract readers with different motivations and expectations on the ‘things’ delivered in this survey. For example, the methodologies provide the life-cycle to design new event detection models, from data collection to model evaluations. A timeline and a taxonomy of existing methods are also introduced to elaborate the development of various technologies under the umbrella of event detection. These two parts benefit those with a background in event detection and want to commit a deep exploration of existing models such as discussing their pros and cons alike. The third part shows the development of the major open issues in this field. It also indicates the milestones of each challenge in terms of typical models. Our survey can contribute to the community by highlighting possible new problem statements and opening new research directions.     

一种话题演化建模与分析方法

根据时序关系将文本流划分为连续时间片中的文本集, 在线抽取各时间片中隐含的子话题, 采用模型选择方法动态确定各时间片包含的子话题数, 以历史时间片的子话题信息作为当前子话题发现的先验知识, 基于 OLDA (Online latent Dirichlet allocation)模型抽取各时间片包含的子话题, 通过 Gibbs 抽样对话题模型参数进行估计; 对子话题进行关联分析, 定义子话题产生、消亡、继承、分裂和合并五种演化类型, 提出基于相对熵的子话题关联分析方法, 根据子话题语义相似度和时序关系建立子话题间的关联, 由具有时序关系和内容关联的子话题组成话题, 通过子话题内容和强度的变化描述话题演化. 基于真实网络新闻的话题演化分析实验表明, 本文提出的话题演化分析方法能够有效检测 网络新闻话题内容和强度的演化.     

事件挖掘综述

事件挖掘就是从大量的、不完全的、人们事先不知道的,但同时又是潜在有用的信息中提取有用信息并概括为事件的过程。由于事件挖掘相对于话题检测与跟踪、信息检索、信息抽取等自然语言处理具备许多共性,并且具备预测事件发展的优越性,因此逐渐成为当前事件识别领域的研究热点。本文介绍事件挖掘相关研究的历史发展与应用背景,全新定义事件挖掘的概念与任务,并详细介绍事件挖掘任务相关的各种关键算法,尤其是语义链算法。指出事件挖掘的重要意义及其未来的发展趋势。     

多文档自动文摘综述

多文档文摘是将同一主题下的多个文本描述的主要的信息按压缩比提炼为一个文本的自然语言处理技术。随着互联网上信息的日益丰富,多文档文摘技术成为新的研究热点。本文介绍了多文档文摘的产生和应用背景,阐述了多文档文摘和其他自然语言处理技术的关系,对多文档文摘国内外研究现状进行了分析,在此基础上汇总提出了多文档文摘研究的基本路线及关键技术,并总结了多文档文摘的未来及发展趋势。     

表格检测与结构识别综述

针对当前文档分析领域中表格分析的发展现状,整理了近年来领域内的相关文献,分别对表格检测和表格结构识别两个关键任务进行研究。针对表格检测任务,将其划分为基于目标检测、图神经网络、生成对抗网络、可变卷积网络的方法;针对表格结构识别任务,将其划分为基于目标检测、图神经网络、循环神经网络、可变卷积与扩张卷积网络的方法。总结了各类模型的方法路径和局限性,梳理了相关任务及其对应的数据集。更广泛地总结了表格分析领域常用的公开数据集,并对各数据集的来源、规模、适用范围及文件类型进行详细介绍。列举了表格分析领域常用的评价指标,并按照实验数据集的不同对现有模型的实验结果进行对比。总结了当前表格分析领域的发展状况,并对未来发展方向进行了展望。