基于多任务学习的网络谣言检测研究

当今,社交媒体已经成为获取信息的主要来源。通过社交媒体平台,谣言以前所未有的速度传播,传播给全球受众,并使用户和社会面临巨大风险,尽早发现并阻止谣言是极其重要的。基于深度学习的方法在谣言检测中表现出很好的性能。但是,很多研究方法都是单任务学习,而且缺少外部知识对内容的检查,因此从知识增强角度出发,将谣言检测和主题领域分类这两个相关的任务结合起来进行多任务学习,以补充微博帖子的语义表示,提升谣言检测性能。     

融合评论的多任务联合谣言检测方法

目前,针对微博领域的谣言检测方法主要基于微博正文,同时辅以用户评论特征、传播特征等信息进行判定。然而已有方法没有考虑用户评论质量会直接影响谣言检测的性能,质量低的评论甚至会引入无用甚至负面的特征,进而对谣言检测的性能带来更大的影响。针对该问题,基于用户评论和谣言检测的关联性,首次提出一种考虑评论有效性,并基于多任务联合学习的谣言检测方法。首先将谣言检测作为主任务,用户评论相关性检测为辅助任务;然后采用门控机制和注意力机制过滤和选择有效的用户评论特征;最后基于自主构建的3万条疫情微博谣言数据集进行实验。实验结果表明,对用户评论进行筛选不仅可以提升谣言检测性能,还能对用户评论质量进行判定。     

基于深度多任务学习的图像美感与情感联合预测研究

图像美学评价和情感分析任务旨在使计算机可以辨认人类由受到图像视觉刺激而产生的审美和情感反应.现有研究通常将它们当作两个相互独立的任务.但是,人类的美感与情感反应并不是孤立出现的;相反,在心理认知层面上,两种感受的出现应是相互关联和相互影响的.受此启发,采用深度多任务学习方法在统一的框架下处理图像美学评价和情感分析任务,深入探索两个任务间的内在关联.具体来说,提出一种自适应特征交互模块将两个单任务的基干网络进行关联,以完成图像美学评价和情感分析任务的联合预测.该模块中引入了一种特征动态交互机制,可以根据任务间的特征依赖关系自适应地决定任务间需要进行特征交互的程度.在多任务网络结构的参数更新过程中,根据美学评价与情感分析任务的学习复杂度和收敛速度等差异,提出一种任务间梯度平衡策略,以保证各个任务可以在联合预测的框架下平衡学习.此外,构建了一个大规模的图像美学情感联合数据集UAE.据已有研究,该数据集是首个同时包含美感和情感标签的图像集合.本模型代码以及UAE数据集已经公布在https://github.com/zhenshen-mla/Aesthetic-Emotion-Dataset.     

基于迁移学习的微博谣言检测方法

为解决基于深度神经网络的微博谣言检测工作中带标签数据稀缺的问题,提出一种基于迁移学习的微博谣言检测方法.利用双层双向的门控循环单元和卷积神经网络组成的联合模型作为特征提取器,利用丰富的评论数据对联合神经网络进行预训练,将训练好的特征提取层迁移到微博谣言检测任务中,通过区分微调和斜三角学习率两种微调策略对特征提取层进行调整,使其适应于目标任务.实验结果表明,采用迁移学习方法的联合神经网络能有效提高微博谣言检测的准确率.     

联合对话行为识别与情感分类的多任务网络

情感分类与对话行为识别任务常被用在对话系统中联合建模,这种联合建模的方法能够挖掘出对话文本的跨任务隐藏交互信息,提高情感分类与对话行为识别的准确性。然而,在两个任务联合建模时,对话文本有上下文信息和跨任务交互信息,对这两种信息与模型预测准确度之间的关系进行研究,需要将这两种信息协同建模,在过去的研究中对这两种信息的利用并不充分,为解决该问题提出多任务图注意力网络（multi-task graph attention network,MGAT）,并且以其为核心模块搭建了多任务协同图注意力网络（multi-task synergic graph attention network,MSGAT）,该模型将上下文信息与跨任务信息联合建模,同时完成情感分类与对话行为识别任务。利用两个公开数据集实验,得到了良好的效果,并且对联合模型与预训练模型组合进行了研究。     

基于双重情感感知的可解释谣言检测

社交媒体时代给我们带来便利的同时也造成了谣言泛滥,因此通过人工智能技术进行谣言检测具有重要的研究价值。尽管基于深度学习的谣言检测取得了很好的效果,但其大多数是根据潜在特征进行谣言检测的,无法学习情感与语义之间的相关性,同时忽视了从情感角度提供解释。为解决上述问题,该文提出一种基于双重情感感知的可解释谣言检测模型,旨在利用协同注意力机制分别学习谣言语义与用户评论情感,以及谣言情感与用户评论情感的相关性进行谣言检测,并通过协同注意力权重从情感角度提供合理的解释。在公开的Twitter15、 Twitter16和Weibo20数据集上的实验结果表明,该文提出的模型与对比模型相比,在准确率上分别提高了3.9%,3.9%和4.4％,且具有合理的可解释性。     

多任务交互式学习网络的方面情感分析

方面情感分析传统方法采用方面词抽取-情感预测的独立学习模式,未充分利用两模块的联合信息及训练过程中有价值的信息。提出基于消息传递机制的多任务交互式学习网络,模型采用细粒度属性级分类任务和篇章级分类任务联合训练,设计消息传递显式地对任务交互进行建模,通过共享隐藏变量迭代传递信息,有助于特征学习和推理。方面情感分析模块提出词级信息交互机制以及观点词抽取——情感预测信息传递通道,实现双注意力机制;利用池化操作嵌入多层GRU网络实现篇章级任务预测。设计迭代算法在方面级和篇章级任务间交替训练,通过三个数据集上的实验对比,结果表明模型在每个子任务的F1分数、模型整体性能、篇章级任务网络性能上均得到有效提高。     

联合立场的过程跟踪式多任务谣言验证模型

当前,社交媒体平台成为人们发布和获取信息的主要途径,但简便的信息发布也导致了谣言更容易迅速传播,因此验证信息是否为谣言并阻止谣言传播,已经成为一个亟待解决的问题。以往的研究表明,人们对信息的立场可以协助判断信息是否为谣言。在此基础上,针对谣言泛滥的问题,提出了一个联合立场的过程跟踪式多任务谣言验证模型（JSP?MRVM）。首先,分别使用拓扑图、特征图和公共图卷积网络（GCN）对信息的三种传播过程进行表征;然后,利用注意机制获取信息的立场特征,并融合立场特征与推文特征;最后,设计多任务目标函数使立场分类任务更好地协助验证谣言。实验结果表明,所提模型在RumorEval数据集上的准确度和Macro?F1较基线模型RV?ML分别提升了10.7个百分点和11.2个百分点,可以更有效地检验谣言,减少谣言的泛滥。     

面向方面抽取与情感分类的多任务联合建模

基于方面的细粒度情感分析包括方面术语抽取和方面情感分类两项任务,以独立方式解决以上两项任务的研究方法无法利用彼此之间的关联信息,同时也会造成训练冗余和资源浪费。针对上述问题,在多任务学习框架下提出一种基于位置嵌入和图卷积网络的联合模型（PE-GCN）,以端到端方式整体解决方面术语抽取和方面情感分类。该模型首先通过双向门控循环单元网络学习句子的语义特征表示;随后利用位置嵌入增强句子中方面术语的识别,同时使用图卷积网络生成包含句法信息的上下文表示;最后通过交互注意力网络建模上下文和方面术语之间的语义关系,并通过softmax输出方面术语的情感极性。在SemEval-2014公开数据集上的实验结果表明,提出的模型与其他现有模型相比性能有显著的提升。     

基于事件-词语-特征异质图的微博谣言检测新方法

当前微博谣言检测研究大多基于微博原文、评论内容及其相互关系,忽略了情感特征、语法特征及语言特征等重要因素的影响。为此,该文提出了一种基于事件-词语-特征异质图的微博谣言检测新方法。首先,在传统方法基础上引入情感、语法、心理等方面的知识,提出文本特征的概念以有效挖掘微博事件中蕴含的情感特征、语法特征以及语言特征。然后,综合微博评论、文本词语及文本特征对谣言检测结果的影响,构建用于谣言检测的事件-词语-特征异质图。最后,利用GraphSAGE和异质图注意力网络在节点表达方面的优势提出新的节点信息聚合方法,以此在区分节点类型重要性的同时降低节点集规模带来的影响。实验结果表明,该方法能有效提高微博事件表示的准确性;相对于传统机器学习方法和典型的深度学习方法而言,该方法在谣言检测精度上具有明显优势。     

Pairwise tagging framework for end-to-end emotion-cause pair extraction

Emotion-cause pair extraction (ECPE) aims to extract all the pairs of emotions and corresponding causes in a document. It generally contains three subtasks, emotions extraction, causes extraction, and causal relations detection between emotions and causes. Existing works adopt pipelined approaches or multi-task learning to address the ECPE task. However, the pipelined approaches easily suffer from error propagation in real-world scenarios. Typical multi-task learning cannot optimize all tasks globally and may lead to suboptimal extraction results. To address these issues, we propose a novel framework, Pairwise Tagging Framework (PTF), tackling the complete emotion-cause pair extraction in one unified tagging task. Unlike prior works, PTF innovatively transforms all subtasks of ECPE, i.e., emotions extraction, causes extraction, and causal relations detection between emotions and causes, into one unified clause-pair tagging task. Through this unified tagging task, we can optimize the ECPE task globally and extract more accurate emotion-cause pairs. To validate the feasibility and effectiveness of PTF, we design an end-to-end PTF-based neural network and conduct experiments on the ECPE benchmark dataset. The experimental results show that our method outperforms pipelined approaches significantly and typical multi-task learning approaches.     

多任务学习在不良言论与个体特征检测中的应用

多任务学习在自然语言处理领域有广泛应用, 但多任务模型往往对任务间的相关性比较敏感. 如果任务相关性较低或信息传递不合理, 可能会严重影响任务性能. 本文提出了一种新的共享-私有结构的多任务学习模型BB-MTL (BERT-BiLSTM multi-task learning model), 并借助元学习的思想为其设计了一种特殊的参数优化方式MLL-TM (meta-learning-like train methods). 进一步引入一个新的信息融合门SoWLG (Softmax weighted linear gate), 用于选择性地融合每项任务的共享特征与私有特征. 实验验证所提出的多任务学习方法, 考虑到用户在网络上的行为与其个体特征密切相关, 文中结合了不良言论检测、人格检测和情绪检测任务进行了一系列实验. 实验结果表明, BB-MTL能够有效学习相关任务中的特征信息, 在3项任务上的准确率分别达到了81.56%、77.09%和70.82%.     

Rumor detection with self-supervised learning on texts and social graph

Rumor detection has become an emerging and active research field in recent years. At the core is to model the rumor characteristics inherent in rich information, such as propagation patterns in social network and semantic patterns in post content, and differentiate them from the truth. However, existing works on rumor detection fall short in modeling heterogeneous information, either using one single information source only (e.g., social network, or post content) or ignoring the relations among multiple sources (e.g., fusing social and content features via simple concatenation).Therefore, they possibly have drawbacks in comprehensively understanding the rumors, and detecting them accurately. In this work, we explore contrastive self-supervised learning on heterogeneous information sources, so as to reveal their relations and characterize rumors better. Technically, we supplement the main supervised task of detection with an auxiliary self-supervised task, which enriches post representations via post self-discrimination.Specifically, given two heterogeneous views of a post (i.e., representations encoding social patterns and semantic patterns), the discrimination is done by maximizing the mutual information between different views of the same post compared to that of other posts. We devise cluster-wise and instance-wise approaches to generate the views and conduct the discrimination, considering different relations of information sources. We term this framework as self-supervised rumor detection (SRD). Extensive experiments on three real-world datasets validate the effectiveness of SRD for automatic rumor detection on social media.     

基于多传递影响力的社交媒体谣言检测方法

社交媒体谣言检测是当前研究的热点问题,现有方法多数通过获取大量用户属性学习用户特征,但不适用于谣言的早期检测,忽略了用户之间的潜在关系对信息传播的影响。提出一种基于多传递影响力的谣言检测方法,根据源微博及其对应转发(评论)之间的关系构建文本信息传播图,并通过图卷积神经网络来捕获、学习文本信息的传播特征。利用文本信息和用户传播过程中的影响力,丰富可用于谣言检测早期的检测信息。将存在转发关系的用户构成用户影响力传播图,构建一种用户节点影响力学习方法,获取用户节点影响力,以增强用户特征信息。在此基础上,将文本特征与用户特征融合以进行谣言检测,从而提升检测效果。在3个真实社交媒体数据集上的实验结果表明,该方法在谣言自动检测以及早期检测的效果都有显著提升,与目前最好的基准方法相比,在微博、Twitter15、Twitter16数据集上的正确率分别提高了2.8%、6.9%和3.4%。     

基于BERT模型的增强混合神经网络的谣言检测

网络社交平台中大量谣言的广泛传播严重影响社会稳定。传统谣言检测方法无法有效处理文本中多义词和突出重要关键词,造成检测效果不理想。针对该问题,提出一种基于BERT模型的增强混合神经网络的谣言检测方法。该方法使用BERT模型将推文向量化,通过3种不同尺寸的卷积核学习推文特征,将这些特征进行最大池化拼接得到特征序列,并输入到BiLSTM中学习序列特征。同时引入Attention机制计算注意力分值,实现谣言检测。在公开数据集Twitter15和Twitter16上的实验结果表明,该方法相较于其他方法在谣言检测性能方面提升明显,并在早期检测阶段表现出卓越的检测能力,检测准确率提高了5个百分点。     

基于注意力机制的多模态融合谣言检测方法

谣言会对社会生活造成不利影响,同时具有多种模态的网络谣言比纯文字谣言更容易误导用户和传播,这使得对多模态的谣言检测不可忽视。目前关于多模态谣言检测方法没有关注词与图片区域对象之间的特征融合,因此提出了一种基于注意力机制的多模态融合网络AMFNN应用于谣言检测,该方法在词-视觉对象层面进行高级信息交互,利用注意力机制捕捉与关键词语相关的视觉特征;提出了基于自注意力机制的自适应注意力机制Adapive-SA,通过增加辅助条件来约束内部的信息流动,使得模态内的关系建模更有目标性和多样性。在两个多模态谣言检测数据集上进行了对比实验,结果表明,与目前相关的多模态谣言检测方法相比,AMFNN能够合理地处理多模态信息,从而提高了谣言检测的准确性。     

基于信息传递的谣言源检测新算法

近年来,谣言和谣言源检测受到了多领域学者的广泛关注,准确高效地发现社交网络中谣言传播源具有非常重要的理论和现实意义。大多数传统检测方法通常只检测是否存在谣言,很少检测谣言的源头。MPA（Message-passing Algorithm）是基于谣言中心性（Rumor Centrality）的一种谣言源检测方法,在该方法基础上提出一种改进的IMPA算法（Improved Message-passing Algorithm）,用以提高相关算法的准确率。实验结果表明,新算法检测谣言源的准确率更高,此外,针对相同的检测任务,其实际执行时间更短。     

融合用户历史传播信息的微博谣言检测

随着互联网技术的发展,以微博为主的社交媒体平台上网络谣言逐渐泛滥,研究微博谣言的自动检测对维护社会稳定具有重要意义。现今主流的基于深度学习的谣言检测方法普遍存在没有充分考虑微博文本语义信息的问题,同时,过分依赖传播信息的谣言检测方法使得检测时间滞后,不能满足谣言检测的现实需求。针对以上问题,本文提出一种融合用户历史交互信息的微博谣言检测模型,不使用待检测微博的传播信息,构建并训练AbaNet(ALBERT-BiGRU-Attention)深度学习网络模型,充分考虑待检测微博和用户历史传播信息文本的文本特征和语义信息进行谣言检测。实验结果显示,本文模型具有准确率高、稳定性强的特点,并且能够在获得较高检测精度的情况下大大缩短谣言检测的时间。     

基于标记信息级联传播树特征的谣言检测新方法

近年来新浪微博已成为国内重要的社交媒体平台之一,然而该类平台开放的匿名环境给谣言提供了滋生、传播的温床,造谣传谣给社会带来的消极影响不容忽视。传统的基于特征的谣言检测研究主要关注消息文本、发布用户、传播等方面的静态扁平特征,忽略了对消息传播演化结构和传播群体反应等方面的研究。针对此问题,首先将消息传播的级联模型引入标记传播树（LPT）模型中,提出改进的标记信息级联传播树模型（CA-LPT）;在此模型下提出一种动态度量用户影响力的方法;然后提出10个新特征以扩充已有的静态扁平特征集,再利用基于随机通路图核和RBF核的混合核支持向量机（SVM）进行谣言检测;最后通过基于新浪微博真实数据集的实验分析,验证了所提方法能提升谣言检测的性能。