基于多任务学习的网络谣言检测研究

当今,社交媒体已经成为获取信息的主要来源。通过社交媒体平台,谣言以前所未有的速度传播,传播给全球受众,并使用户和社会面临巨大风险,尽早发现并阻止谣言是极其重要的。基于深度学习的方法在谣言检测中表现出很好的性能。但是,很多研究方法都是单任务学习,而且缺少外部知识对内容的检查,因此从知识增强角度出发,将谣言检测和主题领域分类这两个相关的任务结合起来进行多任务学习,以补充微博帖子的语义表示,提升谣言检测性能。     

基于数据增强和多任务特征学习的中文语法错误检测方法

由于中文语法的复杂性,中文语法错误检测(CGED)的难度较大,而训练语料和相关研究的缺乏,使得CGED的效果还远未达到实用的程度。该文提出一种CGED模型,APM-CGED,采用数据增强、预训练语言模型和基于语言学特征多任务学习的方式,弥补训练语料的不足。数据增强能够有效地扩充训练集,而预训练语言模型蕴含丰富的语义信息又有助于语法分析,基于语言学特征多任务学习对语言模型进行优化则可以使语言模型学习到跟语法错误检测相关的语言学特征。该文提出的方法在NLPTEA的CGED数据集进行测试,取得了优于其他对比模型的结果。     

面向轨道分割与侵入物检测的多任务学习

轨道车智能防护会涉及轨道车侵入物检测与行驶区域分割任务,在深度学习领域已有针对各任务的算法,却无法很好满足多任务情形时的需求.该算法使用轻量级卷积神经网络(CNN)作为编码器提取特征图,随之将特征图送到两个基于one-stage检测网络的解码器中,进而完成各自的任务.不同级别和尺度的语义特征在编码器输出的特征图中被融合,良好地完成像素级语义预测,在检测和分割效果上有明显提升.采用本算法的设备将掌握对新目标的识别检测判断与追踪,为提升轨道车行驶安全做出保障.     

多任务机制在单片机检测及通信中的应用

为了适应多种定时检测应用的要求,本文将操作系统中多任务机制引入到单片机监测及通信系统中,并详细讨论了该机制的实现方法。     

基于语义拼写理解和门控注意力机制的不良言论检测

如何自动检测网络传播的不良言论信息是自然语言处理研究领域的热门研究内容之一。针对不良言论中语义表达和拼写习惯的特点,提出一种基于语义拼写理解和门控注意力机制的不良言论检测方法。该方法采用自注意力机制获取文本的语义特征,采用卷积神经网络提取文本的拼写特征,采用前期特征融合和门控注意力机制相结合的方式融合语义和拼写特征。在两个公共数据集上的实验结果表明,提出的模型能够有效地提取不良言论的语义特征,提高不良言论检测的性能。     

语音增强与检测的多任务学习方法研究

在许多语音信号处理的实际应用中,都要求系统能够低延迟地实时处理多个任务,并且对噪声要有很强的鲁棒性。针对上述问题,提出了一种语音增强和语音活动检测（Voice Activity Detection,VAD）的多任务深度学习模型。该模型通过引入长短时记忆（Long Short-Term Memory,LSTM）网络,构建了一个适合于实时在线处理的因果系统。基于语音增强和VAD的强相关性,该模型以硬参数共享的方式连接了两个任务的输出层,不仅减少了计算量,还通过多任务学习提高了任务的泛化能力。实验结果表明,相较串行处理两个任务的基线模型,多任务模型在语音增强结果非常相近、VAD结果更优的情况下,其速度快了44.2%,这对于深度学习模型的实际应用和部署将具有重要的意义。     

基于多任务学习的微博谣言检测方法

微博谣言的广泛传播给当今社会造成了日益严峻的负面影响。基于深度神经网络的方法存在缺少大量带标签的数据。研究发现,谣言经常伴随负面情感,而非谣言则伴随正面情感,考虑到谣言与非谣言之间表现出的相反情感倾向性,提出一种将谣言检测和情感分析这两个高度相关的任务结合起来学习的多任务学习方法,为了尽可能多地挖掘不同任务之间的关联,全面分析谣言检测任务的特征,设计了一个由BERT和BiGRU联合的多任务学习框架（BERT-BiGRU-MTL,BBiGM）。利用权值共享的方法对两个任务进行联合训练,同时提取出任务之间的共同特征和针对谣言检测任务的特定特征,利用情感分析任务辅助谣言检测。研究结果表明,该方法在准确率、精确率、F1值评测指标上优于采用单任务学习的方法。     

多任务学习及卷积神经网络在人脸识别中的应用

随着深度学习的发展,近年来人脸识别借助深度学习技术取得了巨大突破。但是在已有的基于深度学习的人脸识别框架中,各个任务（人脸鉴别、认证和属性分类等）都是相互独立设计、运作的,使得整体算法低效、耗时。针对这些问题,提出一种基于多任务框架的深度卷积网络。通过将人脸鉴别、认证和属性分类同时作为网络目标函数,端到端地训练整个深度卷积网络,算法简洁高效。此网络可以同时完成上述三个任务,不需要额外的步骤。实验结果显示,即使在有限的数据支持下,该方法依然能够取得不错的性能,在人脸识别权威数据集LFW上获得了97.3%的精度。     

基于共享BERT和门控多任务学习的事件检测方法

事件检测任务的目标是从文本中自动获取结构化的事件信息。目前基于表示学习的神经事件检测方法能够有效利用潜在语义信息,但人工标注数据集的语义知识含量有限,制约了神经网络模型的认知广度。相对地,多任务表示学习框架,有助于模型同时学习不同任务场景中的语义知识,从而提升其认知广度。BERT预训练模型得益于大规模语言资源的充沛语义信息,具有高适应性(适应不同任务)的语义编码能力。因此,该文提出了一种基于BERT的多任务事件检测模型。该方法将BERT已经包含的语义知识作为基础,进一步提升多任务模型的表示、学习和语义感知能力。实验表明,该方法有效提高了事件检测的综合性能,其在ACE2005语料集上事件分类的F₁值达到了76.7%。此外,该文在实验部分对多任务模型的训练过程进行了详解,从可解释性的层面分析了多任务架构对事件检测过程的影响。     

环境辅助的多任务混合声音事件检测方法

在混合声音事件检测任务中,不同事件的声音信号相互混杂,从混合语音信号中提取的全局特征无法很好地表达每种单独的事件,导致当声音事件数量增加或者环境变化时,声音事件检测性能急剧下降。目前已存在的方法尚未考虑环境变化对检测性能的影响。鉴于此,文中提出了一种基于多任务学习的环境辅助的声音事件检测模型(Environment-Assisted Multi-Task,EAMT),该模型主要包含场景分类器和事件检测器两大核心部分,其中场景分类器用于学习环境上下文特征,该特征作为事件检测的额外信息与声音事件特征融合,并通过多任务学习方式来辅助声音事件检测,以此提高模型对环境变化的鲁棒性及多目标事件检测的性能。基于声音事件检测领域的主流公开数据集Freesound以及通用性能评估指标F1分数,将所提模型与基准模型(Deep Neural Network,DNN)及主流模型(Convolutional Recurrent Neural Network,CRNN)进行对比,共设置了3组对比实验。实验结果表明:1)相比单一任务的模型,基于多任务学习的EAMT模型的场景分类效果和事件检测性能均有所提升,且环境上下文特征的引入进一步提升了声音事件检测的性能;2)EAMT模型对环境变化具有更强的鲁棒性,在环境发生变化时,EAMT模型事件检测的F1分数高出其他模型2%~5%;3)在目标声音事件数量增加时,相比其他模型,EAMT模型的表现依旧突出,在F1指标上取得了2%~10%的提升。     

基于多任务学习的生成式阅读理解

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究。与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案。然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解。为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型。该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案。实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能。     

一种结合限制的多任务学习策略及其应用

定义任务之间的偏序限制,基于偏序限制可以联系原先独立的任务.分析偏序限制的应用,给出一个协同演化的多任务学习框架,它反复地通过各个任务的独立演化以寻优,通过联合调整以结合偏序限制.给出本框架在构建猪肉预冷损耗曲线过程中的应用:考虑了低湿损耗曲线与中湿损耗曲线间的偏序关系,利用协同演化,在样本量很少时,也能获得合理的低湿和中湿损耗曲线.对于4个标准测试函数的测试显示了本策略对于一般问题的有效性.     

基于深度多任务学习的图像美感与情感联合预测研究

图像美学评价和情感分析任务旨在使计算机可以辨认人类由受到图像视觉刺激而产生的审美和情感反应.现有研究通常将它们当作两个相互独立的任务.但是,人类的美感与情感反应并不是孤立出现的;相反,在心理认知层面上,两种感受的出现应是相互关联和相互影响的.受此启发,采用深度多任务学习方法在统一的框架下处理图像美学评价和情感分析任务,深入探索两个任务间的内在关联.具体来说,提出一种自适应特征交互模块将两个单任务的基干网络进行关联,以完成图像美学评价和情感分析任务的联合预测.该模块中引入了一种特征动态交互机制,可以根据任务间的特征依赖关系自适应地决定任务间需要进行特征交互的程度.在多任务网络结构的参数更新过程中,根据美学评价与情感分析任务的学习复杂度和收敛速度等差异,提出一种任务间梯度平衡策略,以保证各个任务可以在联合预测的框架下平衡学习.此外,构建了一个大规模的图像美学情感联合数据集UAE.据已有研究,该数据集是首个同时包含美感和情感标签的图像集合.本模型代码以及UAE数据集已经公布在https://github.com/zhenshen-mla/Aesthetic-Emotion-Dataset.     

基于多任务学习的糖尿病视网膜病变图像分割

针对糖尿病视网膜病变(DR)图像,提出了一种基于多任务学习的图像多分类分割方法.首先,通过Otsu阈值算法将大部分无病灶信息像素去除;其次,通过滑动窗口切割的方法将图像切分为若干小尺寸的图像,以解决医学图像分辨率过大以及病灶在图像中占比较小的问题;再次,将不存在病灶的子图剔除,以增大含病灶子图的比例;最后,利用UNet++多任务学习属性,并且用转置卷积代替传统上采样,进行多输出多病灶的图像分割.通过在国际公开的IDRID和DDR数据集上进行验证,在IDRi D上取得0.713 1的m AUPR,在DDR上取得0.569 1的m AUPR.     

基于多任务学习的生物医学实体关系抽取

生物医学实体关系抽取是生物医学文本挖掘领域的一项重要任务,它可以自动从生物医学文本中挖掘实体间的相互关系。目前,生物医学实体关系抽取方法一般只针对某一特定任务(如药物关系,蛋白质交互关系抽取等)训练单任务模型进行抽取,忽略了多个任务之间的相关性。因此,该文使用基于神经网络的多任务学习方法对多个生物医学关系抽取任务间的关联性进行了探索。首先构建了全共享模型和私有共享模型,然后在此基础上提出了一种基于Attention机制的主辅多任务模型。在生物医学领域关系抽取的5个公开数据集上的实验结果表明,该文的多任务学习方法可以有效地在学习任务之间共享信息,使得任务间互相促进,获得了比单任务方法更好的关系抽取结果。     

基于联合学习的成分句法与AMR语义分析方法

抽象语义表示(Abstract Meaning Representation,AMR)解析任务是从给定的文本中抽象出句子的语义特征,成分句法分析(Constituency Parsing)任务则探寻句子中的层次逻辑结构。由于AMR解析和成分句法分析之间存在着很强的互补性,抽象语义需要把握文本的句法结构,而句法分析可以通过理解句子中的语义信息来避免歧义,因此该文提出了一种联合训练方法用于捕获两个任务之间的内部联系从而提升各自任务的性能。此外,为了解决两个任务由于数据量过少造成的数据依赖问题,该文利用外部语料获得大规模自动标注 AMR 图以及自动标注句法树,并基于上述联合学习方法,采用预训练+微调的半监督学习方法进行训练。实验结果表明,该方法可以有效提高模型的性能,其中AMR解析任务在AMR 2.0上提升了8.73个F₁值,句法分析在PTB上获得了6.36个F₁值的提升。