基于共享BERT和门控多任务学习的事件检测方法

事件检测任务的目标是从文本中自动获取结构化的事件信息。目前基于表示学习的神经事件检测方法能够有效利用潜在语义信息,但人工标注数据集的语义知识含量有限,制约了神经网络模型的认知广度。相对地,多任务表示学习框架,有助于模型同时学习不同任务场景中的语义知识,从而提升其认知广度。BERT预训练模型得益于大规模语言资源的充沛语义信息,具有高适应性(适应不同任务)的语义编码能力。因此,该文提出了一种基于BERT的多任务事件检测模型。该方法将BERT已经包含的语义知识作为基础,进一步提升多任务模型的表示、学习和语义感知能力。实验表明,该方法有效提高了事件检测的综合性能,其在ACE2005语料集上事件分类的F₁值达到了76.7%。此外,该文在实验部分对多任务模型的训练过程进行了详解,从可解释性的层面分析了多任务架构对事件检测过程的影响。     

基于深度多任务学习的层次分类

针对现有的深度卷积神经网络往往训练平行的分类器层,很少关注类别的层次性结构,导致均衡性分类器训练难度较大的问题,提出一种结构化的深度多任务学习算法.该算法结合深度卷积神经网络与层次分类,使类别之间的结构性信息融入至深度卷积神经网络中.依托树形的类别结构设计了一个带有共享层的多分支网络结构,并使用一种关联性多任务分类器学习算法协同训练各网络分支的分类器层;为了抑制层次间的误差传播,在各分支网络的分类器层的学习过程中添加一个基于父子关系的结构化限制.采用CIFAR100和手工采集到服装数据集,在tensorflow平台上进行实验,结果表明文中算法相比于基准网络可以提高2%~4%的分类准确度.     

基于多任务深度学习的关键词生成方法

针对现有的关键词生成模型往往不能充分利用题目与关键词之间密切的关系预测关键词的问题,提出一种基于序列到序列的多任务注意力联合训练模型(Joint-MT)。将关键词生成任务作为主要任务,题目生成作为辅助任务;在目标函数上,除独立的多任务交叉熵损失,还添加一致性损失,加强多任务注意力机制之间的约束。实验结果表明,Joint-MT无论是在文内关键词预测还是在缺失关键词预测上都优于其它对比模型,说明Joint-MT模型能够增强任务之间的相互关系,提升关键词预测的效果。     

基于深度学习的运动目标交接算法

针对多摄像机非重叠视域下存在的运动目标不连续性和不确定性的问题,提出一种基于深度学习的运动行人目标的交接算法.首先基于深度卷积神经网络构建人脸特征提取模型,对人脸特征提取模型进行训练,获得精确的人脸特征.然后比较两种常用的相似度度量方法,选择其中一种更适合的相似度度量方法,以完成最优的人脸匹配过程,提高人脸匹配的准确率.最后通过对不同摄像机下的人脸进行特征匹配找到最匹配的人脸,实现运动目标的交接.实验表明,深度神经网络可以减少运动目标丢失的概率,准确地提取到运动目标的人脸特征,有效完成多摄像机下运动目标的交接跟踪任务.     

基于多任务学习的炼钢终点预测方法

钢水质量通常根据终点命中率来判断,但炼钢过程影响因素众多,机理分析难以准确预测终点温度和含碳量,鉴于此,提出一种由数据驱动的多任务学习（MTL）炼钢终点预测方法。首先,分析并提取炼钢过程的输入和输出要素,结合炼钢两阶段吹炼特点选择多个子学习任务;其次,根据子任务与终点参数的相关性选择合适的子任务,提升终点预测的准确度并构建多任务学习模型,再对模型输出结果进行二次优化;最后,通过近端梯度算法对处理后的生产数据进行模型训练,获取多任务学习模型的过程参数。以某钢厂为案例,该方法相比神经网络在终点温度12℃误差范围内和终点含碳量0.01%误差内的准确度提升了10%,误差范围6℃和0.005%的预测准确度分别提升了11%和7%。实验结果表明,多任务学习在实际中能够提升终点预测的准确性。     

基于共享随机效应和特异稀疏效应的混合多任务学习模型

在多任务学习问题中,随机效应(random effects)可能同时存在于所有子任务中,而每个子任务又存在对应的稀疏效应(sparse effects).这在文本分析尤其在对电影评论的情感分析中,尤为常见.在本文中,我们提出一种用于数据中同时存在共享随机效应和特定稀疏效应的混合多任务学习模型,并命名为MSS (mult...     

基于动态多任务平衡方法的行人属性识别深度学习网络

深度学习网络是计算机视觉和人工智能系统的研究热点之一,行人属性识别提供了结构化的行人特征,为安防计算机视觉识别中行人检索提供了重要的信息.基于深度学习网络,提出了一种端到端的多属性识别方法,在R*CNN的基础上设计了一个端到端的行人属性识别网络,使用候选区域提取网络代替Selective Search提取第二重要的区域,建立属性识别与辅助区域提取一体化的网络,提升局部及细节属性识别的准确率;其次,为增加辅助区域的作用,将人体感兴趣区域按比例划分为整体、头、肩膀到腰及腰到脚4个部分,每个部分对应了不同属性,在任务分支层分出4个分支,使用主要区域预测对应属性的同时,分别从RPN中学习到对应的第二重要区域辅助预测;最后,提出了基于损失梯度的损失权值自动更新方法,即权重与损失的梯度逆相关,防止某个任务训练的过快或过慢.通过在行人属性数据库进行实验,整体提升了属性预测的准确率,大大缩短了识别时间.     

基于共享矢量链的多任务概念漂移分类方法

增强型时间自适应支持向量机在针对单一概念漂移问题时展现出了良好效果,但是无法协同求解多个概念漂移问题.然而,在很多应用场景中,有时会包含数个具有内在相关性的非静态数据集,它们各自的分类模型应充分考虑这种关联.为了反映出各概念漂移分类模型之间的相关部分,提出共享矢量链的概念,并开发面向多任务概念漂移问题的共享矢量链支持向量机(SVC-SVM).在模拟数据集及气体传感器阵列漂移数据集上的实验结果显示,协同求解多个具有相关性的概念漂移问题能够有效提升各自的泛化能力.     

基于遗传算法的多任务学习

机器学习中冗余特征会降低学习器的性能,而特征选择方法可以去掉一些冗余特征.然而,冗余特征也包含有用信息,因此可以利用多任务学习的概念,通过重复利用冗余特征提高预测精度.但是,如何确定哪些特征作为输入和输出仍然是一个待解决的问题.之前的工作是在多任务学习当中,运用遗传算法来确定哪些特征作为输入,哪些作为输出,取得了较好的效果,但是该算法不足之处是没有考虑到不相关特征.现将特征分为三部分:输入的特征、输出的特征和不相关特征,提出了对一个特征进行双位编码的遗传算法搜索策略.在基因芯片数据上的实验结果表明,提出的新算法e-GA-MTL比已有基于遗传算法的GA-M-TL和其它启发式方法效果更好.     

基于多任务学习的肝脏肿瘤自动分割方法

针对深度学习医学影像分割所需的标注数据获取困难且数量少的问题,提出一种基于多任务学习的肝脏肿瘤自动分割方法.提出该方法的主要动机一方面是想要缓解分割数据样本少的问题,另一方面是想要利用不同任务之间有用的信息来提升整体的学习效果.该方法所采用数据集一部分是逐像素的分割数据集,一部分是形式为bounding-box的目标检...     

基于级联多任务深度学习的卡口识别引擎研究

针对在将卡口非结构化视频图像数据转化为智能结构化信息的过程中存在环境的复杂性、需求的多样性、任务的关联性和识别的实时性等问题,提出了一种级联多任务深度学习网络的卡口识别引擎方法,其通过充分利用分割、检测、识别等任务之间的相互联系实现了高精度的、高效的、同步实时的卡口车辆多种基本信息的识别(车型、品牌、车系、车身颜色以及车牌等识别任务)。首先,利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从卡口道路复杂背景中提取出感兴趣区域(包括多车辆对象);然后,利用多任务深度学习网络对提取出来的车辆对象实现多层次的多任务识别。实验结果表明,提出的方法在识别精度和效率上都明显优于传统计算机视觉方法和现有的基于深度学习的识别引擎技术,该方法对车型、品牌、车系及车牌的识别与检测精度均达到98%以上,检测效率提升了1.6倍。     

基于多任务学习的微博谣言检测方法

微博谣言的广泛传播给当今社会造成了日益严峻的负面影响。基于深度神经网络的方法存在缺少大量带标签的数据。研究发现,谣言经常伴随负面情感,而非谣言则伴随正面情感,考虑到谣言与非谣言之间表现出的相反情感倾向性,提出一种将谣言检测和情感分析这两个高度相关的任务结合起来学习的多任务学习方法,为了尽可能多地挖掘不同任务之间的关联,全面分析谣言检测任务的特征,设计了一个由BERT和BiGRU联合的多任务学习框架（BERT-BiGRU-MTL,BBiGM）。利用权值共享的方法对两个任务进行联合训练,同时提取出任务之间的共同特征和针对谣言检测任务的特定特征,利用情感分析任务辅助谣言检测。研究结果表明,该方法在准确率、精确率、F1值评测指标上优于采用单任务学习的方法。     

基于深度多任务学习的图像美感与情感联合预测研究

图像美学评价和情感分析任务旨在使计算机可以辨认人类由受到图像视觉刺激而产生的审美和情感反应.现有研究通常将它们当作两个相互独立的任务.但是,人类的美感与情感反应并不是孤立出现的;相反,在心理认知层面上,两种感受的出现应是相互关联和相互影响的.受此启发,采用深度多任务学习方法在统一的框架下处理图像美学评价和情感分析任务,深入探索两个任务间的内在关联.具体来说,提出一种自适应特征交互模块将两个单任务的基干网络进行关联,以完成图像美学评价和情感分析任务的联合预测.该模块中引入了一种特征动态交互机制,可以根据任务间的特征依赖关系自适应地决定任务间需要进行特征交互的程度.在多任务网络结构的参数更新过程中,根据美学评价与情感分析任务的学习复杂度和收敛速度等差异,提出一种任务间梯度平衡策略,以保证各个任务可以在联合预测的框架下平衡学习.此外,构建了一个大规模的图像美学情感联合数据集UAE.据已有研究,该数据集是首个同时包含美感和情感标签的图像集合.本模型代码以及UAE数据集已经公布在https://github.com/zhenshen-mla/Aesthetic-Emotion-Dataset.     

基于深度学习的证件照人脸识别方法

为解决安防业务中对人脸识别技术的迫切需求,进行了基于深度学习的证件照人脸识别方法的研究与实现.对人脸识别各关键技术环节进行了实现并进行了算法对比,同时提出了使用Siamese网络进行特征重映射的方法进一步提升人脸识别精度.实验结果表明,使用证件照构建的人脸库,通过基于深度学习的算法实现了高效精确的人脸识别.     

基于多任务学习的蜡染纹样图案检索方法

为解决数字文化遗产保护中民族图案的解读与重用中存在的问题,以贵州苗族蜡染纹样为例,提出一种基于多任务学习的跨模态检索方法,实现图-图与文-图的检索模式.该方法采用BERT预训练模型析出文本特征,以ResNet50为基础,通过网络结构的改进对图片特征进行提取,并定义两个损失函数实现多个预测任务的图案检索.在Batik D...     

基于深度学习的焊缝图像边缘识别相似度检测

在高压天然气输送管线安装和压力容器制造过程中需要大量的焊接操作,射线检测在焊缝缺陷检测中应用广泛。传统人工识别评定缺陷和重复图像的方法,由于工程周期漫长、焊缝图像数量巨大,识别效率低、错误率较高,不能有效保证施工质量,杜绝射线胶片图像造假等问题。针对焊缝探伤图像造假现象,提出基于深度学习的焊缝图像边缘识别相似度检测方法,实现对X射线焊缝图像的特征提取。建立相似度评估方法,计算焊缝图像特征相似度,筛选重复图像;实现自动读取、识别数据库焊缝图像的相关功能;给出基于边缘识别的技术路径和优化算法,建立特征数据库,进行相似度判定。实验结果表明,在一定阈值设定下,该算法对重复图像的识别结果能达到92.3%。     

基于多任务学习的生成式阅读理解

生成式阅读理解是机器阅读理解领域一项新颖且极具挑战性的研究。与主流的抽取式阅读理解相比,生成式阅读理解模型不再局限于从段落中抽取答案,而是能结合问题和段落生成自然和完整的表述作为答案。然而,现有的生成式阅读理解模型缺乏对答案在段落中的边界信息以及对问题类型信息的理解。为解决上述问题,该文提出一种基于多任务学习的生成式阅读理解模型。该模型在训练阶段将答案生成任务作为主任务,答案抽取和问题分类任务作为辅助任务进行多任务学习,同时学习和优化模型编码层参数;在测试阶段加载模型编码层进行解码生成答案。实验结果表明,答案抽取模型和问题分类模型能够有效提升生成式阅读理解模型的性能。     

基于有序多任务学习的司法二审判决预测方法

司法二审判决预测任务旨在基于一审判决、新发现事实、上诉理由等文本材料预测二审程序的判决结果,其难点在于如何捕捉两审法院对案件事实的认知异同来生成可解释的预测。针对上述难点,该文提出一种基于有序多任务学习的二审判决预测方法SIJP-SML,该方法通过两个时序依赖的多任务学习部分对一审到二审的完整审判逻辑进行建模,以提取并融合一、二审法院对案件事实的认知表示来预测二审判决。同时,SIJP-SML在多任务学习中引入法院观点生成任务来输出具有一定可读性的判决理据,以增强预测的可解释性。在6万余份二审裁判文书数据上的实验结果证明了SIJP-SML的有效性和合理性,其综合性能优于所有基线方法。