基于逻辑回归的多任务域快速分类学习算法

多任务学习通过寻找并共享不同任务域之间的共性特征来完成学习,利用知识迁移加速不同任务域的学习为每个任务域构建一个分类器。提出了一种基于罗杰斯特回归模型的多任务学习方法MTC-LR（Multi-task Coupled Logistic Regression）。“罗杰斯特回归模型”已经被成功应用于单任务分类器上,该模型被众多实验证明是有效的,正是这种方法给人们带来了启示。从理论上证明了通过构造多任务分类器的“开销函数”和“差异性度量函数”,MTC-LR算法可以提高多任务分类器的各自分类精度。相比传统的基于SVM的多任务学习方法,MTC-LR并不依赖于核方法而是通过共轭梯度下降法寻找各个分类器的最优参数。同时MTC-LR与采用“罗杰斯特回归模型”的快速算法CDdual更容易结合,可扩展至大样本的多任务分类学习。正是基于上述发现,为了充分高效利用大样本的多任务域数据,满足大样本的快速运算,在MTC-LR算法的基础上,结合最新的CDdual（The Dual Coordinate Descent Method）算法,提出了MTC-LR的快速算法MTC-LR-CDdual,并对该算法进行了相关的理论分析。将该算法在人工数据集和真实数据集上进行了验证,实验结果表明该算法有着较高的识别率、快速的识别速度和较好的鲁棒性。     

基于交叉层级数据共享的多任务模型

针对多任务学习模型中相关度低的任务之间存在的负迁移现象和信息共享困难问题,提出了一种基于交叉层级数据共享的多任务模型。该模型关注细粒度的知识共享,且能保留浅层共享专家的记忆能力和深层特定任务专家的泛化能力。首先,统一多层级共享专家,以获取复杂相关任务间的公共知识;然后,将共享信息分别迁移到不同层级的特定任务专家之中,从而在上下层之间共享部分公共知识;最后,利用基于数据样本的门控网络自主选择不同任务所需信息,从而减轻样本依赖性对模型的不利影响。相较于多门控混合专家（MMOE）模型,所提模型在UCI census-income数据集上对两个任务的F1值分别提高了7.87个百分点和1.19个百分点;且在MovieLens数据集上的回归任务的均方误差（MSE）值降低到0.004 7,分类任务的AUC值提高到0.642。实验结果表明,所提出的模型适用于改善负迁移现象的影响,且能更高效地学习复杂相关任务之间的公共信息。     

MTL-BERT:一种结合BERT的中文文本多任务学习模型

单任务学习常常受限于单目标函数的不足,多任务学习能有效利用任务相关性的先验性,故而受到了学界的关注.在中文自然语言处理领域,关于多任务学习的研究极为匮乏,该领域需同时考虑到中文文本特征提取和多任务的建模.本论文提出了一种多任务学习模型MTL-BERT.首先将BERT作为特征提取器以提升模型的泛化性.其次分类和回归是机器学习中的两个主要问题,针对多标签分类和回归的混合任务,提出了一种任务权重自适应框架.该框架下,任务之间的权重由联合模型参数共同训练.最后从模型最大似然角度,理论验证了该多任务学习算法的有效性.在真实中文数据集上的实验表明,MTL-BERT具有较好的计算效果.     

基于任务权重自动优化的多任务序数回归算法

目前,只有少量面向多任务学习的序数回归方法。这些方法假设不同的任务具有相同的权重,对整体模型具有相同的贡献。然而,在真实应用中,不同任务对于整体模型的贡献往往是不同的。为此,提出了一种基于任务权重自动优化的多任务序数回归算法。首先,提出了基于支持向量机的多任务序数回归模型,通过分类器参数共享,实现不同任务之间的信息迁移;其次,考虑到不同任务对整体模型可能具有不同贡献,赋予每个任务一个权重,这些权重将在学习过程中自动优化求解;最后,采用了启发式框架,交替地建立多任务序数回归模型和优化任务权重。实验结果表明,提出方法相比于其他多任务序数回归方法,平均0-1误差降低了3.8%～12.3%,平均绝对误差降低了4.1%～11%。考虑了每个任务的不同权重,通过自动优化这些权重,降低了多任务序数回归模型的分类误差。     

高速公路突发事件实体识别及事件分类联合模型研究

针对高速公路突发事件实体识别和事件分类任务中文本表征时存在的一词多义问题,提出使用层次多头注意力网络HMAN来学习文本字向量的高层次特征表示,结合经典的BiLSTM-CRF模型,构建一个称为HMAN-BiLSTM-CRF的多任务联合学习模型.模型共享文本特征表示模块,使用CRF对共享表征进行解码获得最优实体标注序列,而全连接层则根据输入的文本特征预测事件类别.在FEIC数据集上的实验结果显示,本文所提出的HMAN-BiLSTM-CRF在突发事件实体识别和分类两项任务中都优于其他对比模型.     

基于两层知识迁移的多代理多任务优化方法

进化多任务优化是计算智能领域一个新兴的研究方向，它致力于研究通过进化算法如何同时、有效地求解多个优化问题，从而提高单独求解每个任务的性能。基于此，提出了一种基于两层知识迁移的多代理多任务优化算法(AMS-MTO),其通过在代理间和代理内同时进行知识迁移来达到跨域优化的目的。具体来讲，代理内的知识迁移是通过差分进化实现决策变量信息的跨维迁移，从而避免算法陷入局部最优；代理间的学习采用了隐式知识迁移和显式知识迁移两种策略。隐式知识迁移利用种群的选择性交叉来产生后代，促进遗传信息的交流；显式知识迁移是对精英个体的迁移，可以弥补隐式迁移随机性很强的缺点。为了评估两层知识迁移的多代理多任务优化方法的有效性，在8个高达100维的基准问题上进行了实证研究，同时给出了收敛证明，并将其与现有的算法进行了对比。实验结果表明，在求解单目标优化的昂贵问题时，AMS-MTO算法效率更高，性能更好，收敛速度更快。     

一种基于超粒子引导的自适应知识迁移多任务差分进化算法

针对传统多任务优化算法(MTEA)存在负向知识迁移、迁移算子效率低下等问题,提出一种基于超粒子引导的自适应知识迁移的多任务差分进化算法(SAKT＿MFDE).首先,通过任务之间的相似程度自适应地调节任务之间的交配概率,增大任务之间的正向迁移;其次,利用超粒子引导算法的搜索方向,进一步提升算法整体的优化效率;最后,通过多任务基准函数进行仿真实验来评价改进算法的寻优性能.实验结果表明,所提出算法可以有效规避任务之间的负向迁移,提高相似度较低的任务组的优化性能.     

基于多任务自编码器的MOOC课程推荐模型

为解决在线学习当中,学习者行为的数量远少于在线课程的样本总数所产生的数据稀疏问题,提出一种基于多任务自编码器的课程推荐模型（multi-task autoencoder course recommendation model,MAEM）。通过分析学习者的学习行为,将总体任务分为两个子任务：任务一是学习者浏览课程章节列表行为,任务二是完成课程50%的学习行为,通过共享网络底部的隐藏层提高泛化能力。模型总体划分为共享嵌入、自编码器与分解预测、任务组合3个模块,3个模块协同工作,旨在突破训练数据稀疏问题。将MAEM与7种常用的推荐算法比较,实验结果表明,MAEM算法优于7种热门的推荐算法,验证了其在课程推荐中的有效性。     

轮廓指导的层级混合多任务全卷积网络

传统的深度多任务网络通常在不同任务之间共享网络的大部分层（即特征表示）.由于这样做会忽视不同任务各自的特殊性，所以往往会制约它们适应数据的能力.提出一种层级混合的多任务全卷积网络HFFCN，以解决CT图像中的前列腺分割问题.特别地，使用一个多任务框架来解决这个问题，这个框架包括：1）一个分割前列腺的主任务；和2）一个回归前列腺边界的辅助任务.在这里，第二个任务主要是用来精确地描述在CT图像中模糊的前列腺边界.因此，提出的HFFCN架构是一个双分支的结构，包含一个编码主干和两个解码分支.不同于传统的多任务网络，提出了一个新颖的信息共享模块，用以在两个解码分支之间共享信息.这使得HFFCN可以：1）学习任务的通用层级信息；2）同时保留一些不同任务各自的特征表示.在一个包含有313个病人的313张计划阶段图片的CT图像数据集上做了详细的实验，实验结果证明了所提的HFFCN网络可以超越现有其他先进的分割方法，或者是传统的多任务学习模型.     

基于图嵌入编码形态信息的非均匀多任务强化学习方法

传统强化学习方法存在效率低下、泛化性能差、策略模型不可迁移的问题。针对此问题,提出了一种非均匀多任务强化学习方法,通过学习多个强化任务提升效率和泛化性能,将智能体形态构建为图,利用图神经网络能处理任意连接和大小的图来解决状态和动作空间维度不同的非均匀任务,突破模型不可迁移的局限,充分发挥图神经网络天然地利用图结构归纳偏差的优点,实现了模型高效训练和泛化性能提升,并可快速迁移到新任务。多任务学习实验结果表明,与以往方法相比,该方法在多任务学习和迁移学习实验中均表现出更好的性能,在迁移学习实验中展现出更准确的知识迁移。通过引入图结构偏差,使该方法具备更高的效率和更好的迁移泛化性能。     

Flexible latent variable models for multi-task learning

Given multiple prediction problems such as regression or classification, we are interested in a joint inference framework that can effectively share information between tasks to improve the prediction accuracy, especially when the number of training examples per problem is small. In this paper we propose a probabilistic framework which can support a set of latent variable models for different multi-task learning scenarios. We show that the framework is a generalization of standard learning methods for single prediction problems and it can effectively model the shared structure among different prediction tasks. Furthermore, we present efficient algorithms for the empirical Bayes method as well as point estimation. Our experiments on both simulated datasets and real world classification datasets show the effectiveness of the proposed models in two evaluation settings: a standard multi-task learning setting and a transfer learning setting.     

语音增强与检测的多任务学习方法研究

在许多语音信号处理的实际应用中，都要求系统能够低延迟地实时处理多个任务，并且对噪声要有很强的鲁棒性。针对上述问题，提出了一种语音增强和语音活动检测（Voice Activity Detection，VAD）的多任务深度学习模型。该模型通过引入长短时记忆（Long Short-Term Memory，LSTM）网络，构建了一个适合于实时在线处理的因果系统。基于语音增强和VAD的强相关性，该模型以硬参数共享的方式连接了两个任务的输出层，不仅减少了计算量，还通过多任务学习提高了任务的泛化能力。实验结果表明，相较串行处理两个任务的基线模型，多任务模型在语音增强结果非常相近、VAD结果更优的情况下，其速度快了44.2%，这对于深度学习模型的实际应用和部署将具有重要的意义。     

基于多目标优化多任务学习的端到端车牌识别方法

本文针对多个车牌识别任务之间存在竞争和冲突,导致难以同时提高多个车牌的识别率的问题,提出基于多目标优化多任务学习的端到端车牌识别方法.首先,通过分析某些车牌识别任务容易占主导地位,而其他任务无法得到充分优化的问题,建立基于多任务学习的车牌识别模型.接着,针对字符分割造成车牌识别准确率较低、鲁棒性较差的问题,提出基于多任务学习的端到端车牌识别方法.最后,针对多个车牌识别任务间难以权衡的问题,提出一种基于多目标优化的多任务学习方法,以提高多个车牌识别的准确率.将本文所提方法在标准车牌数据集上进行测试,实验结果验证了该方法的有效性和优越性,其他代表性方法相比可以提高车牌识别的准确率、快速性和鲁棒性.     

Boosted multi-task learning

In this paper we propose a novel algorithm for multi-task learning with boosted decision trees. We learn several different learning tasks with a joint model, explicitly addressing their commonalities through shared parameters and their differences with task-specific ones. This enables implicit data sharing and regularization. Our algorithm is derived using the relationship between ? ₁-regularization and boosting. We evaluate our learning method on web-search ranking data sets from several countries. Here, multi-task learning is particularly helpful as data sets from different countries vary largely in size because of the cost of editorial judgments. Further, the proposed method obtains state-of-the-art results on a publicly available multi-task dataset. Our experiments validate that learning various tasks jointly can lead to significant improvements in performance with surprising reliability.     

Focused multi-task learning in a Gaussian process framework

Multi-task learning, learning of a set of tasks together, can improve performance in the individual learning tasks. Gaussian process models have been applied to learning a set of tasks on different data sets, by constructing joint priors for functions underlying the tasks. In these previous Gaussian process models, the setting has been symmetric in the sense that all the tasks have been assumed to be equally important, whereas in settings such as transfer learning the goal is asymmetric, to enhance performance in a target task given the other tasks. We propose a focused Gaussian process model which introduces an ??explaining away?? model for each of the additional tasks to model their non-related variation, in order to focus the transfer to the task-of-interest. This focusing helps reduce the key problem of negative transfer, which may cause performance to even decrease if the tasks are not related closely enough. In experiments, our model improves performance compared to single-task learning, symmetric multi-task learning using hierarchical Dirichlet processes, transfer learning based on predictive structure learning, and symmetric multi-task learning with Gaussian processes.     

Disclosing incoherent sparse and low-rank patterns inside homologous GPCR tasks for better modelling of ligand bioactivities

There are many new and potential drug targets in G protein-coupled receptors (GPCRs) without sufficient ligand associations, and accurately predicting and interpreting ligand bioactivities is vital for screening and optimizing hit compounds targeting these GPCRs. To efficiently address the lack of labeled training samples, we proposed a multi-task regression learning with incoherent sparse and low-rank patterns (MTR-ISLR) to model ligand bioactivities and identify their key substructures associated with these GPCRs targets. That is, MTR-ISLR intends to enhance the performance and interpretability of models under a small size of available training data by introducing homologous GPCR tasks. Meanwhile, the low-rank constraint term encourages to catch the underlying relationship among homologous GPCR tasks for greater model generalization, and the entry-wise sparse regularization term ensures to recognize essential discriminative substructures from each task for explanative modeling. We examined MTR-ISLR on a set of 31 important human GPCRs datasets from 9 subfamilies, each with less than 400 ligand associations. The results show that MTR-ISLR reaches better performance when compared with traditional single-task learning, deep multi-task learning and multi-task learning with joint feature learning-based models on most cases, where MTR-ISLR obtains an average improvement of 7% in correlation coefficient (r²) and 12% in root mean square error (RMSE) against the runner-up predictors. The MTR-ISLR web server appends freely all source codes and data for academic usages. ^①     

Distributed multi-task classification: a decentralized online learning approach

Although dispersing one single task to distributed learning nodes has been intensively studied by the previous research, multi-task learning on distributed networks is still an area that has not been fully exploited, especially under decentralized settings. The challenge lies in the fact that different tasks may have different optimal learning weights while communication through the distributed network forces all tasks to converge to an unique classifier. In this paper, we present a novel algorithm to overcome this challenge and enable learning multiple tasks simultaneously on a decentralized distributed network. Specifically, the learning framework can be separated into two phases: (i) multi-task information is shared within each node on the first phase; (ii) communication between nodes then leads the whole network to converge to a common minimizer. Theoretical analysis indicates that our algorithm achieves a \(\mathcal {O}(\sqrt{T})\) regret bound when compared with the best classifier in hindsight, which is further validated by experiments on both synthetic and real-world datasets.