基于任务权重自动优化的多任务序数回归算法

目前,只有少量面向多任务学习的序数回归方法。这些方法假设不同的任务具有相同的权重,对整体模型具有相同的贡献。然而,在真实应用中,不同任务对于整体模型的贡献往往是不同的。为此,提出了一种基于任务权重自动优化的多任务序数回归算法。首先,提出了基于支持向量机的多任务序数回归模型,通过分类器参数共享,实现不同任务之间的信息迁移;其次,考虑到不同任务对整体模型可能具有不同贡献,赋予每个任务一个权重,这些权重将在学习过程中自动优化求解;最后,采用了启发式框架,交替地建立多任务序数回归模型和优化任务权重。实验结果表明,提出方法相比于其他多任务序数回归方法,平均0-1误差降低了3.8%～12.3%,平均绝对误差降低了4.1%～11%。考虑了每个任务的不同权重,通过自动优化这些权重,降低了多任务序数回归模型的分类误差。     

基于支持向量回归的批处理增量学习方法

针对生产实际中数据批量增加的情况，为了提高所建立的模型准确性和模型更新问题，提出了一种基于支持向量回归的批处理增量学习方法。算法通过对钢材力学性能预报建模的工业实例进行研究，结果表明，与传统的支持向量机增量学习算法相比，提高了模型的精度，具有良好的应用潜力。     

基于时间序列自回归模型的绿色建筑供暖能耗短期预测

为实时了解绿色建筑供暖能耗的变化趋势,提升能耗预测效果,设计基于时间序列自回归模型的绿色建筑供暖能耗短期预测方法。利用增强迪基-福勒检验法,检验绿色建筑历史供暖能耗时间序列平稳性;对非平稳的历史能耗时间序列进行差分平稳化处理,获取平稳的历史能耗时间序列;在时间序列自回归模型内添加移动平均模型,并考虑能耗的气温影响因素,建立时间序列自回归移动平均模型;利用赤池信息准则确定模型阶数,通过粒子群算法确定模型参数;在模型阶数与参数确定后的模型内,输入平稳的历史能耗时间序列,输出供暖能耗短期预测值。实验证明：该方法可精准预测不同类型绿色建筑的短期供暖能耗;在不同绿色建筑渗透量时,该方法短期供暖能耗预测误差较小;在不同室外温度时,该方法短期供暖能耗预测的可决系数较高,即预测精度较高。     

软件老化的多元时间序列分析方法

针对目前软件老化分析中的单参数模型,以及未考虑变量间关联性和影响性的多参数模型的不足,提出了运用多元时间序列模型分析软件老化的方法。通过对实验采集的HelixServer-VOD服务器性能数据的分析,运用格兰杰因果性检验,证实了软件老化发生和发展过程中各个性能参数间存在显著的相互影响性。引入向量自回归模型对软件老化进行建模,给出了软件老化在多个参数维度的联合预测以及参数间相互影响方式的定量描述。通过模型的迭代计算,比较了向量自回归模型与现行的未考虑参数间相互影响的模型对多个性能参数变化曲线的拟合及预测情况,证实了VAR模型更接近软件老化的本质。     

基于池的无监督线性回归主动学习

在许多现实的机器学习应用场景中, 获取大量未标注的数据是很容易的, 但标注过程需要花费大量的时间和经济成本. 因此, 在这种情况下, 需要选择一些最有价值的样本进行标注, 从而只利用较少的标注数据就能训练出较好的机器学习模型. 目前, 主动学习(Active learning)已广泛应用于解决这种场景下的问题. 但是, 大多数现有的主动学习方法都是基于有监督场景: 能够从少量带标签的样本中训练初始模型, 基于模型查询新的样本, 然后迭代更新模型. 无监督情况下的主动学习却很少有人考虑, 即在不知道任何标签信息的情况下最佳地选择要标注的初始训练样本. 这种场景下, 主动学习问题变得更加困难, 因为无法利用任何标签信息. 针对这一场景, 本文研究了基于池的无监督线性回归问题, 提出了一种新的主动学习方法, 该方法同时考虑了信息性、代表性和多样性这三个标准. 本文在3个不同的线性回归模型(岭回归、LASSO (Least absolute shrinkage and selection operator)和线性支持向量回归)和来自不同应用领域的12个数据集上进行了广泛的实验, 验证了其有效性.     

一种面向非线性回归的迁移学习模型

迁移学习能够有效地在相似任务之间进行信息的共享和迁移.之前针对多任务回归的迁移学习研究大多集中在线性系统上.针对非线性回归问题,提出了一种新的多任务回归模型--HiRBF.HiRBF基于层次贝叶斯模型,采用RBF神经网络进行回归学习,假设各个任务的输出层参数服从某种共同的先验分布.根据各个任务是否共享隐藏层,在构造HiRBF模型时有两种可选方案.在实验部分,将两种方案进行了对比,也将HiRBF与两种非迁移学习算法进行了对比,实验结果表明,HiRBF的预测性能大大优于其它两个算法.     

多任务LS-SVM在时间序列预测中的应用

针对单任务时间序列中存在的信息挖掘不充分、预测精度低等问题,提出了一种基于多任务最小二乘支持向量机（MTLS-SVM）的时间序列预测方法。该方法将多个时间序列任务同时进行学习,使得在训练过程中任务之间能够相互牵制起到归纳偏置作用,最终有效提高模型的预测精度。首先,利用相邻时间点之间的密切相关性,构造多个相邻时间点的学习任务,然后将每个任务对应的数据集同时训练MTLS-SVM模型并将其用于预测。将该方法用于几个时间序列数据集并与单任务LS-SVM方法相比,实验结果表明该方法具有较高的预测精度,验证了方法的可行性和有效性。     

基于深度神经向量机自回归的协同过滤算法

为发掘卷积神经网络在协同过滤预测中的潜力,针对神经自回归模型方法和支持向量机在深度学习中的优势,提出基于深度神经向量机自回归的协同过滤方法。通过将神经网络最后一层的激发函数替换为线性支持向量回归函数的方式,学习基于最小边缘的对数损失。在多个公开数据集上的实验结果表明,该算法在深度神经自回归对协同过滤问题实现较好预测的基础上,线性向量回归函数的使用能更好地提升预测效果。     

国民收入的小波-非参数自回归预测模型

基于小波多尺度分析理论,运用Mallat算法和Daubechies小波,把时间序列分解为比原始时间序列更单一,平稳的作细节部分和概貌部分,然后把分解后的细节部分和概貌部分重构回原尺度.对重构后的各分层系数分别用非参数自回归模型进行预测.各个分层系数预测结果的和即原始时间序列的预报结果.对某国国民收入数据的分析和预报表明,非参数自回归模型与参数自回归模型相比可大大提高预测精度.     

基于逻辑回归的多任务域快速分类学习算法

多任务学习通过寻找并共享不同任务域之间的共性特征来完成学习,利用知识迁移加速不同任务域的学习为每个任务域构建一个分类器。提出了一种基于罗杰斯特回归模型的多任务学习方法MTC-LR（Multi-task Coupled Logistic Regression）。“罗杰斯特回归模型”已经被成功应用于单任务分类器上,该模型被众多实验证明是有效的,正是这种方法给人们带来了启示。从理论上证明了通过构造多任务分类器的“开销函数”和“差异性度量函数”,MTC-LR算法可以提高多任务分类器的各自分类精度。相比传统的基于SVM的多任务学习方法,MTC-LR并不依赖于核方法而是通过共轭梯度下降法寻找各个分类器的最优参数。同时MTC-LR与采用“罗杰斯特回归模型”的快速算法CDdual更容易结合,可扩展至大样本的多任务分类学习。正是基于上述发现,为了充分高效利用大样本的多任务域数据,满足大样本的快速运算,在MTC-LR算法的基础上,结合最新的CDdual（The Dual Coordinate Descent Method）算法,提出了MTC-LR的快速算法MTC-LR-CDdual,并对该算法进行了相关的理论分析。将该算法在人工数据集和真实数据集上进行了验证,实验结果表明该算法有着较高的识别率、快速的识别速度和较好的鲁棒性。     

基于多目标优化多任务学习的端到端车牌识别方法

本文针对多个车牌识别任务之间存在竞争和冲突,导致难以同时提高多个车牌的识别率的问题,提出基于多目标优化多任务学习的端到端车牌识别方法.首先,通过分析某些车牌识别任务容易占主导地位,而其他任务无法得到充分优化的问题,建立基于多任务学习的车牌识别模型.接着,针对字符分割造成车牌识别准确率较低、鲁棒性较差的问题,提出基于多任务学习的端到端车牌识别方法.最后,针对多个车牌识别任务间难以权衡的问题,提出一种基于多目标优化的多任务学习方法,以提高多个车牌识别的准确率.将本文所提方法在标准车牌数据集上进行测试,实验结果验证了该方法的有效性和优越性,其他代表性方法相比可以提高车牌识别的准确率、快速性和鲁棒性.     

动态事件时间数据的多任务Logistic生存预测方法

事件时间数据广泛存在于临床医学研究领域,包含大量复杂的随时间变化的动态风险因子变量。为了对这些动态事件时间数据进行有效分析,克服生存模型参数假设的局限性,提出了一种多任务Logistic生存学习和预测方法。将生存预测转化为一系列不同时间点的多任务二元生存分类问题,利用动态风险因子变量的全部观测值估计累积风险。通过对事件样本和删失样本的全数据学习正则化Logistic回归参数。评估风险因子与事件时间的动态关系,根据生存概率估计事件时间。在多个实际临床数据集上开展的对比实验验证了提出的多任务预测方法对于动态数据不仅具有较强的适用性,而且能够保障预测结果的准确性和可靠性。     

Flexible latent variable models for multi-task learning

Given multiple prediction problems such as regression or classification, we are interested in a joint inference framework that can effectively share information between tasks to improve the prediction accuracy, especially when the number of training examples per problem is small. In this paper we propose a probabilistic framework which can support a set of latent variable models for different multi-task learning scenarios. We show that the framework is a generalization of standard learning methods for single prediction problems and it can effectively model the shared structure among different prediction tasks. Furthermore, we present efficient algorithms for the empirical Bayes method as well as point estimation. Our experiments on both simulated datasets and real world classification datasets show the effectiveness of the proposed models in two evaluation settings: a standard multi-task learning setting and a transfer learning setting.     

Multi-task learning for concurrent survival prediction and semi-supervised segmentation of gliomas in brain MRI

Accurate survival prediction is essential for precision oncology in patients with glioma. However, current deep learning-based survival analysis methods highly rely on segmented tumor regions, which requires tedious manual annotation. Semi-supervised segmentation offers an efficient way to reduce the annotation burden. However, most studies consider survival prediction and semi-supervised segmentation as two separated problems. Here, we proposed a multi-task learning approach for concurrent survival prediction and semi-supervised tumor segmentation. We train a shared multi-modal Transformer encoder to extract features from multiple modalities and fuse them at different levels. The extracted features are employed to construct contrast learning loss and survival analysis loss to implement semi-supervised segmentation and survival analysis, respectively. Experiments are conducted on two datasets from two local hospitals. Our method achieves comparable or slightly better results than state-of-the-art semi-supervised segmentation methods and achieves acceptable survival analysis results. Our data suggests that the proposed multi-task architecture can enhance both segmentation and survival prediction tasks in a semi-supervised learning manner.     

基于多任务联合判别稀疏表示的人脸识别

针对人脸识别中由于姿态、光照及噪声等影响造成的识别率不高的问题,提出一种基于多任务联合判别稀疏表示的人脸识别方法。首先提取人脸的局部二值特征,并基于多个特征建立一个联合分类误差与表示误差的过完备字典学习目标函数。然后,使用一种多任务联合判别字典学习方法,将多任务联合判别字典与最优线性分类器参数联合学习,得到具有良好表征和鉴别能力的字典及相应的分类器,进而提高人脸识别效果。实验结果表明,所提方法相比其他稀疏人脸识别方法具有更好的识别性能。     

基于自适应混合优化的电力数据预测方法

电力数据易受气候、季节、节假日等因素影响,出现不同波动特征.针对不同特征电力数据预测精度不高、预测方法泛化能力弱等问题,提出基于自适应混合优化的电力数据预测方法 .通过使用小波变换和平稳性分析,将电力数据自适应地分解为包含趋势、季节和周期信息的非平稳序列和多个平稳序列;使用状态转移算法分别优化长短时记忆深度学习网络和自回归移动平均模型,对非平稳序列和平稳序列分别拟合、预测;对预测的各序列进行重构,得到最终预测结果.在电力系统数据上进行多步预测,对比实验表明:与其他方法相比,所提方法不仅具有更高的预测精度,还具有较强的泛化能力.     

采用改进被囊群算法的多冷水机组负荷分配优化

为了降低中央空调系统的运行能耗,针对多冷水机组负荷分配优化问题,提出一种随机森林特征优选结合核函数极限学习机的冷水机组能效预测模型,通过剔除冗余特征提高预测精度;然后提出一种混合策略改进的被囊群算法,融合鲸鱼螺旋搜索策略改进个体更新方式,引入非线性动态权重平衡全局探索和局部开发,使用空翻扰动策略避免陷入局部最优;最后在能效模型的基础上,采用改进被囊群算法对多冷水机组负荷分配进行优化。实验结果表明,随机森林特征优选的方法可以有效的提高能效预测模型的准确度;改进被囊群算法通过优化机组的启停状态和负荷率可以有效发挥系统的节能潜力,与原有方法相比能耗降低约6%。说明该方法适用于多冷水机组的负荷分配优化问题。     

基于多任务学习多目标优化的稀土元素组分含量与浓度多维度软测量

稀土混合萃取溶液中各元素组分含量的在线软测量是优化连续萃取生产过程、确保产品高纯化的前提. 现 有软测量方法可独立求解单个稀土元素组分含量, 但忽略了多元素组分含量间或组分含量与其它相关因素(如浓 度)间的共性. 本文为探索多稀土元素组分含量间及组分含量与浓度间的共性, 将多任务学习方法用于稀土元素组 分含量软测量中. 首先, 构建多任务深度神经网络, 提高模型的泛化能力和鲁棒性. 其次, 提出基于多目标优化算法 的稀土多元素组分含量预测方法, 通过搜索Pareto最优以提升各任务的预测精度. 经多组对比实验表明, 该方法在 多元素组分含量或多元素组分含量与浓度同时训练时性能最佳, 能满足稀土元素组分含量在线检测的精确性和实 时性.     

基于过程监督的序列多任务法律判决预测方法

法律判决预测是人工智能技术在法律领域的应用,因此对法律判决预测方法的研究对于实现智慧司法具有重要的理论价值和实际意义。传统的法律判决预测方法大都是只进行单一任务的预测或仅基于参数共享的多任务预测,并未考虑各子任务之间的序列依存关系,因此预测性能难以得到进一步的提升。文中提出了一个端到端的基于过程监督的序列多任务法律判决预测模型,在建模各子任务之间的依存关系时,通过引入过程监督来确保依赖信息的准确性,从而提升序列子任务的预测性能。将所提模型应用到CAIL2018数据集上,取得了较好的分类效果,平均分类准确率比现有的state-of-the-art方法的准确率提升了2%。