基于自适应图学习的多目标特征选择算法

针对多目标回归中的特征选择问题,提出一种基于自适应图学习的多目标特征选择算法,在单个框架中同时考虑3种关系结构:输入特征与目标输出、不同目标输出以及样本间的相关结构,并基于上述结构信息进行特征选择.首先,在传统稀疏回归模型中对系数矩阵施加低秩约束,利用低秩学习对特征间相关性以及目标间的依赖关系进行解耦学习;然后,构建基于样本局部结构信息的自适应图学习项,充分利用样本间的相似结构进行特征选择;进一步地,引入基于输出相关性的结构矩阵优化项,使模型能够更加充分地考虑目标间的相关性;最后,提出一种交替优化算法求解目标函数,并从理论上证明算法的收敛性.在公开数据集上的实验表明,所提方法相较于现有主流的多目标特征选择方法具有更好的性能和适用性.     

极限学习机多目标模型选择研究

为了克服极限学习机输入权重与偏置的随机性对模型泛化能力的负面影响,提出一种基于多目标优化的极限学习机模型选择方法将极限学习机模型选择视为一个多目标全局优化问题,可将泛化误差和输出权重的模作为优化目标;为加快优化速度,引入极限学习机的快速留一法误差估计指代泛化误差,并考虑到优化目标间的互斥性,最终采用多目标综合学习粒子群算法寻找非支配解.通过5个UCI回归数据集上的仿真结果表明,与常用极限学习机模型选择方法相比,改进方法均取得更低的预测误差,同时网络结构更加紧凑.     

基于超图稀疏的低秩属性选择算法用于多回归分析

针对已有的多回归算法未能更好地考虑不同列类别之间的关联性,提出了一种基于超图稀疏的属性选择方法。具体地,利用稀疏理论中的 L2p-范数来改进线性回归模型,然后,结合低秩结构和超图表示来分别考虑同一类别间的局部结构和不同类别间的全局结构,最后,模型通过子空间学习中的线性判别分析(LDA)来进一步调整重构系数矩阵的结果。经实验验证,提出的算法在六个公开数据集上相比四种对比算法,在多回归分析中均能取得更好的结果。     

基于超图正则化的域适应偏最小二乘多工况软测量模型

针对流程工业中,因多工况导致数据分布变化引起传统软测量模型预测性能恶化问题,本文提出一种基于超图正则化的域适应多工况软测量回归模型框架.首先,采用非线性迭代偏最小二乘回归算法为基模型,在潜变量空间利用历史工况数据重构当前工况数据,以增强工况间的相关性,有效减小数据分布差异;同时,对重构系数施加低秩稀疏约束,保留了数据的局部和全局子空间结构;其次,通过超图拉普拉斯正则项对域适应潜变量求解过程进行约束,避免在寻找潜变量过程中破坏数据结构.最后,利用交替方向乘子法优化求解模型参数.在多个数据集上的实验表明,本文方法在多工况环境下可有效提高软测量模型的预测精度和泛化性能.     

基于径向基函数的多目标回归特征构建算法

多目标回归（MTR）是一种针对单个样本同时具有多个连续型输出的回归问题。现有的多目标回归算法都基于同一个特征空间学习回归模型,而忽略了各输出目标本身的特殊性质。针对这一问题,提出基于径向基函数的多目标回归特征构建算法。首先,将各目标的输出作为额外的特征对各输出目标进行聚类,根据聚类中心在原始特征空间构成了目标特定特征空间的基;然后,通过径向基函数将原始特征空间映射到目标特定特征空间,构造目标特定的特征,并基于这些目标特定特征构建各输出目标的基回归模型;最后,用基回归模型的输出组成隐藏空间,采用低秩学习算法在其中发掘和利用输出目标之间的关联。在18个多目标回归数据集上进行实验,并把所提算法与层叠单目标回归（SST）、回归器链集成（ERC）、多层、多目标回归（MMR）等经典的多目标回归算法进行对比,结果表明所提算法在14个数据集上都取得了最好的性能,并且在18个数据集上的平均性能排序居第一位。可见所提算法构建的目标特定特征能够提高各输出目标的预测准确性,并结合低秩学习得到输出目标间的关联性以从整体上提升多目标回归的预测性能。     

基于超图表示的低秩属性选择方法用于回归分析*

针对现有的回归模型未考虑特征之间的深层结构,而导致在回归问题上输出不稳定的模型,提出了一种新的属性选择方法。具体地,通过稀疏学习理论中的 L2,1-范数和 L2,p-范数在线性回归模型分别进行样本降噪和属性选择,然后,利用超图结构和低秩约束来分别考虑数据间的局部结构和不同数据间的全局结构,最后结合子空间学习方法来对模型进行微调。经实验证明,在回归分析中该算法较对比算法能取得更好的效果。     

结合栈式监督AE与可变加权ELM的回归预测模型

在现代工业生产过程中,许多关键变量与产品质量或生产效率密切相关,关键变量的实时监测是实现利润最大化及节能降耗的有效途径。针对回归预测任务中目标特征提取不全面、预测精度较低等问题,提出一种基于栈式监督自编码器与可变加权极限学习机的回归预测模型。通过堆叠多层自编码器并在每层自编码器中添加回归网络,同时以有监督方式对栈式自编码器（SAE）进行逐层预训练,得到与输出变量相关的特征表示。利用反向传播算法对网络参数进行微调,优化自编码器模型参数。在分析提取特征与输出变量的相关性基础上,对极限学习机（ELM）的输入权值和偏置进行加权得到预测结果。实验结果表明,与基于ELM和SAE-ELM的回归预测模型相比,该模型在多晶硅铸锭的G6产品数据集上的均方根误差降低0.056 7和0.011 2、决定系数提高0.489 3和0.290 3,具有更高的回归预测准确性及更强的鲁棒性与泛化性能。     

增量式的多变量决策树构造算法研究

针对增量数据集,结合粗糙集理论和多变量决策树的优点,给出了增量式的多变量决策树构造算法.该算法针对新增样本与已有规则集产生矛盾,即条件属性相匹配,而决策属性不匹配的情况,计算条件属性相对于决策属性的核,如果核不为空,则计算核相对于决策属性的相对泛化,根据不同的结果形成不同的子集,最终形成不同的决策树分支.该算法很好地避免了在处理增量数据集时,不断重构决策树.实例证明该算法的正确性,对处理小增量数据集具有良好的性能.     

基于结构增强的异质数据联邦学习模型正则优化算法

联邦学习中由于不同客户端本地数据分布异质，在本地数据集上训练的客户端模型优化目标与全局模型不一致，导致出现客户端漂移现象，影响全局模型性能.为了解决非独立同分布数据带来的联邦学习模型性能下降甚至发散的问题，文中从本地模型的通用性角度出发，提出基于结构增强的异质数据联邦学习模型正则优化算法.在客户端利用数据分布异质的本地数据进行训练时，以结构化的方式采样子网络，并对客户端本地数据进行数据增强，使用不同的增强数据训练不同的子网络学习增强表示，得到泛化性较强的客户端网络模型，对抗本地数据异质带来的客户端漂移现象，在联邦聚合中得到性能更优的全局模型.在CIFAR-10、CIFAR-100、ImageNet-200数据集上的大量实验表明，文中算法性能较优.     

全相关核偏最小二乘故障诊断方法及在抽油机上应用

针对油田抽油机生产数据存在强非线性和强耦合性, 导致故障诊断困难的问题, 本文提出一种全相关动态 核偏最小二乘(FCDKPLS)故障诊断方法. 首先, 构建抽油机生产数据自回归模型, 反映数据变量间的动态特性; 其 次, 分析了KPLS算法中输出变量与输入变量残差子空间的相关性, 为此, 在输出模型上构建一个辅助矩阵, 从而表 征输入变量与输出变量的全相关性, 建立输入变量和输出变量之间更直接的联系. 最后, 将提出的全相关动态偏最 小二乘方法应用于抽油机过程故障诊断, 实验结果表明本文提出方法的有效性.     

适用于复杂函数优化的多群体遗传算法

提出一种适合于复杂函数寻优的多群体遗传算法。该方法对搜索区域进行划分，使每个子区域具有简单的函数形态，而对每个子区域安排一个子群体进行搜索。这个过程可并行进行。仿真表明该方法速度快，可同时获得多个局部极值点。     

基于近邻加权及多示例的多标记学习改进算法

多数多标记学习方法通过在输出空间中,单示例同时与多个类别标记相关联表示多义性,目前有研究通过在输入空间将单一示例转化为示例包,建立包中多示例与多标记的联系。算法在生成示例包时采用等权重平均法计算每个标记对应样例的均值。由于数据具有局部分布特征,在计算该均值时考虑数据局部分布,将会使生成的示例包更加准确。本论文充分考虑数据分布特性,提出新的分类算法。实验表明改进算法性能优于其他常用多标记学习算法。     

基于局部标记信息的多标记学习算法

一个样例的标记信息可能会对附近其他样例的学习提供有用信息,特别是在数据比较匮乏的情况下,利用已标记数据与未标记数据间的相关性,能够在一定程度上避免因数据不足所造成的误差。针对样例之间的相关性研究,提出基于局部标记信息的多标记学习算法,算法首先获取样例的局部标记信息,然后将样例的局部标记信息引入属性空间构造新的样例集合,并根据新的样例集合进行分类。实验结果表明,算法的分类性能得到较大提升,且优于其他常用多标记学习算法。     

Generating new test instances by evolving in instance space

Our confidence in the future performance of any algorithm, including optimization algorithms, depends on how carefully we select test instances so that the generalization of algorithm performance on future instances can be inferred. In recent work, we have established a methodology to generate a 2-d representation of the instance space, comprising a set of known test instances. This instance space shows the similarities and differences between the instances using measurable features or properties, and enables the performance of algorithms to be viewed across the instance space, where generalizations can be inferred. The power of this methodology is the insights that can be generated into algorithm strengths and weaknesses by examining the regions in instance space where strong performance can be expected. The representation of the instance space is dependent on the choice of test instances however. In this paper we present a methodology for generating new test instances with controllable properties, by filling observed gaps in the instance space. This enables the generation of rich new sets of test instances to support better the understanding of algorithm strengths and weaknesses. The methodology is demonstrated on graph colouring as a case study.     

Multi-output regression on the output manifold

Multi-output regression aims at learning a mapping from an input feature space to a multivariate output space. Previous algorithms define the loss functions using a fixed global coordinate of the output space, which is equivalent to assuming that the output space is a whole Euclidean space with a dimension equal to the number of the outputs. So the underlying structure of the output space is completely ignored. In this paper, we consider the output space as a Riemannian submanifold to incorporate its geometric structure into the regression process. To this end, we propose a novel mechanism, called locally linear transformation (LLT), to define the loss functions on the output manifold. In this way, currently existing regression algorithms can be improved. In particular, we propose an algorithm under the support vector regression framework. Our experimental results on synthetic and real-life data are satisfactory.     

Bayesian multi-instance multi-label learning using Gaussian process prior

Multi-instance multi-label learning (MIML) is a newly proposed framework, in which the multi-label problems are investigated by representing each sample with multiple feature vectors named instances. In this framework, the multi-label learning task becomes to learn a many-to-many relationship, and it also offers a possibility for explaining why a concerned sample has the certain class labels. The connections between instances and labels as well as the correlations among labels are equally crucial information for MIML. However, the existing MIML algorithms can rarely exploit them simultaneously. In this paper, a new MIML algorithm is proposed based on Gaussian process. The basic idea is to suppose a latent function with Gaussian process prior in the instance space for each label and infer the predictive probability of labels by integrating over uncertainties in these functions using the Bayesian approach, so that the connection between instances and every label can be exploited by defining a likelihood function and the correlations among labels can be identified by the covariance matrix of the latent functions. Moreover, since different relationships between instances and labels can be captured by defining different likelihood functions, the algorithm may be used to deal with the problems with various multi-instance assumptions. Experimental results on several benchmark data sets show that the proposed algorithm is valid and can achieve superior performance to the existing ones.     

基于双向映射学习的多标签分类算法

现有的多标签学习算法往往只侧重于实例空间到标签空间的正向投影,正向投影时由于特征维数降低所产生的实例空间信息丢失的问题往往被忽略。针对以上问题,提出一种基于双向映射学习的多标签分类算法。首先,利用实例空间到标签空间的正向映射损失建立线性多标签分类模型;然后,在模型中引入重构损失正则项构成双向映射模型,补偿由于正向映射时导致的鉴别信息的丢失;最后,将双向映射模型结合标签相关性和实例相关性充分地挖掘标签之间、实例之间的潜在关系,并利用非线性核映射提高模型对非线性数据的处理能力。实验结果表明,与近年来的其他几种方法相比,该方法在汉明损失、一次错误率和排序损失上的性能平均提升17.68%、17.01%、18.57%;在六种评价指标上的性能平均提升了12.37%,验证了模型的有效性。     

基于低秩和图拉普拉斯的属性选择算法

针对无监督属性选择算法使用单一方法,未考虑数据间内在相关性和噪声等问题,提出一种基于属性自表达的低秩无监督属性选择算法。算法首先将稀疏正则化（[l2,1-]范数）引入属性自表达损失函数中实现无监督稀疏学习,其次在系数矩阵中加入低秩约束以降低噪声和离群点的影响,然后利用低秩结构和图拉普拉斯正则化使子空间学习兼顾数据的全局和局部结构,最后通过属性自表达实现无监督学习。经数据集上多次迭代验证,该算法能够快速收敛并达到全局最优,与SOGFS、PCA、LPP、RSR等四种算法相比分类准确率平均提高了16.11%、14.03%、9.92%和4.2%,并且在各数据集上互信息平均值也是最高的,说明该算法有效、高效。     

基于标记相关性的多示例多标记算法

多示例多标记学习（Multi-Instance Multi-Label,MIML）是一种新的机器学习框架,基于该框架上的样本由多个示例组成并且与多个类别相关联,该框架因其对多义性对象具有出色的表达能力,已成为机器学习界研究的热点.解决MIML分类问题的最直接的思路是采用退化策略,通过向多示例学习或多标记学习的退化,将MIML框架下的分类问题简化为一系列的二类分类问题进行求解.但是在退化过程中会丢失标记之间的关联信息,降低分类的准确率.针对此问题,本文提出了MIMLSVM-LOC算法,该算法将改进的MIMLSVM算法与一种局部标记相关性的方法ML-LOC相结合,在训练过程中结合标记之间的关联信息进行分类.算法首先对MIMLSVM算法中的K-medoids聚类算法进行改进,采用的混合Hausdorff距离,将每一个示例包转化为一个示例,将MIML问题进行了退化.然后采用单示例多标记的算法ML-LOC算法继续以后的分类工作.在实验中,通过与其他多示例多标记算法对比,得出本文提出的算法取得了比其他分类算法更优的分类效果.