基于超图表示的低秩属性选择方法用于回归分析*

针对现有的回归模型未考虑特征之间的深层结构,而导致在回归问题上输出不稳定的模型,提出了一种新的属性选择方法。具体地,通过稀疏学习理论中的 L2,1-范数和 L2,p-范数在线性回归模型分别进行样本降噪和属性选择,然后,利用超图结构和低秩约束来分别考虑数据间的局部结构和不同数据间的全局结构,最后结合子空间学习方法来对模型进行微调。经实验证明,在回归分析中该算法较对比算法能取得更好的效果。     

基于自适应图学习的多目标特征选择算法

针对多目标回归中的特征选择问题,提出一种基于自适应图学习的多目标特征选择算法,在单个框架中同时考虑3种关系结构:输入特征与目标输出、不同目标输出以及样本间的相关结构,并基于上述结构信息进行特征选择.首先,在传统稀疏回归模型中对系数矩阵施加低秩约束,利用低秩学习对特征间相关性以及目标间的依赖关系进行解耦学习;然后,构建基于样本局部结构信息的自适应图学习项,充分利用样本间的相似结构进行特征选择;进一步地,引入基于输出相关性的结构矩阵优化项,使模型能够更加充分地考虑目标间的相关性;最后,提出一种交替优化算法求解目标函数,并从理论上证明算法的收敛性.在公开数据集上的实验表明,所提方法相较于现有主流的多目标特征选择方法具有更好的性能和适用性.     

基于稀疏学习的低秩属性选择算法

针对回归模型在进行属性选择未考虑类标签之间关系从而导致回归效果不理想,提出了一种新的具有鲁棒性的低秩属性选择算法。具体为,在线性回归的模型框架下,通过低秩约束来考虑类标签间的相关性和通过稀疏学习理论中的[l2,p-]范数来考虑属性间的关联结构,以此去除不相关的冗余属性的影响;算法通过嵌入子空间学习方法（线性判别分析（LDA））来调整属性选择结果。经实验验证,提出的属性选择算法在六个公开数据集上的效果均优于四种对比算法。     

基于样本特征核矩阵的稀疏双线性回归

在许多实际应用中出现了大量的冗余数据,这些数据可能是高维的,这时进行回归预测将会出现过拟合的现象,并且还会出现预测精度偏低等问题.另外,大多数回归方法都是基于向量的,忽略了矩阵数据原始位置之间的关系.为此,文中提出了一种基于样本特征核矩阵的稀疏双线性回归(Kernel Matrix-based Sparse Bilinear Regression,KMSBR)方法.该方法直接将数据矩阵作为输入,其是通过左右回归系数矩阵而建立的,利用样本的特征核矩阵和L2,1范数,能够同时实现对样本及样本特征的选择,且考虑了数据的原始位置,提高了算法的性能.在若干数据集上的实验结果表明,KMSBR能有效地选择相对重要的样本和特征,从而提高算法的运行效率,且其预测精度优于已有的几种回归模型.     

基于径向基函数的多目标回归特征构建算法

多目标回归（MTR）是一种针对单个样本同时具有多个连续型输出的回归问题。现有的多目标回归算法都基于同一个特征空间学习回归模型,而忽略了各输出目标本身的特殊性质。针对这一问题,提出基于径向基函数的多目标回归特征构建算法。首先,将各目标的输出作为额外的特征对各输出目标进行聚类,根据聚类中心在原始特征空间构成了目标特定特征空间的基;然后,通过径向基函数将原始特征空间映射到目标特定特征空间,构造目标特定的特征,并基于这些目标特定特征构建各输出目标的基回归模型;最后,用基回归模型的输出组成隐藏空间,采用低秩学习算法在其中发掘和利用输出目标之间的关联。在18个多目标回归数据集上进行实验,并把所提算法与层叠单目标回归（SST）、回归器链集成（ERC）、多层、多目标回归（MMR）等经典的多目标回归算法进行对比,结果表明所提算法在14个数据集上都取得了最好的性能,并且在18个数据集上的平均性能排序居第一位。可见所提算法构建的目标特定特征能够提高各输出目标的预测准确性,并结合低秩学习得到输出目标间的关联性以从整体上提升多目标回归的预测性能。     

基于超图稀疏的低秩属性选择算法用于多回归分析

针对已有的多回归算法未能更好地考虑不同列类别之间的关联性,提出了一种基于超图稀疏的属性选择方法。具体地,利用稀疏理论中的 L2p-范数来改进线性回归模型,然后,结合低秩结构和超图表示来分别考虑同一类别间的局部结构和不同类别间的全局结构,最后,模型通过子空间学习中的线性判别分析(LDA)来进一步调整重构系数矩阵的结果。经实验验证,提出的算法在六个公开数据集上相比四种对比算法,在多回归分析中均能取得更好的结果。     

基于低秩稀疏评分的非监督特征选择

在处理高维数据过程中,特征选择是一个非常重要的数据降维步骤。低秩表示模型具有揭示数据全局结构信息的能力和一定的鉴别能力。稀疏表示模型能够利用较少的连接关系揭示数据的本质结构信息。在低秩表示模型的基础上引入稀疏约束项,构建一种低秩稀疏表示模型学习数据间的低秩稀疏相似度矩阵;基于该矩阵提出一种低秩稀疏评分机制用于非监督特征选择。在不同数据库上将选择后的特征进行聚类和分类实验,同传统特征选择算法进行比较。实验结果表明了低秩特征选择算法的有效性。     

低秩约束的非线性属性选择算法

针对高维的数据中往往存在非线性、低秩形式和属性冗余等问题,提出一种基于核函数的属性自表达无监督属性选择算法——低秩约束的非线性属性选择算法（LRNFS）。首先,将每一维的属性映射到高维的核空间上,通过核空间上的线性属性选择去实现低维空间上的非线性属性选择;然后,对自表达形式引入偏差项并对系数矩阵进行低秩与稀疏处理;最后,引入核矩阵的系数向量的稀疏正则化因子来实现属性选择。所提算法中用核矩阵来体现其非线性关系,低秩考虑数据的全局信息进行子空间学习,自表达形式确定属性的重要程度。实验结果表明,相比于基于重新调整的线性平方回归（RLSR）半监督特征选择算法,所提算法进行属性选择之后作分类的准确率提升了2.34%。所提算法解决了数据在低维特征空间上线性不可分的问题,提升了属性选择的准确率。     

基于局部重构的无监督特征选择方法

利用局部线性嵌入(LLE)算法中获得局部邻域之间的重构关系与使用最小角回归方法解决L1归一化问题都使用回归方法,针对在通过映射获得低维嵌入空间与通过特征选择获得低维空间上有着一致的思想,提出一种能保持局部重构关系的无监督谱特征选择方法.该方法利用最小二乘法计算样本的邻域重构系数,并用这些系数表示样本之间的关系,通过解决稀疏特征值问题获得能够保持样本间关系的低维嵌入空间,最后通过解决L1归一化问题实现自动特征选择.通过在四个不同数据集上的聚类实验结果证明,该方法能更准确地评价每个特征的重要性,能自动适应不同的数据集,受参数影响更小,可以明显提升聚类效果.     

基于局部特征与核低秩表示的人脸识别算法

针对人脸识别中的遮挡、伪装、光照及表情变化等问题,提出一种基于局部特征与核低秩表示的人脸识别算法。首先,对训练和测试的样本图片进行LBP特征的提取;然后将其通过映射函数投影到高维特征空间中进行后续操作,投影到高维空间中的特征矩阵通过降维处理后采用低秩表示的方法来提取样本之间的共同特征;最后根据低秩表示的结果进行分类识别。实验证明算法在对遮挡、伪装以及光照变化等噪声的影响鲁棒性更强,同时较当前的一些人脸识别算法的识别率也有了显著的提高。     

基于对抗式神经网络的多维度情绪回归

情绪分析是细粒度的情感分析任务,其目的是通过训练机器学习模型来判别文本中蕴含了何种情绪,是当前自然语言处理领域中的研究热点.情绪分析可细分为情绪分类与情绪回归两个任务.针对情绪回归任务,提出一种基于对抗式神经网络的多维度情绪回归方法.所提出的对抗式神经网络由3部分组成：特征抽取器、回归器、判别器.该方法旨在训练多个特征抽取器和回归器,以对输入文本的不同情绪维度进行打分.特征抽取器接受文本为输入,从文本中抽取针对不同情绪维度的特征;回归器接受由特征抽取器输出的特征为输入,对文本的不同情绪维度打分;判别器接受由特征抽取器输出的特征为输入,以判别输入的特征是针对何情绪维度.该方法借助判别器对不同的特征抽取器进行对抗式训练,从而获得能够抽取出泛化性更强的针对不同情绪维度的特征抽取器.在EMOBANK多维度情绪回归语料上的实验结果表明,该方法在EMOBANK新闻领域和小说领域的情绪回归上均取得了较为显著的性能提升,并在r值上超过了所有的基准系统,其中包括文本回归领域的先进系统.     

Input–output operability of control systems: The steady-state case

For high-dimensional systems with more outputs than inputs, some outputs must be controlled within ranges, instead of at set-points. This may also be true if the outputs are equal in number to the inputs and disturbances of high magnitude exist. A linear programming framework is postulated to calculate the tightest achievable operating ranges of the outputs, given the ranges of the inputs and the expected disturbances, for any linear input–output control system at the steady-state. This approach removes the computational constraints on the size of the problem that a previous communication of the authors [1] could address. The hyper-volume obtained for the tightest achievable outputs’ region of a high-dimensional industrial process is calculated to be four orders of magnitude smaller than the one initially assumed, enabling much tighter control.     

基于属性自表达的低秩超图属性选择算法*

针对高维数据具有低秩形式和属性冗余等特点,提出一种基于属性自表达的无监督超图属性选择算法。具体地,该算法首先利用属性自表达特点用其他属性稀疏地表达每个属性,此自表达形式使用低秩假设寻找高维数据的低秩表示,然后建立超图正则化因子保持高维数据的局部结构,最后利用稀疏正则化因子进行属性选择。属性自表达特性确定属性的重要性,低秩表示相当于考虑数据的全局信息进行子空间学习,超图正则化因子考虑数据的局部结构对数据进行子空间学习。该算法实际上考虑数据全局和局部信息进行子空间学习,更是一种嵌入了子空间学习的属性选择算法。实验结果表明,该算法相比其它对比算法,能更有效地选取属性,并能取得很好的分类效果。     

基于低秩稀疏分解的自适应运动目标检测算法

传统的低秩稀疏分解方法使用[l1]范数把场景中的运动目标建模为稀疏离群值,分离出低秩的背景成分与稀疏的运动目标成分。然而,在许多实际场景中往往会有动态背景的情形（例如水面波纹、树木摇动）,[l1]范数并不能区分出这些干扰与真实目标,从而大大影响检测效果。实际上,运动目标区域中的像素不仅仅具有稀疏性,还具有空间分布上的连续性。通过引入空间融合稀疏约束,在空间连续性和稀疏性两方面对运动目标进行建模,使模型更符合目标像素的分布规律。同时,设计了一种自适应的参数更新方法,使算法的鲁棒性进一步提升。在公共数据集上的大量实验表明,相比于传统方法,该算法在准确率和鲁棒性方法有很大提高。     

联合不相关回归和非负谱分析的无监督特征选择

在无标签高维数据普遍存在的数据挖掘和模式识别任务中,无监督特征选择是必不可少的预处理步骤。然而现有的大多数特征选择方法忽略了数据特征之间的相关性,选择出具有高冗余、低判别性的特征。本文提出一种基于联合不相关回归和非负谱分析的无监督特征选择方法(joint uncorrelated regression and nonnegative spectral analysis for unsupervised feature selection),在选择不相关且具有判别性特征的同时,自适应动态确定数据之间的相似性关系,从而能获得更准确的数据结构和标签信息。而且,模型中广义不相关约束能够避免平凡解,所以此方法具有不相关回归和非负谱聚类两种特征选择方法的优点。本文还设计出一种求解模型的高效算法,并在多个数据集上进行了大量实验与分析,验证模型的优越性。     

基于高斯近似l0范数典型相关分析的特征选择

特征选择的稀疏优化方法是通过求解优化问题稀疏解实现高维数据特征选择的方法,其稀疏惩罚项是实现特征选择的关键。针对l0范数惩罚项的稀疏性能好但求解复杂度高的问题,提出高斯近似l0范数典型相关分析的特征选择模型。以连续、分段光滑和稀疏性能接近l0范数的高斯近似l0范数作为稀疏惩罚项,以数据间的相关性作为优化目标,引入二次逼近函数解决高斯近似l0范数的非凸惩罚求解难问题,用块坐标下降法求解模型实现特征选择。实验结果表明,模型是可实现的,且与现有的同类模型相比,所提模型实现了更优的特征选择。     

A software package for system identification in the behavioral setting

An identification problem with no a priori separation of the variables into inputs and outputs and representation invariant approximation criterion is considered. The model class consists of linear time-invariant systems of bounded complexity and the approximation criterion is the minimum of a weighted 2-norm distance between the given time series and a time series that is consistent with the model. The problem is equivalent to and is solved as a mosaic-Hankel structured low-rank approximation problem. Software implementing the approach is developed and tested on benchmark problems. Additional nonstandard features of the software are specification of exact and missing variables and identification from multiple experiments.