基于超图表示的低秩属性选择方法用于回归分析*

针对现有的回归模型未考虑特征之间的深层结构,而导致在回归问题上输出不稳定的模型,提出了一种新的属性选择方法。具体地,通过稀疏学习理论中的 L2,1-范数和 L2,p-范数在线性回归模型分别进行样本降噪和属性选择,然后,利用超图结构和低秩约束来分别考虑数据间的局部结构和不同数据间的全局结构,最后结合子空间学习方法来对模型进行微调。经实验证明,在回归分析中该算法较对比算法能取得更好的效果。     

鲁棒自表达的低秩属性选择算法

针对无监督属性选择算法无类别信息和未考虑属性的低秩问题,提出一种基于自表达方法的低秩属性选择算法。在损失函数中使用低秩和自表达方法描述属性间的相关结构,利用K均值聚类算法得到所有样本的伪类标签进行属性选择,采用稀疏学习方法中的l_(2,p)-范数参数p控制属性选择结果的稀疏性,并通过子空间学习方法使属性选择结果达到全局最优。实验结果表明,与无监督属性选择算法相比,该算法在6个公开数据集上均具有较高的分类准确率及稳定性。     

融合K均值聚类和低秩约束的属性选择算法

针对无监督属性选择算法无类别信息和未考虑属性低秩等问题,该文提出了一种融合K均值聚类和低秩约束的属性选择算法。算法在线性回归的模型框架中有效地嵌入自表达方法,同时利用K均值聚类产生伪类标签最大化类间距以更好地稀疏结构,并使用l_2,p-范数代替传统的l_2,1-范数,通过参数p来灵活调节结果的稀疏性,最后证明了该文算法具有执行线性判别分析的特点和收敛性。经实验验证,该文提出的属性算法与NFS算法、LDA算法、RFS算法、RSR算法相比分类准确率平均提高了17.04%、13.95%、3.6%和9.39%,分类准确率方差也是最小的,分类结果稳定。     

基于超图稀疏的低秩属性选择算法用于多回归分析

针对已有的多回归算法未能更好地考虑不同列类别之间的关联性,提出了一种基于超图稀疏的属性选择方法。具体地,利用稀疏理论中的 L2p-范数来改进线性回归模型,然后,结合低秩结构和超图表示来分别考虑同一类别间的局部结构和不同类别间的全局结构,最后,模型通过子空间学习中的线性判别分析(LDA)来进一步调整重构系数矩阵的结果。经实验验证,提出的算法在六个公开数据集上相比四种对比算法,在多回归分析中均能取得更好的结果。     

低秩约束的非线性属性选择算法

针对高维的数据中往往存在非线性、低秩形式和属性冗余等问题,提出一种基于核函数的属性自表达无监督属性选择算法——低秩约束的非线性属性选择算法（LRNFS）。首先,将每一维的属性映射到高维的核空间上,通过核空间上的线性属性选择去实现低维空间上的非线性属性选择;然后,对自表达形式引入偏差项并对系数矩阵进行低秩与稀疏处理;最后,引入核矩阵的系数向量的稀疏正则化因子来实现属性选择。所提算法中用核矩阵来体现其非线性关系,低秩考虑数据的全局信息进行子空间学习,自表达形式确定属性的重要程度。实验结果表明,相比于基于重新调整的线性平方回归（RLSR）半监督特征选择算法,所提算法进行属性选择之后作分类的准确率提升了2.34%。所提算法解决了数据在低维特征空间上线性不可分的问题,提升了属性选择的准确率。     

基于属性自表达的低秩超图属性选择算法*

针对高维数据具有低秩形式和属性冗余等特点,提出一种基于属性自表达的无监督超图属性选择算法。具体地,该算法首先利用属性自表达特点用其他属性稀疏地表达每个属性,此自表达形式使用低秩假设寻找高维数据的低秩表示,然后建立超图正则化因子保持高维数据的局部结构,最后利用稀疏正则化因子进行属性选择。属性自表达特性确定属性的重要性,低秩表示相当于考虑数据的全局信息进行子空间学习,超图正则化因子考虑数据的局部结构对数据进行子空间学习。该算法实际上考虑数据全局和局部信息进行子空间学习,更是一种嵌入了子空间学习的属性选择算法。实验结果表明,该算法相比其它对比算法,能更有效地选取属性,并能取得很好的分类效果。     

基于低秩和图拉普拉斯的属性选择算法

针对无监督属性选择算法使用单一方法,未考虑数据间内在相关性和噪声等问题,提出一种基于属性自表达的低秩无监督属性选择算法。算法首先将稀疏正则化（[l2,1-]范数）引入属性自表达损失函数中实现无监督稀疏学习,其次在系数矩阵中加入低秩约束以降低噪声和离群点的影响,然后利用低秩结构和图拉普拉斯正则化使子空间学习兼顾数据的全局和局部结构,最后通过属性自表达实现无监督学习。经数据集上多次迭代验证,该算法能够快速收敛并达到全局最优,与SOGFS、PCA、LPP、RSR等四种算法相比分类准确率平均提高了16.11%、14.03%、9.92%和4.2%,并且在各数据集上互信息平均值也是最高的,说明该算法有效、高效。     

基于自适应图学习的多目标特征选择算法

针对多目标回归中的特征选择问题,提出一种基于自适应图学习的多目标特征选择算法,在单个框架中同时考虑3种关系结构:输入特征与目标输出、不同目标输出以及样本间的相关结构,并基于上述结构信息进行特征选择.首先,在传统稀疏回归模型中对系数矩阵施加低秩约束,利用低秩学习对特征间相关性以及目标间的依赖关系进行解耦学习;然后,构建基于样本局部结构信息的自适应图学习项,充分利用样本间的相似结构进行特征选择;进一步地,引入基于输出相关性的结构矩阵优化项,使模型能够更加充分地考虑目标间的相关性;最后,提出一种交替优化算法求解目标函数,并从理论上证明算法的收敛性.在公开数据集上的实验表明,所提方法相较于现有主流的多目标特征选择方法具有更好的性能和适用性.     

基于Fisher判别准则的低秩矩阵恢复

标准的低秩矩阵恢复算法是把原始数据集分解成一组表征基和与此相应的稀疏误差,并以此分解对原始数据建模。受Fisher准则启发,文中提出基于带有Fisher判别准则的低秩矩阵恢复算法,在有监督学习模式下对低秩矩阵进行恢复,即当所有的标签信息都知道的情况下考虑类内散度和类间散度。文中所构造的模型可利用增广拉格朗日乘子法求解,并通过对标准的低秩矩阵模型增加判别性提高性能,利用文中算法所学习到的表征基使类内结构相关,而类间相互独立。在人脸识别问题上的仿真实验表明该算法的有效性。     

基于局部结构学习的非线性属性选择算法

针对大多数高维数据之间不仅有相似性,而且还有非线性关系等特点,提出一种基于局部结构学习的非线性属性选择算法。该算法首先通过核函数把数据映射到高维空间,在高维空间中表示出数据属性之间的非线性关系;然后在低维空间中通过局部结构学习来充分挖掘属性之间的相似性,同时通过低秩约束来排除噪声的干扰;最后通过稀疏正则化因子来进行属性选择。其通过核函数映射来找出数据属性之间的非线性关系,运用局部结构学习来找出数据属性之间的相似性,是一种嵌入了局部结构学习的非线性属性选择算法。实验结果表明,该算法相比其他的对比算法,有更好的效果。     

低秩特征选择多输出回归算法

针对现有回归算法没有考虑利用特征与输出的关系,各输出之间的关系,以及样本之间的关系来处理高维数据的多输出回归问题易输出不稳定的模型,提出一种新的低秩特征选择多输出回归方法。该方法采用低秩约束去构建低秩回归模型来获取多输出变量之间的关联结构;同时创新地在该低秩回归模型上使用[L2,p]-范数来进行样本选择,合理地去除噪音和离群点的干扰;并且使用[L2,p]-范数正则化项惩罚回归系数矩阵进行特征选择,有效地处理特征与输出的关系和避免“维灾难”的影响。通过实际数据集的实验结果表明,提出的方法在处理高维数据的多输出回归分析中能获得非常好的效果。     

DCT结合特征选择的红外人脸识别

为了从生物特征和统计角度来提高识别的性能,提出了一种基于血流图的离散余弦变换（discrete cosine transform,DCT）与特征选择相结合的人脸识别方法。该方法首先利用血流模型把红外温谱图转换成血流图,得到更具丰富频率的特征。其次,采用DCT变换可以有效地消除血流图的相关性。最后,在DCT域特征提取阶段,为了提高特征提取的有效性,特征选择和子空间学习基于一致的可分性目标：特征选择引入基于可分性的DCT系数选择算法以抽取鉴别能力强的DCT系数,对抽取的DCT系数采用基于可分性的线性鉴别分析（linear discriminant analysis,LDA）方法。实验结果表明,该红外人脸识别方法可以快速有效地提取血流图中适合分类的特征,识别率优于传统DCT＋LDA方法。     

多源适应多标签分类框架

多源适应学习是一种旨在提升目标学习性能的有效机器学习方法。针对多标签视觉分类问题,基于现有的研究进展,研究提出一种新颖的联合特征选择和共享特征子空间学习的多源适应多标签分类框架,在现有的图Laplacian正则化半监督学习范式中充分考虑目标视觉特征的优化处理,多标签相关信息在共享特征子空间的嵌入,以及多个相关领域的判别信息桥接利用等多个方面,并将其融为一个统一的学习模型,理论证明了其局部最优解只需通过求解一个广义特征分解问题便可分别获得,并给出了算法实现及其收敛性定理。在两个实际的多标签视觉数据分类上分别进行深入实验分析,证实了所提框架的鲁棒有效性和优于现有相关方法的分类性能。     

基于径向基函数的多目标回归特征构建算法

多目标回归（MTR）是一种针对单个样本同时具有多个连续型输出的回归问题。现有的多目标回归算法都基于同一个特征空间学习回归模型,而忽略了各输出目标本身的特殊性质。针对这一问题,提出基于径向基函数的多目标回归特征构建算法。首先,将各目标的输出作为额外的特征对各输出目标进行聚类,根据聚类中心在原始特征空间构成了目标特定特征空间的基;然后,通过径向基函数将原始特征空间映射到目标特定特征空间,构造目标特定的特征,并基于这些目标特定特征构建各输出目标的基回归模型;最后,用基回归模型的输出组成隐藏空间,采用低秩学习算法在其中发掘和利用输出目标之间的关联。在18个多目标回归数据集上进行实验,并把所提算法与层叠单目标回归（SST）、回归器链集成（ERC）、多层、多目标回归（MMR）等经典的多目标回归算法进行对比,结果表明所提算法在14个数据集上都取得了最好的性能,并且在18个数据集上的平均性能排序居第一位。可见所提算法构建的目标特定特征能够提高各输出目标的预测准确性,并结合低秩学习得到输出目标间的关联性以从整体上提升多目标回归的预测性能。     

缺失标记下基于类属属性的多标记特征选择

多标记特征选择已在图像分类、疾病诊断等领域得到广泛应用;然而,现实中数据的标记空间往往存在部分标记缺失的问题,这破坏了标记间的结构性和关联性,使得学习算法难以准确地选择重要特征。针对此问题,提出一种缺失标记下基于类属属性的多标记特征选择（MFSLML）算法。首先,通过利用稀疏学习方法获取每个类标记的类属属性;同时基于线性回归模型构建类属属性与标记的映射关系,以用于恢复缺失标记;最后,选取7组数据集以及4个评价指标进行实验。实验结果表明：相比基于最大依赖度和最小冗余度的多标记特征选择算法（MDMR）和基于特征交互的多标记特征选择算法（MFML）等一些先进的多标记特征选择算法,MFSLML在平均查准率指标上能够提升4.61~5.5个百分点,由此可见MFSLML具有更优的分类性能。     

基于流形学习的约束Laplacian分值多标签特征选择

多标签特征选择是针对多标签数据的特征选择技术,提高多标签分类器性能的重要手段。提出一种基于流形学习的约束Laplacian分值多标签特征选择方法（Manifold-based Constraint Laplacian Score,M-CLS）。方法分别在数据特征空间和类别标签空间定义两种Laplacian分值：在特征空间利用逻辑型类别标签的相似性对邻接矩阵进行改进,定义特征空间的约束Laplacian分值;在标签空间基于流形学习将逻辑型类别标签映射为数值型,定义实值标签空间的Laplacian分值。将两种分值的乘积作为最终的特征评价指标。实验结果表明,所提方法性能优于多种多标签特征选择方法。     

基于集成学习的规范化LDA人脸识别

针对人脸识别问题中经常面临的“小样本”问题,在规范化的LDA算法的基础上加以改进,并结合集成学习的方法,利用Adaboost算法,在每一次的迭代过程中引进一个加权函数对难以分离的样本增加权重。增加分类器之间的差异度,从而提高样本在新的特征空间中的可分离性,将识别率提高至98.5%。通过ORL数据库的大量实验表明,该算法比传统算法有更好的性能。     

基于改进的RAKEL算法的心电图诊断分类

心电图（ECG）数据通常包含多种病症,而ECG诊断是一个典型的多标签分类问题。在多标签分类方法中,RAKEL算法将标签集随机分解为若干个大小为k的子集,并建立LP分类器进行训练;然而由于没有充分考虑标签间的相关性,LP分类器中容易产生一些标签组合所对应样本稀少的情况,从而影响预测性能。为了充分考虑标签间的相关性,提出一种基于贝叶斯网络的RAKEL算法BN-RAKEL。首先利用贝叶斯网络找到标签间的相关性,确定候选标签子集;然后对每个标签采用基于信息增益的特征选择算法确定其最优特征空间,并针对每个候选标签子集利用最优特征空间相似性来检测其相关程度,以确定最终的具有强相关性的标签子集;最后在标签子集的最优特征空间上训练LP分类器。在实际的ECG数据集上,与多标签K近邻（ML-KNN）、RAKEL、CC和基于FP-Growth的RAKEL算法FI-RAKEL进行对比,结果显示所提算法在召回率和F-score上最少提高了3.6个百分点和2.3个百分点。实验结果表明,BN-RAKEL算法有较好的预测性能,能有效提升ECG诊断的准确性。