基于低秩评分的非监督特征选择算法

为将数据的全局结构信息引入特征选择中,提升特征评分机制的有效性,提出一种基于低秩评分的非监督特征选择算法。利用“干净”字典约束的低秩表示模型,获得权值矩阵,该权值矩阵能够揭示数据全局结构信息,具有一定的鉴别能力,将其引入拉普拉斯评分机制,构建低秩评分机制,用于数据的特征选择。在不同的数据库上进行聚类和分类实验,实验结果表明,同传统的特征选择算法相比,该算法的性能更优。     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

基于低秩约束的稀疏主题模型

传统潜在语义分析模型所得到的主题空间映射矩阵往往比较稠密,不仅存储代价比较高,而且各个主题含义不明确。针对该问题,提出一种新的稀疏主题模型,该模型通过对映射矩阵施加稀疏性约束,使得每个主题只与少数词项关联,来增加主题的可解释性;同时,通过对编码系数矩阵施加低秩约束,使得数据在主题空间中呈现出更好的聚类特性。实验结果表明,基于该模型得到的主题空间更有利于分类,映射矩阵的存储代价更低。     

基于低秩稀疏图的结构保持投影算法

在图嵌入理论框架下,能够较好地揭示数据本质特性的图在一些维数约简方法中起到关键性的作用。基于稀疏表示和低秩表示方法,构建了一种低秩稀疏图,能够同时揭示数据的局部结构信息和全局结构信息。然后,利用图嵌入理论方法使这些特性在线性投影的过程中得以保持不变,从而学习出高维数据有效的低维嵌入。在标准的人脸和手写数字数据集(ORL,Yale,PIE,MNIST)上进行实验,同传统的图嵌入方法比较,结果表明了算法的有效性。     

基于空间约束低秩图的人脸识别

低秩表示能够很好地揭示隐藏在数据中的全局结构信息并且对噪声具有很强的鲁棒性。基于图嵌入维数约简理论框架,提出了一种人脸识别算法,其利用低秩表示模型构建数据低秩图。此外,在低秩模型中引入数据空间约束项,构建一种具有空间约束的低秩图以提高识别效果。在ORL和PIE标准人脸数据库上进行实验,同传统的识别算法相比,结果显示所提出的算法在识别率和对噪声的鲁棒性上具有更好的表现。     

基于结构化低秩表示和低秩投影的人脸识别算法

在实际的人脸识别中,给定的训练图像往往存在遮挡和噪声,导致稀疏表示分类（SRC）算法的性能下降。针对上述问题,提出一种基于结构化低秩表示（SLR）和低秩投影的人脸识别方法--SLR_LRP。首先通过SLR对原始训练样本进行低秩分解得到干净的训练样本,根据原始训练样本和恢复得到的干净训练样本得到一个低秩投影矩阵;然后将测试样本投影到该低秩投影矩阵;最后使用SRC对恢复后的测试样本进行分类。在AR人脸库和Extended Yale B人脸库上的实验结果表明,SLR_LRP可以有效处理样本中存在的遮挡和像素破坏。     

基于图正则平滑低秩表示的基因表达谱特征选择

针对传统低秩表示不能准确描述数据结构的问题,提出一种图正则平滑低秩表示的特征选择算法。在构造目标函数时,利用对数行列式函数代替核范数来平滑估计秩函数,引入流形正则项;利用非精确交替方向法进行求解,并且采用后处理方式构造数据的图结构。该算法能够准确地描述数据全局子空间结构和局部线性结构。在基因表达谱数据集上进行聚类实验,同其他特征选择算法相比较,实验结果证明了该算法的有效性。     

基于低秩表示中稀疏误差的可变光照和局部遮挡人脸识别

可变光照和有遮挡人脸识别是人脸识别问题中的一个难点。受到鲁棒主成分分析法(RPCA)和稀疏表示分类法(SRC)的启发,提出一种基于低秩表示(LRR)中稀疏误差图像的可变光照有遮挡人脸识别算法。在训练阶段,利用LRR计算每类人脸低秩数据矩阵,在此基础上求解每类人脸图像低秩映射矩阵,通过各类低秩映射矩阵将未知人脸图像投影得到每类下的低秩数据矩阵和稀疏误差矩阵,为了有效提取稀疏误差图像中的鉴别信息,分别对稀疏误差图像进行边缘检测和平滑度分析,设计了基于两者加权和的类别判据。在Extended Yale B和AR两个数据库上进行了详细的实验分析,实验结果与其它算法相比较有明显提高,证实了所提算法的有效性和鲁棒性。     

隐式低秩稀疏表示的多视角子空间聚类

针对多视角子空间聚类问题,提出基于隐式低秩稀疏表示的多视角子空间聚类算法(LLSMSC).算法构建多个视角共享的隐式结构,挖掘多视角之间的互补性信息.通过对隐式子空间的表示施加低秩约束和稀疏约束,捕获数据的局部结构和稀疏结构,使聚类结果更准确.同时,使用基于增广拉格朗日乘子交替方向最小化算法高效求解优化问题.在6个不同数据集上的实验验证LLSMSC的有效性和优越性.     

基于低秩子空间投影和Gabor特征的稀疏表示人脸识别算法

目前的人脸识别算法常常忽视训练过程中噪声的影响,特别是在训练数据和待测数据都受到噪声污染的情况下,识别性能会明显下降。针对含有光照变化、伪装、遮挡及表情变化等较大噪声的人脸识别问题,提出了一种基于低秩子空间投影和Gabor特征的稀疏表示人脸识别算法。该算法首先通过低秩矩阵恢复算法得到训练样本的潜在低秩结构和稀疏误差结构;然后利用主成分分析法找到低秩结构的Gabor特征所在低秩子空间的变换矩阵;再通过变换矩阵将所有样本的Gabor特征向量投影到低秩子空间上,在该低秩子空间上使用稀疏表示分类算法进行最终的分类识别。在Extend Yale B和AR数据库上的实验表明,新算法具有较高的识别率和较强的抗干扰能力。     

稀疏回归和流形学习的无监督特征选择算法

针对无标签高维数据的大量出现,对机器学习中无监督特征选择进行了研究。提出了一种结合自表示相似矩阵和流形学习的无监督特征选择算法。首先,通过数据的自表示性质,构建相似矩阵,结合低维流形能够表示高维数据结构这一流形学习思想,建立一种考虑流形学习的无监督特征选择优化模型。其次,为了保证选择更有用及更稀疏的特征,采用◢l◣▼2,1▽范数对优化模型进行约束,使特征之间相互竞争,消除冗余。进而,通过变量交替迭代对优化模型进行求解,并证明了算法的收敛性。最后,通过与其他几个无监督特征算法在四个数据集上的对比实验,表明所给算法的有效性。     

基于属性自表达的低秩超图属性选择算法*

针对高维数据具有低秩形式和属性冗余等特点,提出一种基于属性自表达的无监督超图属性选择算法。具体地,该算法首先利用属性自表达特点用其他属性稀疏地表达每个属性,此自表达形式使用低秩假设寻找高维数据的低秩表示,然后建立超图正则化因子保持高维数据的局部结构,最后利用稀疏正则化因子进行属性选择。属性自表达特性确定属性的重要性,低秩表示相当于考虑数据的全局信息进行子空间学习,超图正则化因子考虑数据的局部结构对数据进行子空间学习。该算法实际上考虑数据全局和局部信息进行子空间学习,更是一种嵌入了子空间学习的属性选择算法。实验结果表明,该算法相比其它对比算法,能更有效地选取属性,并能取得很好的分类效果。     

基于核稀疏表示的特征选择算法*

为了解决高维数据在分类时导致的维数灾难,降维是数据预处理阶段的主要步骤。基于稀疏学习进行特征选择是目前的研究热点。针对现实中大量非线性可分问题,借助核技巧,将非线性可分的数据样本映射到核空间,以解决特征的非线性相似问题。进一步对核空间的数据样本进行稀疏重构,得到原数据在核空间的一种简洁的稀疏表达方式,然后构建相应的评分机制选择最优子集。受益于稀疏学习的自然判别能力,该算法能够选择出保持原始数据结构特性的"好"特征,从而降低学习模型的计算复杂度并提升分类精度。在标准UCI数据集上的实验结果表明,其性能上与同类算法相比平均可提高约5%。     

低秩约束的非线性属性选择算法

针对高维的数据中往往存在非线性、低秩形式和属性冗余等问题,提出一种基于核函数的属性自表达无监督属性选择算法——低秩约束的非线性属性选择算法（LRNFS）。首先,将每一维的属性映射到高维的核空间上,通过核空间上的线性属性选择去实现低维空间上的非线性属性选择;然后,对自表达形式引入偏差项并对系数矩阵进行低秩与稀疏处理;最后,引入核矩阵的系数向量的稀疏正则化因子来实现属性选择。所提算法中用核矩阵来体现其非线性关系,低秩考虑数据的全局信息进行子空间学习,自表达形式确定属性的重要程度。实验结果表明,相比于基于重新调整的线性平方回归（RLSR）半监督特征选择算法,所提算法进行属性选择之后作分类的准确率提升了2.34%。所提算法解决了数据在低维特征空间上线性不可分的问题,提升了属性选择的准确率。     

基于自步学习的无监督属性选择算法

针对现有属性选择算法平等地对待每个样本而忽略样本之间的差异性,从而使学习模型无法避免噪声样本影响问题,提出一种融合自步学习理论的无监督属性选择（UFS-SPL）算法。首先自动选取一个重要的样本子集训练得到属性选择的鲁棒性初始模型,然后逐步自动引入次要样本提升模型的泛化能力,最终获得一个能避免噪声干扰而同时具有鲁棒性和泛化性的属性选择模型。在真实数据集上与凸半监督多标签属性选择（CSFS）、正则化自表达（RSR）和无监督属性选择的耦合字典学习方法（CDLFS）相比,UFS-SPL的聚类准确率、互信息和纯度平均提升12.06%、10.54%和10.5%。实验结果表明,UFS-SPL能够有效降低数据集中无关信息的影响。     

基于拉普拉斯评分的多标记特征选择算法

针对传统的拉普拉斯评分特征选择算法只适应单标记学习,无法直接应用于多标记学习的问题,提出一种应用于多标记任务的拉普拉斯评分特征选择算法。首先,考虑样本在整体标记空间中共同关联和共同不关联的相关性,重新构建样本相似度矩阵;然后,将特征之间的相关性及冗余性判定引入拉普拉斯评分算法中,采用前向贪心搜索策略依次评价候选特征与已选特征的联合作用能力,用于评价特征的重要性;最后,在5个不同评价指标和6个多标记数据集上实验。实验结果表明：相比基于最大依赖的多标记维数约简方法（MDDM）、基于贝叶斯分类器的多标记特征选择算法（MLNB）及基于多元互信息的多标记分类特征选择算法（PMU）,所提算法不仅分类性能最优,且存在显著性优异达65%。