局部敏感判别直推学习机

为了充分挖掘样本内在的几何结构和蕴含的判别信息来指导样本数据分类,提出一种局部敏感的判别直推学习方法.该方法将局部敏感辨析（LSDA）的基本原理引入到直推学习中,在直推学习的正则化框架中同时引入有助于分类的样本局部结构信息和判别信息,在判别信息指导下构建了类内图和类间图来刻画类内紧性和类间散性,从而在每个局部邻域中进一步最大化类间样本的间隔.同时,用数学的形式给出了目标函数的解析表达,在几个典型数据集上的实验结果表明,相较传统的基于图的半监督学习算法,该方法能取得更高的分类效果.     

基于Semi-Supervised LLE的人脸表情识别方法

目的 为提取有效的鉴别特征和降低鉴别向量的维数来识别人脸表情图像.方法 将流行学习(Manifold leaming,ML)和半监督学习(Semi-Supervised leaming,SSL)结合起来,利用人脸表情图像数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别.结果 该方法 能充分利用数据的结构信息和有限的标签信息,使具有标签信息的同类样本之间的距离最小化,不同类数据之间的距离最大化,进而可以有效地提取数据的低维鉴别子流形,使得分类性能要优于非监督的雏数约简方法 .结论 笔者提出的半监督局部线性嵌入算法能有效地提高人脸表情识别的性能.     

基于非线性流形学习和k-NN的文本分类算法

为解决文本分类中存在的维数灾难、数据集噪声等问题,本研究提出一种利用非线性维数约简算法结合k-最邻近结点算法(k-nearest neighbor algorithm, k-NN)的文本分类算法。该算法首先对数据集进行去噪处理,再采用非线性流形学习中的局部线性嵌入算法恢复高维数据中的中低维流形结构,以实现数据约简,利用经过上述处理的文本数据学习k-NN分类器。实验结果表明,该算法能够有效提高文本分类精度。     

基于邻域决策误差率的多标记特征选择

多标记学习可以同时处理与一组标记相关的数据,多标记学习的研究对于多义性对象的学习建模具有十分重要的意义. 与传统的单标记学习一样,数据的高维性是多标记学习的阻碍,因此数据降维是一项十分重要的工作,而特征选择是一种有效的数据降维技术. 提出了基于邻域近似误差率的多标记特征选择算法. 首先,在邻域粗糙集理论的基础上,引入实例的边界来对所有实例进行粒度化. 其次,基于邻域决策误差率提出了邻域近似误差率的策略来评价特征. 最后,在公开的数据集上进行了大量的实验,结果表明所提算法的有效性.     

二维多样性保持投影及人脸识别

流形学习有效地保持了数据的局部几何结构,已成为模式识别、机器学习等领域的研究热点．但是它忽略甚至破坏了对模式分析很重要的局部多样性信息,导致局部几何结构描述不够稳定,且性能不是很好．针对此问题,提出了基于图论的多样性保持投影．该方法利用邻接图刻画局部数据之间的变化关系,并给出度量数据多样性大小的差异离散度,然后通过最大化差异离散度提取投影方向．此外,该方法直接从图像矩阵估计差异离散度矩阵,有效地避免了小样本问题．在Yale,UMIST和AR数据库上的实验结果证实了该算法的有效性．     

基于流形学习的图像检索算法研究

流形学习以发现非线性高维数据的本质维数为目标,使其更适合数据分析和高维数据的降维。图像检索中“语义鸿沟”问题指的是高维数据空间与低维的语义子空间之间的鸿沟,虽然利用相关反馈机制可以缩小这种鸿沟提高准确率,但是因为反馈图像数目较少,图像特征维数相对较高,会容易产生维数灾难问题。流形学习的引入为解决这一难题带来了新的希望,因为通过流形学习的方法学习高维图像特征数据的本征维数用于图像检索,大大提高了检索性能。基于流形学习的图像检索算法都是半监督的流形学习,充分利用了反馈信息,学习查询图像的语义子空间,有效的实现了高维数据的降维。     

自适应邻域选择的I somap算法

针对流形学习算法Isomap对于稀疏数据局部邻域大小选择的敏感性,提出一种自适应邻域选择的降维方法 A-Isomap(Adaptive-Isomap).在数据稀疏的情况下,通过邻域选取算法自适应的动态选择每一个样本点的邻域大小,很大程度上避免了对短路点的选择;同时,使用聚类信息来汇聚相似的样本点,保证了降维后的数据具有很好的可分性.为了验证算法的有效性,将该算法应用于手工流形的降维,结果表明该算法能较好的展现降维效果.     

多标签AdaBoost算法的改进算法

针对多标签AdaBoost系列算法,以尽量减小算法的学习错误率为目的,提出了对其进行改进的两种思路。基于改进思路构造出了改进的多标签AdaBoost算法。一种思路是修改算法的样本分布调整策略,破坏现有AdaBoost算法中样本分布的均匀性,以确保增加每一个弱分类器都能降低学习错误的上界估计,从而实现对多标签AdaBoost算法的改进。另一种思路是训练弱分类器时兼顾后续待学习的弱分类器对学习错误的影响,克服现有算法在训练弱分类器时只考虑当前的弱分类器对学习错误的影响,而完全忽略后续待学习的弱分类器对学习错误的影响这一现象,从而改进多标签AdaBoost算法。理论上,对于改进多标签AdaBoost算法,增加每一个弱分类器都能进一步降低学习错误。理论分析和实验结果均表明了提出的改进算法有改进效果。     

结合主动学习和半监督学习的网络入侵检测算法

为提高网络入侵检测的分类效率,提出一种结合主动学习和半监督学习的入侵检测算法。结合入侵检测实际,对主动学习算法进行简化,用有标记样本训练生成2个分类器,实现对未标记样本的预测;将2个分类器预测不一致的未标记样本作为信息量丰富的样本,使用半监督学习算法进行标记;最后, 把新增加的新标记样本添加到主动学习和半监督学习的训练集中,训练各自分类器, 反复迭代直到未标记样本集为空, 并用最新的有标记样本集训练形成最终的分类器。使用KDD CUP 99数据集进行入侵检测实验,其结果表明,与SVM方法相比,其分类率提高了4.3%,且较好地缩减了问题规模。       

基于相关熵和流形学习的多标签特征选择算法

从相关熵的角度出发,提出一种基于相关熵和特征流形学习的稀疏正则化方法,用于解决多标签特征选择问题。在相关熵定义的基础上给出多标签特征选择的回归模型;结合?_{2, 1}范数的性质和特征流形学习的定义建立基于相关熵和特征流形学习的稀疏正则化多标签特征选择模型及算法;证明该算法的收敛性并且通过试验验证所给算法的有效性。     

基于核邻域保持判别嵌入的人脸识别

为了提取高维人脸图像中的非线性特征,提出一种新的非线性降维方法:核邻域保持判别嵌入算法(KNPDE).为了表示特征空间中类间邻域结构和不同类样本间的相似度,分别构建类内邻接矩阵和类间相似度矩阵.通过使用核技巧,KNPDE将邻域保持嵌入(NPE)和Fisher判别准则相结合,在保持特征空间中类内邻域结构的同时充分利用类间判别信息,从而具有更强的分类能力.在Yale和UMIST人脸库上的试验结果进一步表明了该算法的有效性.     

投影残差分类器

针对声音、图像等高维数据的分类问题,提出了一种快速算法。首先通过非线性特征映射,将各个类别的训练样本集转换到特征空间中,构造相应的特征子空间,然后提取它们的主要特征。特征映射能够降低特征子空间的维数,并增强它们之间的两两正交性,提高了分类的准确性。在进行分类时,该方法将测试样本向各个特征子空间投影,并计算投影残差,测试样本即为投影残差最小的特征子空间的样本。与传统的分类方法不同,快速算法能一次区分多个类别,并具有与支持向量机相同的准确率。又使用了流形学习理论对快速算法进行改进,在保持准确率的前提下,极大地降低了特征子空间的维数,验证了流形学习理论的应用价值。     

加权成对约束投影半监督聚类

为了充分挖掘成对约束所隐含的信息来指导数据降维和数据聚类,提出一种基于加权成对约束投影的半监督聚类方法.该方法构造成对约束信息的k最近邻集并扩充成对约束集,分析成对约束实例包含的信息量并构造权系数矩阵,在加权成对约束信息的指导下求得投影矩阵,通过投影矩阵将样本数据投影到低维空间,使类内各点紧密分布,类间各点分散分布.同时,通过一种新的评价函数对k均值聚类算法进行改进,能够在尽量不违反成对约束的情况下优化聚类性能,实验结果表明,与现有半监督降维聚类算法相比,新方法能以较低的开销对高维数据进行聚类．     

用于带边信息人脸数据的半监督维数约减算法

提出了一种基于测地线距离的半监督维数约减算法,并将其用于带边信息的人脸数据的维数约减,此算法可以充分利用边信息和数据点之间的测地线距离,从而在保留边信息的同时保留更为真实的数据拓扑结构信息。在人脸数据库上的实验结果表明,本文所提出的算法对数据降维后用于分类时可取得比其他算法更高的准确率,且对创建的KNN图中的参数K最具鲁棒性。     

一种相似子空间嵌入算法

通过对经典的线性判别分析(Linear Discriminant Analysis, LDA)及最大边界准则(Maximum Margin Criterion, MMC)方法的分析,提出一种类内子空间深入学习的监督降维方法——相似子空间嵌入(Similarity Subspace Embedding, SSE),对类内离散度矩阵进行深入学习,得到每类的类内离散度子空间,通过对所有类内离散度子空间的学习,获得信息更为丰富的类间离散度矩阵,进而得到更好的低维空间。与MMC方法相比,SSE方法对类内数据学习更充分,同时避免了LDA方法存在的小样本问题。在AR人脸图像、Coil数据集及手写体上的试验结果表明,与其它三种相关的经典方法相比, SSE方法具有较高的识别率,说明了该方法的有效性。     

联合低秩表示与图嵌入的无监督特征选择

大数据应用带来高维数据急剧增加,数据降维已成为重要问题.特征选择降维方法已广泛应用于模式识别领域,近年来提出了许多基于流形学习的特征选择方法,然而这类方法往往容易受到各种噪声影响.对此,本文提出一种联合低秩表示和图嵌入的高效无监督特征选择方法（JLRRGE）.通过低秩表示寻找数据在低秩子空间下的表示,降低噪声的影响从而提高算法的鲁棒性,并通过自适应图嵌入方法,使选择特征保持原有的局部关系.实验结果表明,本文提出算法的分类准确率优于其他对比算法.     

一种具有统计不相关性的最优边界鉴别向量集

为了解决现有维数约简算法受样本分布影响较大、不支持小样本学习等问题,在分析线性鉴别分析(LDA)中最优鉴别向量与支持向量机(SVM)中分类超平面法向量之间关系的基础上,基于统计不相关最优鉴别向量集优于正交最优鉴别向量集的事实,提出了通过对改进的SVM的二次优化问题进行递归求解来获取具有统计不相关性的最优边界鉴别向量集的算法,并使用核方法将其推广到可以解决非线性特征抽取问题.结果表明:在采用相同参数并使用k-最近邻分类器进行训练和测试的情况下,提出的算法对实际数据集Waveform,Heart,Diabetis的分类精度均高于SVM和RSVM,不会出现当抽取超过最优维数时随着抽取维数的增加分类精度反而降低的现象,体现了本算法在抽取不相关特征向量方面的有效性.     

知识保持的嵌入方法

考虑了一种带有数据领域知识的降维问题。这里领域知识是指关于数据的一些额外监督信息,如类别标号以及比标号弱的样本间相似性和不相似性约束等。其中,约束可以从标号中产生,但反过来从约束中却得不到标号信息,因而约束比标号更一般。另外,在图像检索等实际应用中,约束比标号更容易获取。鉴于此,本文主要研究基于约束的降维问题。提出了一种有效利用约束进行降维的约束保持嵌入算法（constraint preserving embedding, COPE）,将其纳入到图嵌入统一框架之中并指出与同类方法的关系。进一步,通过引入无标记样本提出了半监督COPE算法;提出核COPE以揭示数据中的非线性结构。最后,在人脸识别、图像检索及半监督聚类等一系列实验中的结果验证了算法的有效性。     

结合ReliefF和互信息的多标签特征选择算法

针对传统单标签特征选择算法不能直接应用于多标签数据的问题,提出一种多标签特征选择算法——MML-RF算法.在ReliefF的基础上,MML-RF算法提出新的类内最近邻样本查找方式,并结合多标签的贡献值改进特征权值的计算方法,能很好地适应多标签数据的特点;同时为了减少特征冗余,MML-RF算法以互信息作为特征冗余度量方式,提出一种去冗余方法,能够得到更小的特征子集.实验表明,MML-RF多标签特征选择算法得到的特征子集规模较小,且在多标签数据集上具有很好的分类效果,能够提升多标签学习和数据挖掘工作的效率.     

基于模糊隶属度的加权广义不定核判别分析

对线性不可分的问题,已有许多基于正定核的降维方法,Fisher判别分析法是其中常用的方法。本研究对此类方法进行了改进和推广,首先将正定核推广到不定核,然后提出了基于模糊隶属度的不定核判别分析,最后结合权函数提出了加权广义不定核判别分析。实验结果表明,所提算法不仅有很好的分类效果,而且权函数的选择对分类结果有比较明显的影响。