基于近邻元分析的半监督流形学习算法*

现有的大多数流形学习算法偏重保持流形的几何结构,并未考虑到样本点的标签信息,这在一定程度上限制了流形学习算法在数据分类中的应用.因此文中提出一种基于近邻元分析的半监督流形学习算法,采用近邻元分析学习距离度量矩阵,在距离度量方式下选择样本点的局部邻域点.基于距离度量方式构造样本点和邻域点的局部几何结构,并在样本点的低维嵌入坐标中保持这种局部几何结构不变.3个不同数据集上的分类实验验证了文中算法的有效性.     

宏流形学习及其在监督分类中的应用

针对流形学习用于监督分类时效果不尽人意的问题,提出了一种有监督的宏流形学习算法。算法根据给定的训练样本构造子流形,子流形沿着边界粘连构成父流形。在充分利用训练集的类别标签信息和类内近邻信息的基础上,计算出最优非线性映射函数,对训练样本的高维特征进行降维,同时利用非线性核回归技术处理样本外点学习问题,使降维后得到的低维嵌入更有利于分类。将提出的算法与多种经典降维算法在2个典型测试数据集,即21类地物数据集和UCI数据集,分别进行分类实验。实验结果表明所提出的算法能够取得更好的分类效果。     

基于流形距离的半监督近邻传播聚类算法*

通过学习数据集的低维流形结构,给出一种流形距离测度;结合成对约束信息,调整数据的相似度矩阵,将其作为近邻传播算法的输入,提出了基于流形距离的半监督近邻传播聚类算法（SAP-MD）。通过在UCI标准数据集上的仿真实验表明,SAP-MD算法相比于仅利用成对约束信息的聚类算法,在聚类性能上有很大提高。     

基于密度信息的改进降维方法

扩散映射(diffusion maps)是一种基于流形学习的非线性降维方法。为了提高降维的效果, 根据近邻点的选取对diffusion maps的降维效果影响, 利用数据近邻点分布的不同, 挖掘该数据点局部的密度信息, 能够更好地保持数据的流形结构。利用样本点聚类后的类别信息构造密度信息指数, 提出了一种改进的diffusion maps算法, 有效地保持了高维数据中的流形结构, 所提的新算法在多种实验中得到了证实。     

基于近邻传播学习的半监督流量分类方法

准确的流量分类是进行网络管理、安全检测以及应用趋势分析的基础.针对完全监督和无监督分类的缺陷, 提出了一种基于近邻传播学习的半监督流量分类方法.通过引入近邻传播聚类机制构建分类模型, 使得分类器实现过程简单、运行高效. 应用半监督学习的思想, 抽象出少量已标记样本流约束和流形空间先验信息, 定义了流形相似度的距离测度, 既降低了标记流量样本的复杂度, 又提高了流量分类器的性能.理论分析和实验结果表明:算法具有较高的分类准确性和较好的凝聚性.     

基于密度刻画的降维算法

针对LLE算法在数据密度变化较大时很难降维的问题,提出一种基于密度刻画的降维算法。采用cam分布寻找数据点的近邻,并在低维局部重建时对数据点加入密度信息。对手写体数字图像进行字符特征的降维,再对降维后的特征进行分类识别。实验结果表明,该方法能区分字符,具有较好的识别率,能够发现高维空间的低维嵌入流形。     

基于半监督流形学习的人脸识别方法

如何有效地将流形学习(Manifold learning,ML)和半监督学习(Semi-supervised learning,SSL)方法进行结合是近年来模式识别和机器学习领域研究的热点问题.提出一种基于半监督流形学习(Semi-supervised manifold learning,SSML)的人脸识别方法,它在部分有标签信息的人脸数据的情况下,通过利用人脸数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸识别.基于公开的人脸数据库上的实验结果表明,该方法能有效地提高人脸识别的性能.     

面向数据集的ST-SNE算法高维数据降维研究

在数据挖掘和机器学习等领域中,数据降维是解决高维数据分析与处理难题的有效手段。对t-SNE 降维算法进行了深入的研究,并对t-SNE 计算高维空间样本点相似度的过程进行了改进。t-SNE 算法直接利用样本点在高维空间中的欧氏距离来度量样本点的相似度,但欧氏距离在高维空间中不能忠实反映样本位于非线性流形上的相似关系。利用样本点在高维空间中的邻居结构,提出使用二阶邻近距离来度量样本点的相似度,并提出基于二阶邻近距离的随机近邻嵌入算法（Second Order t-SNE,ST-SNE）。在MNIST、USPS、COIL-20等多个数据集上进行了对比实验。实验结果表明,改进后的算法提升了降维结果的分类准确度和可视化效果。     

稀疏判别分析

针对流形嵌入降维方法中在高维空间构建近邻图无益于后续工作,以及不容易给近邻大小和热核参数赋合适值的问题,提出一种稀疏判别分析算法（SEDA）。首先使用稀疏表示构建稀疏图保持数据的全局信息和几何结构,以克服流形嵌入方法的不足;其次,将稀疏保持作为正则化项使用Fisher判别准则,能够得到最优的投影。在一组高维数据集上的实验结果表明,SEDA是非常有效的半监督降维方法。     

DIMENSION REDUCTION OF HYPERSPECTRAL REMOTE SENSING IMAGERY BASED ON SUPERVISED ISOMETRIC MAPPING

在面向分类的高光谱遥感数据降维过程中,考虑到高光谱遥感数据内在的非线性结构和传统流形学习非监督的特点,提出一种新的监督等距映射方法(S-Isomap).方法基于类间距离大于类内距离的思想,首先利用KMEANS算法对原始数据进行聚类得到样本的初始类别标签,采用新距离搜寻数据点的K近邻,进而实施等距映射降维.实验证明了该方法优于传统Isomap.     

基于可变损失和流形正则化的生成对抗网络

针对生成对抗网络中鉴别器在少量标记样本上的分类精度较差以及对流形局部扰动的鲁棒性不足的问题,提出一种基于可变损失和流形正则化的生成对抗网络算法。当标记样本较少时,该算法在鉴别器中利用可变损失代替原有对抗损失以解决训练前期分类性能较差的鉴别器对半监督分类任务的不利影响。此外,在鉴别器可变损失的基础上加入流形正则项,通过惩罚鉴别器在流形上分类决策的变化提高鉴别器对局部扰动的鲁棒性。以生成样本的质量和半监督的分类精度作为算法的评价标准,并在数据集SVHN和CIFAR-10上完成了数值实验。与其他半监督算法的对比结果表明,该算法在使用少量带标记数据的情况下能得到质量更高的生成样本和精度更高的分类结果。     

基于标签进行度量学习的图半监督学习算法

大多基于图的半监督学习方法,在样本间相似性度量时没有用到已有的和标签传播过程中得到的标签信息,同时,其度量方式相对固定,不能有效度量出分布结构复杂多样的数据样本间的相似性。针对上述问题,提出了基于标签进行度量学习的图半监督学习算法。首先,给定样本间相似性的度量方式,从而构建相似度矩阵。然后,基于相似度矩阵进行标签传播,筛选出k个低熵样本作为新确定的标签信息。最后,充分利用所有标签信息更新相似性度量方式,重复迭代优化直至学出所有标签信息。所提算法不仅利用标签信息改进了样本间相似性的度量方式,而且充分利用中间结果降低了半监督学习对标签数据的需求量。在6个真实数据集上的实验结果表明,该算法在超过95%的情况下相较三种传统的基于图的半监督学习算法取得了更高的分类准确率。     

基于标签进行度量学习的图半监督学习算法

大多基于图的半监督学习方法，在样本间相似性度量时没有用到已有的和标签传播过程中得到的标签信息，同时，其度量方式相对固定，不能有效度量出分布结构复杂多样的数据样本间的相似性。针对上述问题，提出了基于标签进行度量学习的图半监督学习算法。首先，给定样本间相似性的度量方式，从而构建相似度矩阵。然后，基于相似度矩阵进行标签传播，筛选出k个低熵样本作为新确定的标签信息。最后，充分利用所有标签信息更新相似性度量方式，重复迭代优化直至学出所有标签信息。所提算法不仅利用标签信息改进了样本间相似性的度量方式，而且充分利用中间结果降低了半监督学习对标签数据的需求量。在6个真实数据集上的实验结果表明，该算法在超过95%的情况下相较三种传统的基于图的半监督学习算法取得了更高的分类准确率。     

融合Garbor小波和流形学习的人脸表情识别

通过Garbor小波提取人脸表情特征,为降低Garbor变换后向量维数和提取有效的鉴别特征,将手动选取特征点和监督局部线性嵌入（SLLE）结合起来,利用人脸表情图像数据本身的非线性流形结构信息和样本标签信息来调整点到点之间的距离,并形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别。结果表明该方法能更为有效地提取反映表情状态的特征,识别率优于传统的PCA算法,取得了较好的识别效果。最后实验分析了SLLE算法近邻数K和嵌入维数对识别率的影响,得到了SLLE算法的最优近邻数K和低维嵌入维数。     

一种邻域自适应半监督局部Fisher判别分析算法

针对利用局部化思想解决多模数据的判别分析问题时,根据经验对局部邻域大小进行全局统一设定无法体现局部几何结构的差异性的不足,提出一种邻域自适应半监督局部Fisher判别分析（neighborhood adaptive semi-supervised local Fisher discriminant analysis,NA-SELF）算法。该算法在半监督局部Fisher判别分析算法的基础上,结合马氏距离和余弦相似度确定初始近邻数,并根据样本空间概率密度估计调整近邻数。通过人工数据集和5组UCI标准数据集对该算法的特征降维性能进行验证,并与典型的维数约简算法和采用传统k近邻方法的判别分析算法进行比较,实验结果表明该算法具备更高的有效性。     

基于改进流形距离和人工蜂群的二阶段聚类算法

以改进的流形距离为相似度测度, 结合人工蜂群算法, 提出一种二阶段聚类算法. 首先根据局部密度、最大最小距离和近邻选择对数据集初步归类并得到簇代表点; 然后将聚类归属为优化问题, 通过改进的蜂群算法对簇代表点及没归类的样本点较快地搜索到最优聚类中心, 同时根据流形距离的全局一致性特征, 对样本进行精确的类别划分; 最后将两阶段算法综合归类. 实验结果表明, 所提出的算法可以获得良好的聚类效果.

     

基于测地距离的半监督增强

在许多模式识别任务中,研究者常常使用有标记样本的信息,而忽略无标记样本信息,但在现实生活中有标记样本的获得可能需要花费大量的人力、物力、财力,而无标记数据的获得却相对容易得多。如何利用无标记的数据来增强分类器的性能成为近年来模式识别中的研究热点。在以往的半监督增强学习中,主要是根据无标记样本和有标记样本的相似度来利用无标记样本的,相似度主要使用欧氏距离来度量,而欧氏距离只反映样本间的空间位置关系,没有反映样本间的流形信息。因此,提出了基于测地距离的半监督增强学习算法,从而可以反映样本空间的流形信息。多个数据库上的实验结果表明提出算法的有效性。     

基于图的组合半监督SVM聚类核算法研究

为了在聚类假设的基础上,进一步提高支持向量机的分类精度,文中通过引入线性分段转换函数,将加权无向图上的相似矩阵重新表示,改变该图上的距离度量,使得在同一群集中两点间的距离更小,从而建立基于图的聚类核,与多项式核函数线性组合后,构造出基于图的组合半监督聚类核,并将其用于支持向量机的训练和分类。实验表明,与标准SVM算法相比,该算法分类精度较高,且高于组合前的单个核函数。随着标记样本比例的增加,该算法的分类精度也在增加,有效利用了未标记样本蕴含的信息。