流形学习算法中的参数选择问题研究

流形学习(Manifold Learning)算法是近年来发展起来的非线性降维机器学习算法.等度规特征映射Isomap(Isometric feature mapping)和局部线性嵌入LLE(Locally Linear Embedding)是两种典型的流形学习算法.通过实验比较和分析两种算法中邻接参数K和采样点数N的选取对降维结果以及执行时间的影响,实验结果表明Isomap对邻接参数K和采样点数N具有较高的容忍度,而LLE算法在计算速度上优势明显.     

正交化近邻关系保持的降维及分类算法

针对近邻关系保持嵌入（NPE）算法易于受到降低后的维数影响,而且性能依赖于正确的维数估计的问题,提出了一种正交化的近邻关系保持的嵌入降维方法——ONPE。ONPE方法是使用数据点间的近邻关系来构造邻接图,假设每个数据点都能由其近邻点的线性组合表示,则可以通过提取数据点的局部几何信息,并在降维中保持提取的局部几何信息,迭代地计算正交基来得到数据的低维嵌入坐标。同时,在ONPE算法的基础上,利用局部几何信息,提出了一种在低维空间中使用标签传递（LNP）的分类算法——ONPC。其是假设高维空间中的局部近邻关系在降维后的空间中依然得到保持,并且数据点的类别可由近邻点的类别得到。在人工数据和人脸数据上的实验表明,该算法在减少维数依赖的同时,能有效提高NPE算法的分类性能。     

基于LBP特征的人脸图像识别

提出了一种基于LBP算子和Isomap相结合的人脸图像识别算法。利用[ε]-LBP算子提取人脸图像纹理特征,然后用Isomap对高维的纹理特征进行数据降维,得到人脸数据的本质几何结构。最后将降维后的数据作为分类器的输入进行人脸分类识别。实验结果表明,该算法能够对人脸图像进行良好的分类识别,尤其是小样本的情况下。     

面向可视化的全局自适应等距映射算法

等距映射(isometric mapping,Isomap)及其衍生的维度约简算法受静态近邻值、地标比重值或近邻判断逻辑的影响,存在计算浪费、数值敏感或数据拓扑不稳定的情况,在数据可视化分析的实际应用中很难满足交互实时性和视图准确性的需求。为此,对等距映射的原始计算框架进行改进,提出了具有全局自适应性的GA-Isomap(global adaptive-Isomap)算法。邻域图构建方面,设计了数据局部密度值计算和区域划分方法,提出了渐进式的邻域图构造方法和区域地标点选取方法;降维映射方面,引入地标框架图并利用相对位置关系,提出了基于双层图的映射计算方式。仿真结果表明,与Isomap、L-Isomap、Isomap with dynamic neighbor和Isomap with NC算法相比,该算法在进行数据可视化映射时能有效兼顾数据拓扑稳定性和运行效率。     

基于图的半监督降维算法

非线性降维和半监督学习都是近年来机器学习的热点。将半监督的方法运用到非线性降维中,提出了基于图的半监督降维的算法。该算法用等式融合的方法推出了标记传播算法的另一种表达形式,用标记传播的结果作为初始的数据映射,然后在图谱张成的线性空间中寻找最逼近初始映射的数据作为最后的半监督降维的结果。实验表明,所提算法可以获得平滑的数据映射,更接近于理想的降维效果。与标记传播算法、图谱逼近算法、无监督的降维算法的比较也体现出本算法的优越性。     

基于极限树特征递归消除和LightGBM的异常检测模型

入侵检测数据维数大、数据样本不均衡、数据集分散性大的问题严重影响分类性能,为了解决该问题,文章提出基于极限随机树的特征递归消除(Extra Trees-Recursive Feature Elimination,ET-RFE)和LightGBM(LGBM)的入侵检测方法。首先对网络数据进行独热编码重构,在数据级层面均衡少量样本的攻击类别;其次,使用基于ET-RFE对流量特征进行降维处理,寻找含有信息量最大的最优特征子集;最后,将得到的最优特征子集作为LGBM输入数据集进行分类训练,并利用贝叶斯算法对LGBM参数进行优化。实验采用真实的网络流量数据集UNSW-NB15,通过与随机森林(RF)、XGboost算法和GALR-DT算法比较可得,文章所提方法能够有效提高检测率,并对小样本攻击类型实现有效的召回率。     

基于自适应最近邻的局部保持投影算法

局部保持投影（LPP）是一种新的数据降维技术,但其本身是一种非监督学习算法,对于分类问题效果不是太好。基于自适应最近邻,结合LPP算法,提出了一种有监督的局部保持投影算法（ANNLPP）。该方法通过修改LPP算法中的权值矩阵,在降维的同时,增加了类别信息,是一种有监督学习算法。通过二维数据可视化和UMIST、ORL 人脸识别实验,表明该方法对于分类问题具有较好的降维效果。     

基于监督双限制连接Isomap算法的带钢表面缺陷图像分类方法

根据带钢表面缺陷图像具有复杂纹理结构、包含大量干扰信息、具备高维非线性几何结构等特点,本文提出基于监督双限制连接Isomap方法的带钢表面缺陷图像降维方法（dls-Isomap）.该方法以Isomap降维方法为基础,对其邻域图的连接方式进行K邻域（K-nearest neighbor,KNN）和ε-半径两个方面的限制性连接,并使用数据类别作为监督对类间邻域点进行扩展连接.针对多类Roll-swiss数据实验表明,dls-Isomap降维方法不仅能够在低维空间中完整嵌入所有数据点,而且能保持数据各类内和类间的几何结构,以及解决Isomap算法存在的“短路边”问题;针对带钢表面缺陷图像分类实验表明,基于dls-Isomap的新分类方法适合含水、油渍等干扰较多的带钢表面缺陷的分类任务,其中冷轧带钢5类缺陷识别率可以达78%.含水渍的热轧带钢缺陷识别率可以达到93%,其中水渍干扰图像的识别率达到97.6%.     

基于监督等距映射高光谱遥感影像降维

在面向分类的高光谱遥感数据降维过程中,考虑到高光谱遥感数据内在的非线性结构和传统流形学习非监督的特点,提出一种新的监督等距映射方法(S-Isomap)。方法基于类间距离大于类内距离的思想,首先利用KMEANS算法对原始数据进行聚类得到样本的初始类别标签,采用新距离搜寻数据点的K近邻,进而实施等距映射降维。实验证明了该方法优于传统Isomap。     

DIMENSION REDUCTION OF HYPERSPECTRAL REMOTE SENSING IMAGERY BASED ON SUPERVISED ISOMETRIC MAPPING

在面向分类的高光谱遥感数据降维过程中,考虑到高光谱遥感数据内在的非线性结构和传统流形学习非监督的特点,提出一种新的监督等距映射方法(S-Isomap).方法基于类间距离大于类内距离的思想,首先利用KMEANS算法对原始数据进行聚类得到样本的初始类别标签,采用新距离搜寻数据点的K近邻,进而实施等距映射降维.实验证明了该方法优于传统Isomap.     

基于鲁棒的全局流形学习方法

非线性降维在数据挖掘、机器学习、图像分析和计算机视觉等领域应用广泛。等距映射算法(Isomap)是一种全局流形学习方法,能有效地学习等距流形的“低维嵌入”,但它对数据中的离群样本点缺乏鲁棒性。针对这种情况,该文提出一种离群点检测方法,基于Isomap的基本思想,给出一种鲁棒的全局流形学习方法,提高Isomap处理离群样本点的能力。数值实验表明了该方法的有效性。     

一种基于加权标志点的流形学习算法

近年来出现的一系列进行维数约简的非线性方法——流形学习中等距映射（Isomap）是其中的代表,该算法高效、简单,但计算复杂度较高。基于标志点（Landmark Points）的L-Isomap减少了计算复杂度,但对于标志点的选取,大都采用随机的方法,致使该算法不稳定。考虑到样本点和近邻点相对位置,将对嵌入流形影响较大的样本点赋予较高的权重。然后根据权重大小选择标志点,同时考虑标志点之间的相对位置,使得选出的标志点不会出现过度集中的现象,近似直线分布的概率也大大降低,从而保证了算法的稳定性。实验结果表明,该算法在标志点数量较少的情况下,比L-Isomap稳定,且对缺失数据的不完整流形,也能获取和Isomap相差不大的结果。     

基于核矩阵的Isomap增量学习算法研究

Isomap算法嵌入向量求解依赖于所有的初始样本,在增加新数据时需要较长时间重新计算所有数据样本间的测地距离.为了提高运算速度,提出一种基于核函数的增量学习Isomap算法,将测地距离矩阵当作一个核矩阵,并通过常数增加的方法保证测地距离矩阵满足Mercer条件,算法只需要计算新增点与原有数据点间的测地距离.与核主成分算法一样,新增点的投影值计算变为核矩阵上的特征分解.在Swiss,Helix和多姿态人脸数据中的实验结果表明,算法大大降低了计算复杂度,有利于快速发现隐藏在高维空间的低维流形分布.     

Continuum Isomap for manifold learnings

Recently, the Isomap algorithm has been proposed for learning a parameterized manifold from a set of unorganized samples from the manifold. It is based on extending the classical multidimensional scaling method for dimension reduction, replacing pairwise Euclidean distances by the geodesic distances on the manifold. A continuous version of Isomap called continuum Isomap is proposed. Manifold learning in the continuous framework is then reduced to an eigenvalue problem of an integral operator. It is shown that the continuum Isomap can perfectly recover the underlying parameterization if the mapping associated with the parameterized manifold is an isometry and its domain is convex. The continuum Isomap also provides a natural way to compute low-dimensional embeddings for out-of-sample data points. Some error bounds are given for the case when the isometry condition is violated. Several illustrative numerical examples are also provided.     

Robust kernel Isomap

Isomap is one of widely used low-dimensional embedding methods, where geodesic distances on a weighted graph are incorporated with the classical scaling (metric multidimensional scaling). In this paper we pay our attention to two critical issues that were not considered in Isomap, such as: (1) generalization property (projection property); (2) topological stability. Then we present a robust kernel Isomap method, armed with such two properties. We present a method which relates the Isomap to Mercer kernel machines, so that the generalization property naturally emerges, through kernel principal component analysis. For topological stability, we investigate the network flow in a graph, providing a method for eliminating critical outliers. The useful behavior of the robust kernel Isomap is confirmed through numerical experiments with several data sets.     

针对环状流形数据的非线性降维

近年来出现了多种新型的非线性降维方法,且在一些应用中体现出良好的效果.然而,当面对球体、柱体等环状流形产生的非线性流形数据时,这些方法往往会失效.针对这一问题,提出了针对环状流形数据的环结构检测算法与非线性降维方法.理论上,基于目前极受关注的Isomap降维方法的运行原理,给出了一个判断环状流形的充要条件;算法上利用所得的判断定理,制订了基于数据的环状流形检测算法:最后基于所找到的环结构,利用极坐标展开的思想设计了针对环状流形数据的非线性降维策略.针对一系列典型环状流形数据集的仿真实验结果表明,与其他流形学习降维方法相比,该方法对环状流形数据进行降维具有显著优势.     

基于集成的流形学习可视化

流形学习有助于发现数据的内在分布和几何结构.目前已有的流形学习算法对噪音和算法参数都比较敏感,噪音使得输入参数更加难以选择,参数较小的变化会导致差异显著的学习结果.针对Isomap这一流形学习算法,提出了一种新方法,通过引入集成学习技术,扩大了可以产生有效可视化结果的输入参数范围,并且降低了对噪音的敏感性.     

非线性降维算法Isomap与C—Isomap的研究

文章对非线性降维算法Isoinap的思想，优缺点进行了介绍。并通过使用聚类函数来对样本点进行聚类和引进核函数来优化Isomap算法邻域点的求解，使用此基于聚类的降维算法C—Isomap来提高Isomap算法的性能和应用范围。最后基于Swiss—Koll数据对Isomap与C—Isomap算法进行了实验与对比分析，C—Isomap算法有更好的降堆效果。     

基于监督Isomap的步态识别方法

由于步态图像的复杂性,使得很多维数约简方法不能有效地应用于步态识别中。等距特征映射(Iso-map)是一种很好的非线性维数约简算法,但在实际应用中该算法没有利用样本的类别信息,并存在泛化能力差的问题。在该算法的基础上,提出了一种新的监督Isomap算法,并应用于步态识别中。该方法不但具有Isomap算法的特性,而且能对新样本进行低维映射。在真实的三个步态图像数据库上的实验结果表明,该方法对步态识别是有效而可行的。     

Supervised nonlinear dimensionality reduction for visualization and classification.

When performing visualization and classification, people often confront the problem of dimensionality reduction. Isomap is one of the most promising nonlinear dimensionality reduction techniques. However, when Isomap is applied to real-world data, it shows some limitations, such as being sensitive to noise. In this paper, an improved version of Isomap, namely S-Isomap, is proposed. S-Isomap utilizes class information to guide the procedure of nonlinear dimensionality reduction. Such a kind of procedure is called supervised nonlinear dimensionality reduction. In S-Isomap, the neighborhood graph of the input data is constructed according to a certain kind of dissimilarity between data points, which is specially designed to integrate the class information. The dissimilarity has several good properties which help to discover the true neighborhood of the data and, thus, makes S-Isomap a robust technique for both visualization and classification, especially for real-world problems. In the visualization experiments, S-Isomap is compared with Isomap, LLE, and WeightedIso. The results show that S-Isomap performs the best. In the classification experiments, S-Isomap is used as a preprocess of classification and compared with Isomap, WeightedIso, as well as some other well-established classification methods, including the K-nearest neighbor classifier, BP neural network, J4.8 decision tree, and SVM. The results reveal that S-Isomap excels compared to Isomap and WeightedIso in classification, and it is highly competitive with those well-known classification methods.