HS主曲线的数学特性

主曲线被定义作穿过多维数据分布“中间”的满足“自相合”的光滑曲线,它是第一主成分的非线性推广,第一主成分是对数据集的一维线性最优描递。HS主曲线强调非参数模型,对其参数无关性本文给出了具体证明。同时为了全面理解主曲线,本文以空间主曲线为例,分析了它的横截性质。     

自组织拓扑映射与主曲线学习

本文利用自组织拓扑映射方法设计了一种简易主曲线学习的算法,该算法继承了 HS 主曲线算法和 K 主曲线算法的主要优点.同时降低了一般主曲线算法的难度,使其变得更简洁明了。     

主曲线成分分析

广泛应用的第一主成分是对数据集的一维线性最优描述，主曲线是第一主成分的非线性推广。线性主成分分析是一种线性分析方法，而数据通常是非线性的。用线性方法分析非线性数据在分析能力上常常是受限的。为此在对线性主成分分析非线性数据研究的基础上，提出了一种新的非线性成分分析方法，即主曲线成分分析。该方法从数据本身出发进行非线性分析，强调非参数特性，能有效地建模非线性数据。实现主曲线成分分析时，采用了改进的神经网络建模方法，该建模方法以其较强的近似性能很好地表达了非线性关系。仿真实验结果表明，主曲线成分分析能很好地解决非线性主成分问题，应用前景广阔。     

基于互信息的主成分分析特征选择算法

主成分分析是一种常用的特征选择算法,经典方法是计算各个特征之间的相关,但是相关无法评估变量间的非线性关系.互信息可用于衡量两个变量间相互依赖的强弱程度,且不局限于线性相关,鉴于此,提出一种基于互信息的主成分分析特征选择算法.该算法计算特征间的互信息,以互信息矩阵的特征值作为评价准则确定主成分的个数,并衡量主成分分析特征选择的效果.通过实例对所提出方法和传统主成分分析方法进行比较,并以神经网络为分类器分析分类效果.     

主曲线研究综述

主曲线（principal curves)是第一主成分的非线性推广，第一主成分是对数据集的一维线性最优描述，主轴线强调寻找通过数据分布的“中间（middle)并满足“自耦合”的光滑一维曲线，其理论基础是寻找嵌入高维空间的非欧氏低维流形，该文着重介绍了主曲线发展的动机，理论基础，典型的主曲线方法和算法实现及其不同领域的应用，并对存在的问题进行了分析。     

基于B-样条网络的复杂主曲线建模

提出了一种基于B-样条网络的复杂主曲线建模的新方法，该方法结合学习主曲线的多边形算法和B-样条网络来建立主曲线模型，同时提出了用于寻找主曲线分叉点的迭代算法。实验结果表明所提出的方法是简便有效的。     

主成分分析阈值选择差异性分析研究

主成分分析是特征提取和数据降维中常用的方法，在很多应用中一般选择平均特征值作为主成分选择的标准。但是主成分的多少与应用结果之间的关系目前还没有具体的分析结果。因此，提出一种主成分阈值选择差异性的实验分析方法，为不同应用中主成分分析阈值的选择提供依据。将本文分析方法应用于手写数字样本集MNIST进行降维处理，根据不同的阈值构建不同的神经网络进行分类，分析不同阈值下分类准确率的变化情况。实验结果表明主成分阈值选择在79%~81%之间（维度为41~50）时，分类准确率最高；低于或高于该区间，准确率随之下降。实验结果证明了主成分分析阈值的选择与应用结果之间不为正相关关系，且平均特征值不是一个硬性的选择标准。     

改进的HS算法优化BP神经网络的入侵检测研究

基于传统BP神经网络的入侵检测中，BP神经网络算法模型存在着易陷入局部最优且初始值随机性较大的缺陷。初始值的选择直接影响到BP神经网络的训练效果，较好的初始值有利于BP神经网络跳过局部最优，从而提高训练效率。针对BP神经网络的缺陷，提出了用改进的和声搜索算法对BP神经网络的初始值进行优化，使得BP神经网络得到一组较优的初值的方法。实验结果显示，改进的和声搜索算法具有更高的适应度函数值，将该算法优化的BP神经网络用在入侵检测中，能够显著提高算法检测率和收敛速率。     

基于MapReduce框架的分布式软K段主曲线算法

传统的主曲线算法在小规模数据集上能获得良好的效果,但单节点的计算和存储能力都不能满足海量数据主曲线的提取要求,而算法分布式并行化是目前解决该类问题最有效的途径之一。本文提出基于MapReduce框架的分布式软K段主曲线算法 (Distributed soft ｋ-segments principal curve,DisSKPC)。首先,基于分布式K-Means算法,采用递归粒化方法对数据集进行粒化,以确定粒的大小并保证粒中数据的关联性。然后调用软K段主曲线算法计算每个粒数据的局部主成分线段,并提出用噪声方差来消除在高密集、高曲率的数据区域可能产生的过拟合线段。最后借助哈密顿路径和贪婪算法连接这些局部主成分线段,形成一条通过数据云中间的最佳曲线。实验结果表明,本文所提出的DisSKPC算法具有良好的可行性和扩展性。     

基于负熵最大化改进的语音音乐信号分离

负熵是一种重要的非高斯性度量方法,最大化负熵使随机变量的非高斯性达到最大,从而使输出的各分量之间相互独立。负熵最大化算法以负熵作为目标函数,牛顿迭代法作为优化算法,针对牛顿迭代法中对初始值选择敏感的问题,用牛顿下山法代替牛顿迭代法,通过改变下山因子,使目标函数呈下降趋势,降低算法对初始值的依赖性。实验结果表明,改进后的算法在不同初始值下均能较好地分离语音音乐混合信号,改善了初值敏感问题。     

A new meta-heuristic algorithm for continuous engineering optimization: harmony search theory and practice

Most engineering optimization algorithms are based on numerical linear and nonlinear programming methods that require substantial gradient information and usually seek to improve the solution in the neighborhood of a starting point. These algorithms, however, reveal a limited approach to complicated real-world optimization problems. If there is more than one local optimum in the problem, the result may depend on the selection of an initial point, and the obtained optimal solution may not necessarily be the global optimum. This paper describes a new harmony search (HS) meta-heuristic algorithm-based approach for engineering optimization problems with continuous design variables. This recently developed HS algorithm is conceptualized using the musical process of searching for a perfect state of harmony. It uses a stochastic random search instead of a gradient search so that derivative information is unnecessary. Various engineering optimization problems, including mathematical function minimization and structural engineering optimization problems, are presented to demonstrate the effectiveness and robustness of the HS algorithm. The results indicate that the proposed approach is a powerful search and optimization technique that may yield better solutions to engineering problems than those obtained using current algorithms.     

Piecewise linear skeletonization using principal curves

Proposes an algorithm to find piecewise linear skeletons of handwritten characters by using principal curves. The development of the method was inspired by the apparent similarity between the definition of principal curves (smooth curves which pass through the "middle" of a cloud of points) and medial axes (smooth curves that run equidistantly from the contours of a character image). The central fitting-and-smoothing step of the algorithm is an extension of the polygonal line algorithm, which approximates principal curves of data sets by piecewise linear curves. The polygonal line algorithm is extended to find principal graphs and complemented with two steps specific to the task of skeletonization: an initialization method to capture the approximate topology of the character, and a collection of restructuring operations to improve the structural quality of the skeleton produced by the initialization method. An advantage of our approach over existing methods is that we optimize the skeleton graph by minimizing an intuitive and explicit objective function that captures the two competing criteria of smoothing the skeleton and fitting it closely to the pixels of the character image. We tested the algorithm on isolated handwritten digits and images of continuous handwriting. The results indicated that the proposed algorithm can find a smooth medial axis in the great majority of a wide variety of character templates and that it substantially improves the pixel-wise skeleton obtained by traditional thinning methods     

一种新的全局嵌入降维算法

目前大多数流形学习算法都以距离来度量数据间的相似度, 并取得满意的效果,但都难以处理噪音造成的子空间偏离.针对此问题, 提出了一种基于角度优化的全局降维算法.通过给出多样本增量的协方差阵更新方式, 从理论上证明了中心化样本长度与其偏离低维空间角度为子空间偏离的主要因素, 进而解决了噪音造成的子空间偏离问题.同时,与主成分分析相比, 能够更好地与其他算法融合解决小样本问题.实验证实了该算法在手工和真实数据集上的有效性.     

利用组合核函数提高核主分量分析的性能

为了提高图像分类的识别率，在对基于核的学习算法中，核函数的构成条件以及不同核函数的特性进行分析和研究的基础上，提出了一种新的核函数——组合核函数，并将它应用于核主分量分析(KPCA)中，以便进行图像特征的提取，由于新的核函数既可以提取全局特征，又可以提取局部特征，因此，可以提高KPCA在图像特征提取中的性能。为了验证所提出核函数的有效性，首先利用新的核函数进行KPCA，以便对手写数字和脸谱等图像进行特征提取，然后利用线性支持向量机(SVM)来进行识别，实验结果显示，从识别率上看，用组合核函数所提取的特征质量比原核函数所提取的特征质量高。     

基于随机游走扩散映射的降维算法

传统数据降维算法分为线性或流形学习降维算法,但在实际应用中很难确定需要哪一类算法.设计一种综合的数据降维算法,以保证它的线性降维效果下限为主成分分析方法且在流形学习降维方面能揭示流形的数据结构.通过对高维数据构造马尔可夫转移矩阵,使越相似的节点转移概率越大,从而发现高维数据降维到低维流形的映射关系.实验结果表明,在人造...     

遗传算法在曲线多边形近似中的应用

在平面数字曲线的多边形近似中,为克服顶点的检测只依靠部区域,缺 乏全局信息的弱点,文中把多边形近似问题作了寻找在满足一定的近似误差下使顶点数最少,或者使顶点数和近似误差都尽可能少的最优化问题来处理。     

Process identification based on last principal component analysis

A simple linear identification algorithm is presented in this paper. The last principal component (LPC), the eigenvector corresponding to the smallest eigenvalue of a non-negative symmetric matrix, contains an optimal linear relation of the column vectors of the data matrix. This traditional, well-known principal component analysis is extended to the generalized last principal component analysis (GLPC). For processes with colored measurement noise or disturbances, consistency of the GLPC estimator is achieved without involving iteration or non-linear numerical optimization. The proposed algorithm is illustrated by a simulated example and application to a pilot-scale process.