多路径高斯核模糊C均值聚类算法

聚类算法单一迭代路径限制了参数优值的搜索。提出一种多路径高斯核模糊C均值聚类算法（MGKFCMs）,MGKFCMs算法首先取核目标函数及模糊隶属度函数中的核函数为高斯核函数;然后利用梯度法得到聚类中心迭代公式,并基于该迭代公式和粒子群算法作聚类中心的并行参数迭代,在每一次聚类迭代时,选择聚类目标函数值小的路径作为参数迭代最终路径。对比分析了MGKFCMs算法的相关性质,通过仿真实验验证了所提算法的有效性。     

一种基于各向异性高斯核核惩罚的PCA特征提取算法

提出了一种基于各向异性高斯核核惩罚的主成分分析的特征提取算法.该算法不同于传统的核主成分分析算法.在非线性数据降维中,传统的核主成分分析算法忽略了原始数据的无量纲化.此外,传统的核函数在各维度上主要由一个相同的核宽参数控制,该方法无法准确反映各维度不同特征的重要性,从而导致降维过程中准确率低下.为了解决上述问题,首先针对现原始数据的无量纲化问题,提出了一种均值化算法,使得原始数据的总方差贡献率有明显的提高.其次,引入了各向异性高斯核函数,该核函数每个维度拥有不同的核宽参数,各核宽参数能够准确地反映所在维度数据特征的重要性.再次,基于各向异性高斯核函数建立了核主成分分析的特征惩罚目标函数,以便用较少的特征表示原始数据,并反映每个主成分信息的重要性.最后,为了寻求最佳特征,引入梯度下降算法来更新特征惩罚目标函数中的核宽度和控制特征提取算法的迭代过程.为了验证所提出算法的有效性,各算法在UCI公开数据集上和KDDCUP99数据集上进行了比较.实验结果表明,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法在9种公开的UCI公开数据集上准确率平均提高了4.49%.在KDDCUP99数据集上,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法准确率提高了8%.     

基于FOA优化混合核LSSVM的铁路货运量预测

单一核最小二乘支持向量机(LSSVM)在铁路货运量预测中难以准确描述货运量的复杂变化特征,限制了预测精度的提高。针对该问题,提出一种基于果蝇算法(FOA)优化混合核LSSVM的预测方法。以多项式核与径向基核组合的混合核函数作为LSSVM核函数,构建铁路货运量的混合核LSSVM预测模型,同时利用FOA全局寻优能力强、计算速度快等优点优化选择混合核LSSVM参数。以我国铁路货运量为例进行方法验证。结果表明,所提方法的RMSE、MAE、MAPE和THEIL值分别为8433.0、6670.8、0.0180和0.0117,均小于其他模型,FOA算法搜索混合核LSSVM参数的时间为40.2948秒,分别比GA和PSO算法减少了2.6208秒和20.7016秒,适合于铁路货运量的短期预测。     

改进的支持向量机特征选择算法

针对采用支持向量机进行分类的特征子集选择问题,提出一种改进的基于梯度向量的特征评测算法。该算法在核特征空间中,利用数据点到分类超平面的距离函数的梯度向量对各个特征的重要性进行排序,省去了已有算法中计算梯度向量与各个坐标轴夹角的过程,实验结果表明,该算法简化了已有的基于角度的特征选择方法,并且结果保持一致。     

具有多类型激活函数的RBF网络设计

提出多类型激活函数的径向基网络结构设计方式,网络隐层由薄板样条函数节点和高斯函数节点构成,分别采用改进的粒子群算法和前向局部优化算法对两种类型节点的参数进行学习.改进的粒子群算法综合运用粒子运动过程的启发式信息和样本的梯度信息进行种群迭代,减小了陷入局部极值的概率.前向局部优化算法是一种高斯节点的序贯学习算法,算法采用DFP方法对新增高斯节点的参数进行局部优化,提高了网络的逼近性能.通过解析和工程算例验证了多类型激活函数RBF网络的高拟合能力及其学习算法的有效性.     

基于支持向量机自适应核的改进算法

支持向量机是在一个向量空间中依靠样本集中的训练向量获取两个样本集之间最优边界的方法.针对支持向量机中基于高斯核的动态自适应核进行了分析,并将传统算法进行改进,通过对点到平面的距离z<,1>的调整,对中间变量a<,1>的细致讨论,以及对迭代停止条件的控制,得到了适合手写体汉字识别系统的新的自适应核算法,并通过其在手写体汉字识别中的实验,验证了新的自适应算法在识别率、泛化误差边界最小化和核参数选择方面的有效性.算法使得在大的核参数空间中没有额外代价的探索变的可行.     

监督学习模型指导的函数级编译优化参数选择方法研究

基于机器学习的迭代编译方法可以在对新程序进行迭代编译时,有效预测新程序的最佳优化参数组合。现有方法在模型训练过程中存在优化参数组合搜索效率较低、程序特征表示不恰当、预测精度不高的问题。因此,基于机器学习的迭代编译方法是当前迭代编译领域内的一个研究热点,其研究挑战在于学习算法选择、优化参数搜索以及程序特征表示等问题。基于监督学习技术,提出了一种程序优化参数预测方法。该方法首先通过约束多目标粒子群算法对优化参数空间进行搜索,找到样本函数的最佳优化参数;然后,通过动静结合的程序特征表示技术,对函数特征进行抽取;最后,通过由函数特征和优化参数形成的样本构建监督学习模型,对新程序的优化参数进行预测。分别采用k近邻法和softmax回归建立统计模型,实验结果表明,新方法在NPB测试集和大型科学计算程序上实现了较好的预测性能。     

一种鲁棒性的遥感图像地域分类新方法

目前遥感图像分类算法面临的主要问题是分类精度与算法复杂度的矛盾及算法缺乏鲁棒性。为此,提出了一种基于特征空间重采样的非参数化核密度估计聚类与边缘检测相融合的多模型鲁棒性遥感图像分类方法。首先对遥感图像进行边缘检测以获取图像中每个像素的边缘梯度和方向信息;然后利用重采样策略,在联合域中对新的样本集合进行加权均值平移滤波,找到图像各区域的核密度函数局部最大值,通过迭代移动附近的数据点到此局部最大值;最后对各个分割区域进行合并,得到最终的分类图。实验结果表明,算法可获得高精度的遥感图像分类结果,且具有很强的鲁棒性。     

一种鲁棒性的遥感图像地域分类新方法

目前遥感图像分类算法面临的主要问题是分类精度与算法复杂度的矛盾及算法缺乏鲁棒性。为此,提出了一种基于特征空间重采样的非参数化核密度估计聚类与边缘检测相融合的多模型鲁棒性遥感图像分类方法。首先对遥感图像进行边缘检测以获取图像中每个像素的边缘梯度和方向信息;然后利用重采样策略,在联合域中对新的样本集合进行加权均值平移滤波,找到图像各区域的核密度函数局部最大值,通过迭代移动附近的数据点到此局部最大值;最后对各个分割区域进行合并,得到最终的分类图。实验结果表明,算法可获得高精度的遥感图像分类结果,且具有很强的鲁棒性。     

基于特征鉴别性分析的变尺度核相关滤波跟踪算法

针对核相关滤波跟踪算法对场景依赖及无法适应目标尺寸变化问题,提出了一种特征鉴别性选择分析的变尺度核相关滤波跟踪算法。在核相关滤波跟踪框架内,提取目标的颜色、纹理、梯度特征,建立样本集合,以最小均方损失函数设定各特征样本权重,鉴别性地选择出最优和次优的两种特征进行自适应融合。在此基础上,利用高斯金字塔构建一维尺度相关响应滤波器,对目标的尺度变化进行估计;通过主旁瓣均值比对融合后的跟踪结果进行评判,实现模板的差异化更新。理论分析和实验表明:所提算法在遮挡及光照变化场景具有较高的跟踪精度并对目标的尺度变化具有一定的估计能力。     

Gaussian kernel optimization for pattern classification

This paper presents a novel algorithm to optimize the Gaussian kernel for pattern classification tasks, where it is desirable to have well-separated samples in the kernel feature space. We propose to optimize the Gaussian kernel parameters by maximizing a classical class separability criterion, and the problem is solved through a quasi-Newton algorithm by making use of a recently proposed decomposition of the objective criterion. The proposed method is evaluated on five data sets with two kernel-based learning algorithms. The experimental results indicate that it achieves the best overall classification performance, compared with three competing solutions. In particular, the proposed method provides a valuable kernel optimization solution in the severe small sample size scenario.     

Choosing parameters of kernel subspace LDA for recognition of face images under pose and illumination variations.

This paper addresses the problem of automatically tuning multiple kernel parameters for the kernel-based linear discriminant analysis (LDA) method. The kernel approach has been proposed to solve face recognition problems under complex distribution by mapping the input space to a high-dimensional feature space. Some recognition algorithms such as the kernel principal components analysis, kernel Fisher discriminant, generalized discriminant analysis, and kernel direct LDA have been developed in the last five years. The experimental results show that the kernel-based method is a good and feasible approach to tackle the pose and illumination variations. One of the crucial factors in the kernel approach is the selection of kernel parameters, which highly affects the generalization capability and stability of the kernel-based learning methods. In view of this, we propose an eigenvalue-stability-bounded margin maximization (ESBMM) algorithm to automatically tune the multiple parameters of the Gaussian radial basis function kernel for the kernel subspace LDA (KSLDA) method, which is developed based on our previously developed subspace LDA method. The ESBMM algorithm improves the generalization capability of the kernel-based LDA method by maximizing the margin maximization criterion while maintaining the eigenvalue stability of the kernel-based LDA method. An in-depth investigation on the generalization performance on pose and illumination dimensions is performed using the YaleB and CMU PIE databases. The FERET database is also used for benchmark evaluation. Compared with the existing PCA-based and LDA-based methods, our proposed KSLDA method, with the ESBMM kernel parameter estimation algorithm, gives superior performance.     

改进布谷鸟算法优化混合核LSSVM的卷烟销售量预测

为了提高卷烟销售量预测精度,提出了基于一种改进布谷鸟算法（MCS）优化混合核最小二支持向量机（LSSVM）的卷烟销售量预测模型（MCS-LSSVM）。收集卷烟销售量数据,并构建LSSVM学习样本,然后混合核函数的LSSVM对样本进行训练,并采用改进布谷鸟算法对混合核函数参数进行优化,最后建立卷烟销售量预测模型,并用于某卷烟公司卷烟销售的预测。结果表明,相对于对比模型,ICS-LSSVM模型获得了更优的建模效果和更高的预测精度。     

BDE-LSSVM在柴油机气门故障诊断中的应用

针对柴油机气门故障的诊断样本少和非线性数据特征等问题,最小二乘法的支持向量机（LSSVM）能够较好地进行诊断研究,但由于惩罚因子[C]和内核参数[σ]的选取对诊断结果影响较大,有必要对其进行参数优化,因此提出了基于二进制微分进化算法（BDE）的最小二乘法支持向量机算法。利用柴油机气门振动信号作为数据,经小波变换作为模型特征,建立了基于BDE-LSSVM故障诊断模型,并与基于遗传和基于粒子群算法的LSSVM模型进行柴油机气门故障诊断的性能对比。比较结果证明,基于BDE优化的LSSVM模型在故障特征选取前后具有更好的适应度值和稳定度,故障分类准确性高且运算速度更快。     

通过全局核降低高斯核的局部风险与基于遗传算法的两阶段模型选择

支持向量分类时,由于样本分布的不均匀性,单宽度的高斯核会在空间的稠密区域产生过学习现象,在稀疏区域产生欠学习现象,即存在局部风险.针对于此,构造了一个全局性次核来降低高斯核产生的局部风险.形成的混合核称为主次核.利用幂级数构造性地给出并证明了主次核的正定性条件,进一步提出了基于遗传算法的两阶段模型选择算法来优化主次核的参数.实验验证了主次核和模型选择法的优越性.     

基于- 范数约束的LSSVR 多核学习算法

针对核函数选择对最小二乘支持向量机回归模型泛化性的影响, 提出一种新的基于????- 范数约束的最小二乘支持向量机多核学习算法. 该算法提供了两种求解方法, 均通过两重循环进行求解, 外循环用于更新核函数的权值, 内循环用于求解最小二乘支持向量机的拉格朗日乘数, 充分利用该多核学习算法, 有效提高了最小二乘支持向量机的泛化能力, 而且对惩罚参数的选择具有较强的鲁棒性. 基于单变量和多变量函数的仿真实验表明了所提出算法的有效性.

     

Multi-layer radial basis function neural network based on multi-scale kernel learning

The conversion functions in the hidden layer of radial basis function neural networks (RBFNN) are Gaussian functions. The Gaussian functions are local to the kernel centers. In most of the existing research, the spatial local response of the sample is inaccurately calculated because the kernels have the same shape as a hypersphere, and the kernel parameters in the network are determined by experience. The influence of the fine structure in the local space is not considered during feature extraction. In addition, it is difficult to obtain a better feature extraction ability with less computational complexity. Therefore, this paper develops a multi-scale RBF kernel learning algorithm and proposes a new multi-layer RBF neural network model. For the samples of each class, the expectation maximization (EM) algorithm is used to obtain multi-layer nested sub-distribution models with different local response ranges, which are called multi-scale kernels in the network. The prior information of each sub-distribution is used as the connection weight between the multi-scale kernels. Finally, feature extraction is implemented using multi-layer kernel subspace embedding. The multi-scale kernel learning model can efficiently and accurately describe the fine structure of the samples and is fault tolerant to setting the number of kernels to a certain extent. Considering the prior probability of each kernel as the weight makes the feature extraction process satisfy the Bayes rule, which can enhance the interpretability of feature extraction in the network. This paper also theoretically proves that the proposed neural network is a generalized version of the original RBFNN. The experimental results show that the proposed method has better performance compared with some state-of-the-art algorithms.