L1/2正则化Logistic回归

提出一种L1/2正则化Logistic回归模型,并针对此模型构造有效的求解算法.文中模型基于L1/2正则化理论建立,有效改善传统模型存在的变量选择与计算过拟合问题.文中算法基于"坐标下降"思想构造,快速有效.在一系列人工和实际数据集上的实验表明,文中算法在分类问题中具有良好的变量选择能力和预测能力,优于传统Logistic回归和L1正则化Logistic回归.     

软件可靠性预测中不同核函数的预测能力评估

基于核函数回归估计理论的软件可靠性预测建模引起诸多研究者的兴趣.此类研究中,核函数选择问题尤为重要.然而目前还很少有针对所给软件失效数据进行核函数选择或者构建核函数的工作.在14个常用软件失效数据集上应用配对t-检验对基于核函数理论的软件可靠性预测模型中核函数选择问题进行研究.使用的核函数回归估计方法包括核主成分回归算法、核偏最小二乘回归算法、支持向量回归算法、相关向量回归算法;核函数包括高斯核函数、线性核函数、多项式核函数、柯西核函数、拉普拉斯核函数、对称三角核函数、双曲正割核函数、平方正弦基核函数.实验结果表明:不同类型的核函数在不同数据集上表现差异较大,高斯核函数在所有数据集上表现较为稳定,预测结果最好.     

最小平方误差算法的正则化核形式

最小平方误差算法是最常用的一种经典模式识别和回归分析方法,其目标是使线性函 数输出与期望输出的误差平方和为最小.该文应用满足Meteer条件的核函数和正则化技术,改 造经典的最小平方误差算法,提出了基于核函数和正则化技术的非线性最小平方误差算法,即 最小平方误差算法的正则化核形式,其目标函数包含基于核的非线性函数的输出与期望输出的 误差平方和,及一个适当的正则项.正则化技术可以处理病态问题,同时可以减小解空间和控制 解的推广性,文中采用了三种平方型的正则项,并且根据正则项的概率解释,详细比较了三种正 则项之间的差别.最后,用仿真资料和实际资料进一步分析算法的性能.     

自适应正则化核二维判别分析

传统的半监督降维技术中,在原特征空间中定义流形正则化项,但其构造无助于接下来的分类任务.针对此问题,文中提出一种自适应正则化核二维判别分析算法.首先每个图像矩阵经奇异值分解为两个正交矩阵与一个对角矩阵的乘积,通过两个核函数将两个正交矩阵列向量从原始非线性空间映射到一个高维特征空间.然后在低维特征空间中定义自适应正则化项,并将其与二维矩阵非线性方法整合于单个目标函数中,通过交替优化技术,在两个核子空间提取判别特征.最后在两个人脸数据集上的实验表明,文中算法在分类精度上获得较大提升.     

弹性网络核极限学习机的多标记学习算法

将正则化极限学习机或者核极限学习机理论应用到多标记分类中,一定程度上提高了算法的稳定性。但目前这些算法关于损失函数添加的正则项都基于L2正则,导致模型缺乏稀疏性表达。同时,弹性网络正则化既保证模型鲁棒性且兼具模型稀疏化学习,但结合弹性网络的极限学习机如何解决多标记问题鲜有研究。基于此,本文提出一种对核极限学习机添加弹性网络正则化的多标记学习算法。首先,对多标记数据特征空间使用径向基核函数映射;随后,对核极限学习机损失函数施加弹性网络正则项;最后,采用坐标下降法迭代求解输出权值以得到最终预测标记。通过对比试验和统计分析表明,提出的算法具有更好的性能表现。     

基于实例与目标相关性的多目标稀疏回归算法

针对传统多目标回归算法无法处理输入与多输出间的非线性关系,且忽视了数据点在输入与输出之间的结构信息,导致算法泛化性能受限、缺乏稳健性等问题,提出一种基于实例与目标相关性的多目标稀疏回归(multi-target sparse regression with instances and targets correlations,MTR-ITC)算法.首先,通过嵌入潜变量空间来对复杂的输入与输出以及输出间的关联结构解耦,并利用核技巧和稀疏回归学习输入输出间的非线性关系和输出间的相关结构;然后,引入流形正则化项探索不同实例在输入与输出变量间的相关性,确保模型输出与真实结果在局部和全局结构的一致性,以提升模型泛化性能;最后,提出一种交替优化算法来对目标函数进行求解,使其能快速收敛至全局最优.在基准测试数据集上的实验表明,所提算法在不同MTR数据集上均具有较好的测试性能.     

基于核函数的稀疏属性选择算法

鉴于传统属性选择算法无法捕捉属性之间的关系的问题,文中提出了一种非线性属性选择方法。该方法通过引入核函数,将原始数据集投影到高维的核空间,因在核空间内进行运算,进而可以考虑到数据属性之间的关系。由于核函数自身的优越性,即使数据通过高斯核投影到无穷维的空间中,计算复杂度亦可以控制得较小。在正则化因子的限制上,使用两种范数进行双重约束,不仅提高了算法的准确率,而且使得算法实验结果的方差仅为0.74,远小于其他同类对比算法,且算法更加稳定。在8个常用的数据集上将所提算法与6个同类算法进行比较,并用SVM分类器来测试分类准确率,最终该算法得到最少1.84%,最高3.27%,平均2.75%的提升。     

一种基于各向异性高斯核核惩罚的PCA特征提取算法

提出了一种基于各向异性高斯核核惩罚的主成分分析的特征提取算法.该算法不同于传统的核主成分分析算法.在非线性数据降维中,传统的核主成分分析算法忽略了原始数据的无量纲化.此外,传统的核函数在各维度上主要由一个相同的核宽参数控制,该方法无法准确反映各维度不同特征的重要性,从而导致降维过程中准确率低下.为了解决上述问题,首先针对现原始数据的无量纲化问题,提出了一种均值化算法,使得原始数据的总方差贡献率有明显的提高.其次,引入了各向异性高斯核函数,该核函数每个维度拥有不同的核宽参数,各核宽参数能够准确地反映所在维度数据特征的重要性.再次,基于各向异性高斯核函数建立了核主成分分析的特征惩罚目标函数,以便用较少的特征表示原始数据,并反映每个主成分信息的重要性.最后,为了寻求最佳特征,引入梯度下降算法来更新特征惩罚目标函数中的核宽度和控制特征提取算法的迭代过程.为了验证所提出算法的有效性,各算法在UCI公开数据集上和KDDCUP99数据集上进行了比较.实验结果表明,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法在9种公开的UCI公开数据集上准确率平均提高了4.49%.在KDDCUP99数据集上,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法准确率提高了8%.     

多尺度最小二乘小波支持向量机的回归建模

普通最小二乘支持向量机算法用于多尺度回归建模时精度较低。针对该问题,选取墨西哥草帽小波函数作为最小二乘支持向量机的核函数,设计一种基于小波核的多尺度最小二乘小波支持向量机。在此基础上,通过解二次优化问题求出多尺度回归建模问题的全局最优解,最终得出的多尺度回归模型能够有效地逼近多尺度信号。仿真结果表明,该算法具有较高的精度。     

基于一类局部固定核的支持向量回归建模

在考虑样本向量相似性的基础上,提出一种核函数--高斯余弦核,并证明了该核是一类局部固定核.局部固定核同时描述了样本全局和局部结构,因而高斯余弦核可将样本数据映射到信息描述更为丰富的特征空间.将该核用于Logistic混沌时间序列和煤气炉数据集的支持向量回归建模与预测,仿真结果表明所提出的方法能有效地提高预测精度,而且不增加算法的复杂度.     

基于最大决策边界的局部在线流特征选择

现有的在线流特征选择算法通常选择一个最优的全局特征子集,并假设该子集适用于样本空间的所有区域.但是,样本空间的每个区域都使用独有的特征子集进行准确描述,这些特征子集的特征和大小可能有所不同.因此,文中提出基于最大决策边界的局部在线流特征选择算法.引入局部特征选择,在充分利用局部信息的基础上,设计基于最大决策边界的特征衡量标准,尽可能分开同类样本和不同类样本.同时,使用最大化平均决策边界、最大化决策边界和最小化冗余3种策略选择合适的特征.针对局部区域选择最优的特征子集,然后使用类相似度测量方法进行分类.在14个数据集上的实验结果和统计假设检验验证文中算法的分类有效性和稳定性.     

基于测度学习支持向量机的钢琴乐谱难度等级识别

现有钢琴乐谱难度分类主要由人工方式完成,效率不高,而自动识别乐谱难度等级的算法对类别的拟合度较低。因此,与传统将乐谱难度等级识别归结为回归问题不同,本文直接将其建模为基于支持向量机的分类问题。并结合钢琴乐谱分类主观性强、特征之间普遍存在相关性等特点,利用测度学习理论有难度等级标签乐谱的先验知识,依据特征对难度区分的贡献度,改进高斯径向基核函数,从而提出一种测度学习支持向量机分类算法——ML-SVM算法。在9类和4类难度两个乐谱数据集上,我们将ML-SVM算法与逻辑回归,基于线性核函数、多项式核函数、高斯径向基核函数的支持向量机算法以及结合主成分分析的各个支持向量机算法进行了对比,实验结果表明我们提出算法的识别正确率优于现有算法,分别为68.74%和84.67%。所提算法有效提高了基于高斯径向基核函数支持向量机算法在本应用问题中的分类性能。     

Kernel clustering using a hybrid memetic algorithm

This paper proposes a novel kernel clustering algorithm using a hybrid memetic algorithm for clustering complex, unlabeled, and linearly non-separable datasets. The kernel function can transform nonlinear data into a high dimensional feature space. It increases the probability of the linear separability of the patterns within the transformed space and simplifies the associated data structure. According to the distribution of various datasets, three local learning operators are designed; meanwhile double mutation operators incorporated into local learning operators to further enhance the ability of global exploration and overcome premature convergence effectively. The performance comparisons of the proposed method with k-means, kernel k-means, global kernel k-means and spectral clustering algorithms on artificial datasets and UCI datasets indicate that the proposed clustering algorithm outperforms the compared algorithms.     

Multi-layer radial basis function neural network based on multi-scale kernel learning

The conversion functions in the hidden layer of radial basis function neural networks (RBFNN) are Gaussian functions. The Gaussian functions are local to the kernel centers. In most of the existing research, the spatial local response of the sample is inaccurately calculated because the kernels have the same shape as a hypersphere, and the kernel parameters in the network are determined by experience. The influence of the fine structure in the local space is not considered during feature extraction. In addition, it is difficult to obtain a better feature extraction ability with less computational complexity. Therefore, this paper develops a multi-scale RBF kernel learning algorithm and proposes a new multi-layer RBF neural network model. For the samples of each class, the expectation maximization (EM) algorithm is used to obtain multi-layer nested sub-distribution models with different local response ranges, which are called multi-scale kernels in the network. The prior information of each sub-distribution is used as the connection weight between the multi-scale kernels. Finally, feature extraction is implemented using multi-layer kernel subspace embedding. The multi-scale kernel learning model can efficiently and accurately describe the fine structure of the samples and is fault tolerant to setting the number of kernels to a certain extent. Considering the prior probability of each kernel as the weight makes the feature extraction process satisfy the Bayes rule, which can enhance the interpretability of feature extraction in the network. This paper also theoretically proves that the proposed neural network is a generalized version of the original RBFNN. The experimental results show that the proposed method has better performance compared with some state-of-the-art algorithms.     

基于最优传输的层次化图核

已有的图核大多关注图的局部属性,利用局部的拓扑特征构建图的相似性度量,忽略图的层次结构信息.为了解决这个问题,文中提出基于最优传输的层次化图核.首先,将每个图表示成层次化的图结构.在层次化图结构构建过程中,利用K-means聚类算法构造每层图的节点,节点间的概率连接作为图的边.然后,利用带有熵约束的最优传输计算两图的层次结构上每层图之间的最优传输距离.最后,基于最优传输距离计算基于最优传输的层次化图核.在6个真实图数据集上的实验表明,文中方法可提升分类性能.     

基于局部子空间的多标记特征选择算法*

在已有的特征选择算法中,常用策略是通过相关准则选择与标记集合相关性较强的特征,然而该策略不一定是最优选择,因为与标记集合相关性较弱的特征可能是决定某些类别标记的关键特征.基于这一假设,文中提出基于局部子空间的多标记特征选择算法.该算法首先利用特征与标记集合之间的互信息得到一个重要度由高到低的特征序列,然后将新的特征排序空间划分为几个局部子空间,并在每个子空间设置采样比例以选择冗余性较小的特征,最后融合各子空间的特征子集,得到一组合理的特征子集.在6个数据集和4个评价指标上的实验表明,文中算法优于一些通用的多标记特征选择算法.     

一种基于加权性能指标的多模型辨识算法及其在热工过程中的应用

Most existing algorithms for identifying multi-model system are based on minimizing the square of bias between global outputs of the actual system and the identified model, but the resultant model lacks of robustness. In order to solve this problem, this paper considers some other algorithms in which local models are identified independently and presents a multi-model identification algorithm based on weighted cost function, which uses the idea of local weighted regression and local approximation while keeps the model structure of global identification algorithm. The result of application to a 300MW unit boiler superheater illustrates that the multi-model generated by the proposed algorithm has better trade-off between global fitting and local interpretation.     

A Multi-model Identification Algorithm Based on Weighted Cost Function and Application in Thermal Process

Most existing algorithms for identifying multi-model system are based on minimizing the square of bias between global outputs of the actual system and the identified model,but the resultant model lacks of robustness.In order to solve this problem,this paper considers some other algorithms in which local models are identified independently and presents a multi-model identifica- tion algorithm based on weighted cost function,which uses the idea of local weighted regression and local approximation while keeps the model structure of global identification algorithm.The result of application to a 300MW unit boiler superheater illustrates that the multi-model generated by the proposed algorithm has better trade-off between global fitting and local interpretation.