从Parzen窗核密度估计到特征提取方法:新的研究视角

当前主流特征提取方法大致有2种研究思路:1)从高维数据的几何性质出发,根据某种寻优准则得到基于原始空间特征的一组特征数更少的新特征;2)从降维误差角度出发,保证降维前后数据所呈现的某种偏差达到最小.试图从降维过程中数据分布特征的变化入手,基于广泛使用的Parzen窗核密度估计方法,来审视和揭示Parzen窗估计与典型特征提取方法 LPP、LDA和PCA之间的关系,从而说明这些特征提取方法可统一在Parzen窗框架下进行研究,为特征提取方法的研究提供了一个新的视角.     

基于奇异值分解和判别局部保持投影的多变量时间序列分类

针对现有多变量时间序列分类算法存在的要求序列等长和忽视类别信息两个不足,提出基于奇异值分解(SVD)和判别局部保持投影的分类算法。该算法基于降维思想,先通过SVD将样本的第一右奇异向量作为特征向量,以此将不等长序列转化为规模大小相同的序列;接着采用基于最大间距准则的判别局部保持投影对特征向量投影,充分利用类别信息以确保投影后同类样本尽量接近,异类样本尽量分散;最后在低维子空间采用1最近邻(1NN)、Parzen窗、支持向量机(SVM)和朴素Bayes分类器进行分类。在Australian Sign Language(ASL)、Japanese Vowels(JV)和Wafer三个公开的多变量时间序列数据集上进行的实验结果表明:在时间开销基本不变的前提下,所提方法取得了较低的分类错误率。     

基于奇异值分解和判别局部保持投影的多变量时间序列分类

针对现有多变量时间序列分类算法存在的要求序列等长和忽视类别信息两个不足,提出基于奇异值分解(SVD)和判别局部保持投影的分类算法。该算法基于降维思想,先通过SVD将样本的第一右奇异向量作为特征向量,以此将不等长序列转化为规模大小相同的序列;接着采用基于最大间距准则的判别局部保持投影对特征向量投影,充分利用类别信息以确保投影后同类样本尽量接近,异类样本尽量分散;最后在低维子空间采用1最近邻(1NN)、Parzen窗、支持向量机(SVM)和朴素Bayes分类器进行分类。在Australian Sign Language(ASL)、Japanese Vowels(JV)和Wafer三个公开的多变量时间序列数据集上进行的实验结果表明：在时间开销基本不变的前提下,所提方法取得了较低的分类错误率。     

基于改进朴素贝叶斯的区间不确定性数据分类方法

基于Parzen窗的朴素贝叶斯在区间不确定性数据分类中存在计算复杂度高、空间需求大的不足。针对该问题,提出一种改进的区间不确定性数据分类方法IU-PNBC。首先采用Parzen窗估计区间样本的类条件概率密度函数(CCPDF);然后通过代数插值得到类条件概率密度函数的近似函数;最后利用近似代数插值函数计算样本的后验概率, 并用于预测。通过人工生成的仿真数据和UCI标准数据集验证了算法假设的合理性以及插值点数对IU-PNBC算法分类精度的影响。实验结果表明,当插值点数大于15时,IU-PNBC算法的分类精度趋于稳定,且插值点数越多,算法分类精度越高;该算法可以避免原Parzen窗估计对训练样本的依赖, 并有效降低计算复杂度;同时由于该算法具有远低于基于Parzen窗的朴素贝叶斯的运行时间和空间需求, 因此适合解决数据量较大的区间不确定性数据分类问题。     

基于佳点集遗传算法的特征选择方法

针对特征选择中降维效果与分类精度间的矛盾,通过分析传统的特征选择方法中的优点和不足,结合佳点集遗传算法的思想和K最近邻简单有效的分类特性,提出了基于佳点集遗传算法的特征选择方法.该算法对特征子集采用佳点集遗传算法进行随机搜索,并采用K近邻的分类错误率作为评价指标,淘汰不好的特征子集,保存较优的特征子集.通过实验比较看出,该算法可以有效地找出具有较高分类精度的特征子集,降维效果良好,具有较好的特征子集选择能力.     

基于Parzen核估计的最大后验概率分类方法

从概率密度函数的角度出发,利用Parzen窗法估计总体样本的概率密度分布,将核方法和Parzen窗法引入最大后验概率方法中,提出一种基于Parzen核估计的最大后验概率的高性能多分类方法。该方法不需要考虑样本数据的具体分布情况,能够得到分类的可信度,给出推理的不确定性依据。在3个国际标准UCI数据集和3个人脸数据集上的实验结果表明,该方法具有较好的分类效果。     

基于核典型相关性-熵成分分析的工业过程质量监测方法

工业过程多变量、数据高维度和非线性的特点使得对其质量监测及质量相关的故障诊断变得复杂.融合核熵成分分析(KECA)及典型相关分析(CCA)方法的思想,进行特征提取降维的同时确保所提取特征与质量变量的最大相关性,提出一种新的质量相关的工业过程故障检测方法.首先,采用KECA对输入数据进行核空间的映射及特征提取,同时融合CCA算法思想使得所提取特征与质量变量间关联最大化;然后,构建监测统计量并用Parzen窗估计其控制限,用于过程的故障检测;最后,运用所提方法对带钢热连轧工业过程实际生产数据进行分析,并与其他4种传统非线性算法对比分析,实验结果验证了所提方法的准确性、有效性及先进性.     

基于协同降维策略的电子鼻技术应用研究

本文提出了一种协同降维策略来优化特征维度进而提升电子鼻分类精度。该协同降维策略结合了无监督和有监督降维的优点实现原始特征的有效降维,并利用该策略实现不同品牌白酒的智能辨识。 首先,提取电子鼻检测数据的最大值、 稳态均值、积分值以及小波能量值作为特征值。其次,将无监督降维方式的核熵成分分析(KECA)引入对融合特征进行初步降维。再利用有监督降维方式的线性判别分析(LDA)进行再次降维得到最终的综合特征。最后,基于支持向量机(SVM)、概率神经网络(PNN)、随机森林(RF)对综合特征进行分类识别。结果表明,KCEA-LDA-SVM获得了最高的分类性能达96%,说明该协同降维策略可以有效提升电子鼻的检测性能。     

改进Parzen窗解决高维数据聚类的方法研究

由于高维数据聚类的现实意义日益增强,而Parzen窗估计法仅对低维数据集聚类能获得良好的结果,随着维数增加,效率降低,因此对Parzen窗进行加权改进,通过多次仿真实验确定加权函数,将高维数据投射至低维空间,对其聚类,逐步投向高维空间,对结果矩阵进行优化处理,得到更为优良的聚类效果。     

针对恶意JavaScript识别的降维方法

针对将JavaScript代码N-gram处理后识别算法特征维度较高的问题,提出一种高效的降维方法。该方法利用TF-IDF-like模型分别计算特征在正常样本和恶意样本中的权重,基于特征权重在两类样本中的差异度进行降维。基于多个识别算法,将提出的降维方法与基于主成分分析（Principal Component Analysis,PCA）的降维方法进行比较,实验结果表明：当识别算法维度相同时,基于本文所给降维方法的识别算法在识别效果方面优于基于PCA的识别算法;当降维后识别算法的维度超过某个阈值时,随着识别算法维度的增长,本降维方法的时间开销增长速率远低于PCA方法。     

核参数判别选择方法在核主元分析中的应用

针对核主元分析(KPCA)中高斯核参数β的经验选取问题,提出了核主元分析的核参数判别选择方法。依据训练样本的类标签计算类内、类间核窗宽,在以上核窗宽中经判别选择方法确定核参数。根据判别选择核参数所确定的核矩阵,能够准确描述训练空间的结构特征。用主成分分析(PCA)对特征空间进行分解,提取主成分以实现降维和特征提取。判别核窗宽方法在分类密集区域选择较小窗宽,在分类稀疏区域选择较大窗宽。将判别核主成分分析(Dis-KPCA)应用到数据模拟实例和田纳西过程(TEP),通过与KPCA、PCA方法比较,实验结果表明,Dis-KPCA方法有效地对样本数据降维且将三个类别数据100%分开,因此,所提方法的降维精度更高。     

Estimating optimal feature subsets using efficient estimation of high-dimensional mutual information

A novel feature selection method using the concept of mutual information (MI) is proposed in this paper. In all MI based feature selection methods, effective and efficient estimation of high-dimensional MI is crucial. In this paper, a pruned Parzen window estimator and the quadratic mutual information (QMI) are combined to address this problem. The results show that the proposed approach can estimate the MI in an effective and efficient way. With this contribution, a novel feature selection method is developed to identify the salient features one by one. Also, the appropriate feature subsets for classification can be reliably estimated. The proposed methodology is thoroughly tested in four different classification applications in which the number of features ranged from less than 10 to over 15000. The presented results are very promising and corroborate the contribution of the proposed feature selection methodology.     

Bayes-optimality motivated linear and multilayered perceptron-baseddimensionality reduction

Dimensionality reduction is the process of mapping high-dimension patterns to a lower dimension subspace. When done prior to classification, estimates obtained in the lower dimension subspace are more reliable. For some classifiers, there is also an improvement in performance due to the removal of the diluting effect of redundant information. A majority of the present approaches to dimensionality reduction are based on scatter matrices or other statistics of the data which do not directly correlate to classification accuracy. The optimality criteria of choice for the purposes of classification is the Bayes error. Usually however, Bayes error is difficult to express analytically. We propose an optimality criteria based on an approximation of the Bayes error and use it to formulate a linear and a nonlinear method of dimensionality reduction. The nonlinear method we propose, relies on using a multilayered perceptron which produces as output the lower dimensional representation. It thus differs from autoassociative like multilayered perceptrons which have been proposed and used for dimensionality reduction. Our results show that the nonlinear method is, as anticipated, superior to the linear method in that it can perform unfolding of a nonlinear manifold. In addition, the nonlinear method we propose provides substantially better lower dimension representation (for classification purposes) than Fisher's linear discriminant (FLD) and two other nonlinear methods of dimensionality reduction that are often used.     

基于FCA-ReliefF的融合生理信号情绪识别研究

针对当前情绪识别研究中特征维数多、识别率不高的问题,提出了基于多生理信号(心电、肌电、呼吸、皮肤电)融合及FCA-ReliefF特征选择的情绪识别方法。通过将从时域和频域两个维度提取的生理信号特征进行融合,作为分类器的输入进行情绪分类。为了降低特征维度,首先进行特征相关性分析(FCA)删除相关性较大的特征;再通过ReliefF剔除分类贡献弱的特征,达到降低特征维度的目的。在公开的数据集上进行验证,并与相关研究进行对比。结果表明,提出的方法在特征维度及识别率两个方面均有优势。提出的FCA-ReliefF降维策略有效地将特征从108维减少到60维,并且将识别精度提高到98.40%,验证了方法的有效性。     

Info-margin maximization for feature extraction

We propose a novel method of linear feature extraction with info-margin maximization (InfoMargin) from information theoretic viewpoint. It aims to achieve a low generalization error by maximizing the information divergence between the distributions of different classes while minimizing the entropy of the distribution in each single class. We estimate the density of data in each class with Gaussian kernel Parzen window and develop an efficient and fast convergent algorithm to calculate quadratic entropy and divergence measure. Experimental results show that our method outperforms the traditional feature extraction methods in the classification and data visualization tasks.     

Feature selection for modular GA-based classification

Genetic algorithms (GAs) have been used as conventional methods for classifiers to adaptively evolve solutions for classification problems. Feature selection plays an important role in finding relevant features in classification. In this paper, feature selection is explored with modular GA-based classification. A new feature selection technique, relative importance factor (RIF), is proposed to find less relevant features in the input domain of each class module. By removing these features, it is aimed to reduce the classification error and dimensionality of classification problems. Benchmark classification data sets are used to evaluate the proposed approach. The experiment results show that RIF can be used to find less relevant features and help achieve lower classification error with the feature space dimension reduced.     

时间序列数据降维及特征表示新方法

数据降维和特征表示是解决时间序列维灾问题的关键技术和重要方法, 它们在时间序列数据挖掘中起基础性作用. 鉴于此, 提出一种新的时间序列数据降维和特征表示方法, 利用正交多项式回归模型对时间序列实现特征提取, 结合特征序列长度对时间序列的拟合分析结果, 运用奇异值分解方法对特征序列进一步降维处理, 进而得到保存大部分信息且维数更低的特征序列. 数值实验结果表明, 新方法可以在维度较低的特征空间下取得较好的数据挖掘聚类和分类效果.

     

A fast algorithm for nonparametric probability density estimation

A fast algorithm for the well-known Parzen window method to estimate density functions from the samples is described. The computational efforts required by the conventional and straightforward implementation of this estimation procedure limit its practical application to data of low dimensionality. The proposed algorithm makes the computation of the same density estimates with a substantial reduction of computer time possible, especially for data of high dimensionality. Some simulation experiments are presented which demonstrate the efficiency of the method. They indicate the computational savings that may be achieved through the use of this fast algorithm for artificially generated sets of data.     

利用PCA进行深度学习图像特征提取后的降维研究

深度学习是当前人工智能领域广泛使用的一种机器学习方法.深度学习对数据的高度依赖性使得数据需要处理的维度剧增,极大地影响了计算效率和数据分类性能.本文以数据降维为研究目标,对深度学习中的各种数据降维方法进行分析.在此基础上,以Caltech 101图像数据集为实验对象,采用VGG-16深度卷积神经网络进行图像的特征提取,以PCA主成分分析方法为例来实现高维图像特征数据的降维处理.在实验阶段,采用欧氏距离作为相似性度量来检验经过降维处理后的精度指标.实验证明：当提取VGG-16神经网络fc3层的4096维特征后,使用PCA法将数据维度降至64维,依然能够保持较高的特征信息.