高维混合入侵检测数据的单类分类算法研究

针对传统的方法未能有效地处理具有高维、混合以及不平衡的特性的入侵检测数据,结合单类分类概念和均值计算方法,提出一种单类分类K近邻(KNN)均值算法。其使用主成分分析混合(PCA mix)方法对高维混合数据进行降维预处理,并运用Bootstrap方法计算决策边界,提高准确性。通过使用三个不同的公开数据集进行实验,并与单类分类支持向量机(OCSVM)算法作对比,其分辨精度提高至94%以上,充分验证了提出算法的优越性。     

PCA与KNN在胎心率与宫缩描记图分类中的研究

提出了基于主成分分析（Principal Component Analysis,PCA）的K近邻（K Nearest Neighbor,KNN）分类原理,并将其应用于胎心率与宫缩描记图分类。主要思想是：对训练样本和测试样本进行降维,并对降维后的测试样本使用KNN分类技术分类。选择2 120组胎心率与宫缩描记图数据,使用该方法进行分类测试。实验结果表明,使用该类模型,分类结果稳定,分类准确率高,并且能够降低高维空间搜索K近邻的复杂性,减轻计算负担。     

基于小波变换和2DPCA的人脸识别方法

主成分分析(Principal Component Analysis,PCA)方法是模式识别技术中经典的特征提取和降维技术之一。在传统的PCA基础上,提出了二维主成分分析(Two-Dimensional Principal Component Analysis,2DPCA)方法。针对二维主成分分析在特征提取和数据降维上存在的缺点,提出一种综合的方法—在小波变换的基础上,对人脸数据库进行二维主成分分析。实验结果表明,该方法不仅实现了降维,而且能取得比传统主成分分析和二维主成分分析更好的识别性能。     

基于SPCA和域变换递归滤波的高光谱图像分类

提出一种基于分割的主成分分析（Segmented Principal Component Analysis,SPCA）和域变换递归滤波（Domain Transform Recursive Filtering,DTRF）的高光谱图像分类算法。利用SPCA方法降低高光谱图像的维数和提取各波段子集的第一主成分。使用不同参数的域变换递归滤波器对各波段子集第一主成分进行滤波,形成堆叠的边缘保持滤波图。采用主成分分析（Principal Component Analysis,PCA）将堆叠的边缘保持滤波图进行特征融合。利用基本阈值分类器（Basic Thresholding Classifier,BTC）对融合后的主成分进行分类。仿真实验表明,所提方法能够提高分类精度,且在总体分类精度、平均分类精度、Kappa系数等方面优于已有方法。     

具有容噪特性的C4.5算法改进

针对有噪声的高维数据引起决策树预测准确率下降的问题,利用容噪主成分分析(Noise-free Principal Component Anlysis,NFPCA)算法思想对C4.5算法改进而形成NFPCA-in-C4.5算法。该算法一方面将高维数据噪声控制问题转化为拟合数据特征与控制平滑度相结合的最优化问题,从而获得主成分空间;另一方面在决策树自顶向下构建新节点的过程中,再将主成分空间恢复到原始数据空间来避免降维过程中属性特征信息永久消失。实验结果表明NFPCA-in-C4.5算法兼具降维和容噪功能,避免了降维中由特征信息损失和噪声残留造成的预测模型准确率大幅降低的问题。     

中心修正增量主成分分析及其在文本分类中的应用

增量式学习模型是挖掘大规模文本流数据的一种有效的数据处理技术。无偏协方差无关增量主成分分析(Candid Covariance-free Incremental Principal Component Analysis, CCIPCA)是一种增量主成分分析模型,具有收敛速度快和降维效果好的特点。但是,CCIPCA模型要求训练数据是已经中心化或中心向量固定的。在实际的应用中,CCIPCA往往采用一种近似的中心化算法对新样本进行处理,而不会对历史数据进行中心化修正。针对这一问题,该文提出了一种中心修正增量主成分分析模型(Centred Incremental Principal Component Analysis, CIPCA)。CIPCA算法不仅对新样本进行中心化处理,而且会对历史数据进行准确的中心化修正。在文本流数据上的实验结果表明,CIPCA算法的收敛速度和分类性能明显优于CCIPCA算法,特别是在原始数据的内在模型不稳定的情况下,新算法的优势更为明显。     

基于LDA降维和BP神经网络的手写数字识别

手写数字数据集是机器学习分类领域的优质数据集,文章以反向传播（Back Propagation,BP）神经网络为基础,对手写数字进行分类识别。为减少BP神经网络的计算开支,实验前,对比了过滤卡方检验法、主成分分析（Principal Component Analysis,PCA）降维、线性判别式分析（Linear Discriminant Analysis,LDA）降维以及多维尺度变换（Multidimensional Scaling,MDS）降维对特征选取的训练测试效果,从而确定了神经网络拟合之前的最优特征提取方法。实验中,利用Bagging对BP神经网络进行集成处理,分类识别了手写数字。实验后,将文中方法与朴素贝叶斯、决策树、随机森林、LDA多分类进行对比。结果表明,采取LDA降维方法时,降到9维的特征提取方式最优,单个BP神经网络对手写数字数据识别的准确率为92%左右,而基于Bagging集成的BP神经网络在识别准确率方面高达95%。     

基于多元统计分析的小麦籽粒分类方法研究

小麦籽粒是培育优良品种的基础,提高小麦籽粒识别准确率可有效提高育种效率,提高粮食产量。因此,提出了一种基于多元统计分析的小麦籽粒分类方法,以提高小麦籽粒识别准确率。该方法以3种不同品种小麦的籽粒数为数据集,分别利用主成分分析法（Principal Component Analysis,PCA）和谱系聚类法对数据集进行降维、分类,实现对3种不同品种小麦籽粒的分类。     

分块多线性主成分分析及其在人脸识别中的应用研究

主成分分析(Principal Component Analysis,PCA)是人脸识别中一个经典的算法,但PCA方法在特征提取时考虑的是图像的整体信息,并没有考虑图像的局部信息,而分块PCA(Modular Principal Component Analysis,Modular PCA)则可以有效地提取图像中重要的局部信息,所以在人脸识别实验中获得了比传统PCA更好的识别效果。但PCA和Modular PCA都要进行图像的矢量化,这会破坏原始数据的空间结构,也有可能会导致"维数灾难"。多线性主成分分析(Multilinear Principal Component Analysis,Multilinear PCA)作为PCA在高维数据上的扩展,直接使用矩阵或者高阶的张量来获得有效特征,既可以避免"维数灾难",又可以体现直接将张量数据作为处理对象时保留原始数据较好基本结构信息的优点。在研究Modular PCA和Multilinear PCA的基础上,提出了分块多线性主成分分析(Modular Multilinear Principal Component Analysis,M2PCA)算法,用于识别人脸。在Yale、XM2VTS和JAFFE人脸数据库上进行了人脸识别实验,结果表明,在同等的分块条件下,所提出的方法的识别效果要优于Modular PCA的方法。     

基于PCA的决策树算法在心脏病诊断中的应用

主成分分析（Principal Component Analysis,PCA）可以处理大量过程参数间的关系与变化,排除次要因素,提取主要因素。文章将主成分分析和决策树C4.5算法相结合,提出一种心脏病诊断预测的新方法,该方法采用PCA方法对影响心脏病诊断的众多变量进行降维处理,减少了预测模型的输入量,消除输入数据间的相关性,用C4.5算法建立心脏病诊断的预测模型。经实验证明有效的提高了C4.5算法的分类正确率,提高了心脏病诊断的正确率。     

基于降维BP神经网络的高维数据分类研究

为确保高维数据的神经网络分类精度,提出了先降维后分类的方法。采用主成分分析（PCA）法实现高维数据的降维。通过分析传统BP算法,提出分两步来更新网络权值的扰动BP学习方法。采用MATLAB对降维分类算法的分类精度和误差收敛速度进行分析。仿真结果显示：先降维再采用扰动BP网络进行高维数据分类可大大提高数据的分类精度和训练速度。     

基于K-EROS的QAR数据集的相似性分析

叙述了传统的PCA方法在处理QAR数据相似性问题的不足,提出基于EROS的KPCA方法处理QAR数据之间的相似性问题。通过引入EROS方法而不需要对数据进行向量化,引入核矩阵对QAR数据进行主成分分析,可以有效降低数据的维数。选取两组QAR数据集,采用支持向量积方法,选用不同数目的主成分进行分类实验,同SPCA方法和GPCA方法进行比较,实验结果显示把该方法运用到QAR数据集,具有较好的分类结果。     

DCA自动数据预处理技术研究

树突细胞算法（DCA）能够在数据规模方面有效地处理大数据集。然而,在处理复杂数据集时,数据规模不是唯一需要考虑的,也要考虑高维数据问题。树突细胞算法的复杂性出现在数据预处理阶段,因此数据降维就尤其重要,以往,树突细胞算法的数据预处理是根据问题域的专家知识采用手工方法执行的,既浪费时间又是难以实现的。提出利用主成分分析法实现DCA的自动数据预处理,提取和选择相关特征使算法适应于基础数据的特点。在KDDCUP’99 数据集上将PCA应用于DCA显示其可行性,并产生有用且准确的分类结果。     

基于再生核Hilbert空间PCA的属性约简

传统的核主成分分析方法通过不明确的实值函数把原始数据投影到高维空间进行属性约简,增加了搜索分类超平面的时间,降低了分类准确率。为此,提出一种基于再生核Hilbert空间主成分分析的属性约简方法,把原始数据通过明确的连续值函数投影到高维或无限维的再生核空间再进行属性约简。真实数据集实验结果显示,该方法能有效提高分类准确率并减少运行时间。     

Correlation metric for generalized feature extraction

Beyond linear and kernel-based feature extraction, we propose in this paper the generalized feature extraction formulation based on the so-called Graph Embedding framework. Two novel correlation metric based algorithms are presented based on this formulation. Correlation Embedding Analysis (CEA), which incorporates both correlational mapping and discriminating analysis, boosts the discriminating power by mapping data from a high-dimensional hypersphere onto another low-dimensional hypersphere and preserving the intrinsic neighbor relations with local graph modeling. Correlational Principal Component Analysis (CPCA) generalizes the conventional Principal Component Analysis (PCA) algorithm to the case with data distributed on a high-dimensional hypersphere. Their advantages stem from two facts: 1) tailored to normalized data, which are often the outputs from the data preprocessing step, and 2) directly designed with correlation metric, which shows to be generally better than Euclidean distance for classification purpose. Extensive comparisons with existing algorithms on visual classification experiments demonstrate the effectiveness of the proposed methods.     

用于不平衡数据分类的FE-SVDD算法

现有的支持向量数据描述(SVDD)算法在解决不平衡数据集问题时通常存在有偏性。针对该问题,在研究PCA特征提取技术和SVDD分类理论的基础上,提出一种用于平衡数据分类的FE-SVDD算法。该方法对2类样本数据进行主成分分析,分别求出主要特征值,根据样本容量及特征值对SVDD中的 值重新定义。在人工样本集和UCI数据集上进行实验,结果验证了该方法的有效性。     

A scalable supervised algorithm for dimensionality reduction on streaming data

Algorithms on streaming data have attracted increasing attention in the past decade. Among them, dimensionality reduction algorithms are greatly interesting due to the desirability of real tasks. Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA) are two of the most widely used dimensionality reduction approaches. However, PCA is not optimal for general classification problems because it is unsupervised and ignores valuable label information for classification. On the other hand, the performance of LDA is degraded when encountering limited available low-dimensional spaces and singularity problem. Recently, Maximum Margin Criterion (MMC) was proposed to overcome the shortcomings of PCA and LDA. Nevertheless, the original MMC algorithm could not satisfy the streaming data model to handle large-scale high-dimensional data set. Thus an effective, efficient and scalable approach is needed. In this paper, we propose a supervised incremental dimensionality reduction algorithm and its extension to infer adaptive low-dimensional spaces by optimizing the maximum margin criterion. Experimental results on a synthetic dataset and real datasets demonstrate the superior performance of our proposed algorithm on streaming data.     

基于PSO-ICA的文本分类研究

文本分类在采用向量空间模型（VSM）表达文本特征时,容易出现特征向量高维且稀疏的现象,为了对原始的文本特征向量进行有效简化,提出了一种基于粒子群（PSO）优化独立分量分析（ICA）进行降维的方法,并将其运用到文本分类中。在该算法中,以负熵作为粒子群算法的适应度函数,依据其高斯性原理作为独立性判别标准对分离矩阵进行自适应更新。实验结果表明,相比于传统的特征降维方法,该方法可以解决高维度文本特征向量降维困难的问题,使得文本分类的效率、准确率显著提升。     

基于余弦角距离的主成分分析与核主成分分析

PCA和KPCA都是基于欧氏距离提出的,这种距离对离群数据点比较敏感,而余弦角距离对离群数据更为鲁棒,在很多情况下具有更好的性能。充分利用余弦角距离的优势,提出两种新的特征抽取算法——基于余弦角距离的主成分分析（PCAC）和基于余弦角距离的核主成分分析（KPCAC）。在YALE人脸数据库与PolyU掌纹数据库上的实验表明,PCAC比PCA取得了更好的效果,KPCAC也表现出了很好的性能。     

卷积鲁棒主成分分析

鲁棒主成分分析（RPCA）是一种经典的高维数据分析方法,可从带噪声的观测样本中恢复出原始数据。但是,RPCA能工作的前提是目标数据拥有低秩矩阵结构,不能有效处理实际应用中广泛存在的非低秩数据。研究发现,虽然图像、视频等数据矩阵本身可能不是低秩的,但它们的卷积矩阵通常是低秩的。根据这一原理,提出一种称为卷积鲁棒主成分分析（CRPCA）的新方法,利用卷积矩阵的低秩性对原始数据的结构进行约束,从而实现精确的数据恢复。CPRCA模型的计算过程是一个凸优化问题,通过乘子交替方向法（ADMM）来进行求解。通过对合成数据向量以及真实数据图片、视频序列进行实验,验证了该方法相较于其他算法如RPCA、广义鲁棒主成分分析（GRPCA）以及核鲁棒主成分分析（KRPCA）在处理数据非低秩问题上优越性。