三种数据降维方法的分析比较

数据降维主要是为了解决维数灾害问题。该论文主要分析了三种数据降维方法,并对算法优缺点进行了分析和比较。     

改进的入侵检测数据降维方法

数据降维是提高入侵检测分类器的学习效率和检测速度的重要手段。针对目前入侵检测数据特征降维力度不够,提出了一种基于主成分分析的分类特征降维方法。该方法把样本集按数据类型分割成多个子集,分别对每个子集进行主成分分析来消除各子集间在降维时的相互影响,使得每个子集的降维达到最佳。实验结果表明采用分类主成分分析方法能够更有效地降低数据维数,提高了入侵检测分类器的学习速度和检测速度。     

基于核主成分分析的数据流降维研究

分析了数据流降维算法PCA和KPCA的原理和实现方法。针对在大型数据集上PCA线性降维无法有效实现降维且KPCA的降维效率差,提出了一种新的降维策略GKPCA算法。该算法将数据集先分组,对每一组执行KPCA,然后过滤重新组合数据集,再次应用KPCA算法,达到简化样本空间,降低了时间复杂度和空间复杂度。实验分析表明,GKPCA算法不仅能取得良好的降维效果,而且时间消耗少。     

面向复杂多流形高维数据的t-SNE降维方法

针对t-SNE方法不能很好地区分相互交叉的多个流形的问题,提出一种可视化降维方法.在t-SNE方法的基础上,在计算高维概率时考虑欧几里得度量和局部主成分分析以区分不同流形.然后可直接使用t-SNE的梯度求解方法得到降维结果.最后分别用3个人工生成的三维数据集和2个通用的机器学习数据集进行实验,并根据不同流形的区分度和流形内的邻域可信度2个指标对降维结果进行量化分析.结果表明,该方法在处理有交叉的多流形数据时的效果要明显优于原来的t-SNE方法,并能够较好地保持每个流形的邻域结构.     

全局与局部判别信息融合的转子故障数据集降维方法研究

针对传统的数据降维方法无法兼顾保持全局特征信息与局部判别信息的问题,提出一种核主元分析（Kernel principal component analysis,KPCA）和正交化局部敏感判别分析（Orthogonal locality sensitive discriminant analysis,OLSDA）相结合的转子故障数据集降维方法.该方法首先利用KPCA算法有效降低数据集的相关性、消除冗余属性,由此实现了最大程度地保留原始数据全局非线性信息的作用;然后利用OLSDA算法充分挖掘出数据的局部流形结构信息,达到了提取出具有高判别力低维本质特征的目的.上述方法的特点是通过同时进行的正交化处理可避免局部子空间结构发生失真,采用三维图直观显示出低维结果,以低维特征子集输入最近邻分类器（K-nearest neighbor,KNN）的识别率和聚类分析之类间距Sb、类内距Sw作为衡量降维效果的指标.实验表明该方法能够全面地提取出全局与局部判别信息,使故障分类更清晰,相应地识别准确率得到了明显提升.该研究可为解决高维和非线性机械故障数据集的可视化与分类问题,提供理论参考依据.     

较大规模数据应用PCA降维的一种方法

PCA是一种常用的线性降维方法,但在实际应用中,当数据规模比较大时无法将样本数据全部读入内存进行分析计算。文章提出了一种针对较大规模数据应用PCA进行降维的方法,该方法在不借助Hadoop云计算平台的条件下解决了较大规模数据不能直接降维的问题,实际证明该方法具有很好的应用效果。     

基于核熵成分分析的数据降维?

针对高维数据的维灾问题,采用核熵成分分析方法降维数据,并与主成分分析及核主成分分析方法进行对比。降维后的数据利用支持向量机算法进行分类,以验证算法有效性。实验结果表明,KECA在较低的维数时仍然能获得较好的分类精度,可以减少后续的处理复杂度和运行时间,适用于机器学习、模式识别等领域。     

结合优化MGFR与二维线性降维的特征提取算法

受限于人脸姿态、光照变化等因素,通过引入多通道Gaborface表征结合基于子空间的二维双向线性降维算法,提出了一种结合优化多通道Gaborface与二维线性降维的特征提取算法。首先,采用多通道Gaborface表征(MGFR)模型对样本集进行预处理,提取不同通道下的人脸Gabor特征表示并优化选取通道融合方式而组合成新特征;再引入样本间类别信息获得改进线性二维双向特征降维算法,从而对获得的人脸表示进行特征降维与提取;最终通过最近邻分类器得到分类结果。试验结果表明,通过在AR、ORL和YALE人脸库进行对比分析,改进算法对人脸姿态等变化具有较强的鲁棒性,且较其他算法表现出了较优的识别性能。     

基于Python的高速动车组车载数据降维方法实现

通过主成分分析方法,给出了高速动车组车载数据的降维过程。基于第三方numpy库和机器学习sklearn库,分别通过Python代码实现了基于主成分分析的降维过程。通过对某高速动车组数据的降维分析,两种实现方式所得到的结果一致,都能够实现对高速动车组车载数据的降维。     

降维方法在人脸图像识别中的分析与评估

为了提高人脸图像识别的速度和准确率,将多元统计分析中的降维方法引入到人脸图像识别系统中,分析并对比了主成分分析法（PCA）线性判别分析法（LDA）和局部保留投影（LPP）三种方法用于人脸图像识别的效果,采用YaIe B作为识别的样本和测试库,在光照条件和姿态变化条件下对三种算法进行了比较实验。实验结果表明,三种方法对人脸图像识别均能够达到一定效果,在姿态变化条件下,LDA和LPP均优于PCA,但三种方法对于光照变化均不能保持很好的鲁棒性。     

基于核函数-主成分维数约减的离群点检测

为了提高高维数据集合离群数据挖掘效率,该文分析传统的离群数据挖掘算法,提出一种离群点检测算法。该算法将非线性问题转化为高维特征空间中的线性问题,利用核函数-主成分进行维数约减,逐个扫描数据对象的投影分量,判断数据点是否为离群点,适用于线性可分数据集的离群点、线性不可分数据集的离群点的检测。实验表明了该算法的优越性。     

基于主元分析的支持向量数据描述机械故障诊断

针对机械故障诊断缺乏故障样本的问题,提出了故障诊断单值分类法--支持向量数据描述法(SVDD).这种方法只需要正常运行状态的数据样本,就可以建立单值分类器,区分出正常和异常状态.试验以轴承为研究对象,采用主元分析法(PCA)作数据前处理,提取振动信号的统计特征值,得到的主元特征指标输入到SVDD分类器进行训练和测试.试验结果表明,PCA对正常和故障样本有较大的区分度,SVDD分类器能很好的分辨出轴承正常和故障状态,并且对未知故障有良好的识别能力.     

一种基于数据重构的KPCA故障识别方法

针对核主元分析(KPCA)方法只能实现故障检测,但无法实现故障变量识别的问题,提出一种基于数据重构的KPCA故障变量识别方法。采用改进的数据重构方法对各参数进行重构,然后利用故障识别指数对监控参数进行故障变量识别。通过对某型涡扇发动机进行实验的结果表明,该方法能够准确识别故障变量,从而有助于维护人员分析故障原因,初步确定可能的故障源,大大缩短故障定位及排故的时间,可预防重大事故的发生。     

一种基于局部保形映射(LPP)的相关反馈方法

目前图像检索通常采用高效的图像降维算法和适当的相关反馈技术来提高检索的效率。局部保形映射(LPP)算法是保留图像本质特征的一种有效的线性降维算法。本文在LPP算法的基础上引入相关反馈技术,进一步提高了检索准确度。利用LPP算法得到降维子空间,在子空间上得出查询数据的k-近邻构成候选数据集,并与查询数据集构建一个权图G,通过弗洛伊德算法求得图G中任意两个数据点之间的测地线距离并排序进而得出反馈结果。实验表明,该算法提高了检索的准确度,并使检索结果得到一定的优化。     

基于改进PCA联合SVM的电厂设备故障诊断方法

转子系统是燃气轮机极为重要的组成部件,对其进行故障诊断与分析对燃气轮机的安全稳定运行具有重要意义。转子故障信号为典型的非线性、非平稳和微弱性时间序列。提出了一种基于改进主成分分析(Improved Principal Component Analysis, ImPCA)的燃气轮机转子故障诊断方法。首先针对传统PCA主分量个数确定难题,将贝叶斯理论引入PCA,构建贝塔先验主成分分析模型对转子故障信号进行自适应分解,将其转化为少数几个主分量(Principal Component, PC)之和的形式,然后将PC对应的大特征值作为特征向量并构建SVM分类器进行分类,实现对“不平衡故障”“动静件碰磨故障”和“不对中故障”三种燃气轮机转子故障的有效分类诊断。基于实际数据的实验结果表明,所提方法能够获得97.2%的平均诊断正确率,并且具有噪声稳健性,适用于实际工程应用场景。     

基于PCA-KFCM的船舶柴油机故障诊断

为提高船舶柴油机故障诊断的准确率和深刻反映船舶柴油机的运行状况,结合主元分析(PCA)的特征提取优势和模糊核聚类(KFCM)具有较好聚类效果的特点,提出了一种新的船舶柴油机故障诊断方法。该方法首先利用主元分析对船舶柴油机故障的训练和测试数据集进行特征提取,消除了故障征兆之间的相关性;然后对经特征提取后的训练样本进行模糊核聚类,并用网格法确定其中的参数,得到聚类中心。最后通过计算测试样本集中各样本与聚类中心在高维特征空间中的欧氏距离,得出最终的故障诊断结果。对MAN B&W 10L90MC型船用柴油机的故障诊断结果验证了该方法的有效性。因此,应用提出的方法对船舶柴油机进行故障诊断具有重要的实际意义。     

基于保局投影的相关反馈算法

在原有保局投影算法中引入用户反馈,用其更新构建降维映射的特征向量,从而得到一个更能够反映语义属性的图像表示子空间.该算法利用用户反馈迅速优化图像表示,使它具有长期学习的能力.实验结果表明:该算法可以提高检索的准确度,而且在经过长期学习后可以获得一个近似最优的图像降维子空间.     

基于Gabor小波和核保局投影算法的表面缺陷自动识别方法

研究了Gabor小波变换和核保局投影(Kernel locality preserving projections, KLPP)算法的原理, 分析了热轧钢板表面缺陷的特点, 提出了一种基于Gabor小波和KLPP算法的特征提取方法, 并应用于热轧钢板表面缺陷自动识别. 首先利用Gabor小波将图像分解到5个尺度8个方向的40个分量中, 接着对原始图像和各个分量的实部和虚部分别提取均值和方差, 得到一个162维的特征向量, 然后利用KLPP算法将该特征向量的维数降到21维, 最后利用多层感知器网络对样本进行分类识别. 本文提出的特征提取方法具有计算简单、可并行处理的特点, 对沿一定方向分布的边缘和纹理具有较高的区分能力. 利用从工业现场采集的缺陷图像对本文方法进行了实验, 识别率达到93.87%.     

基于PCA-KFCM的船舶柴油机故障诊断

为提高船舶柴油机故障诊断的准确率和深刻反映船舶柴油机的运行状况,结合主元分析(PCA)的特征提取优势和模糊核聚类(KFCM)具有较好聚类效果的特点,提出了一种新的船舶柴油机故障诊断方法。该方法首先利用主元分析对船舶柴油机故障的训练和测试数据集进行特征提取,消除了故障征兆之间的相关性;然后对经特征提取后的训练样本进行模糊核聚类,并用网格法确定其中的参数,得到聚类中心。通过计算测试样本集中各样本与聚类中心在高维特征空间中的欧氏距离,得出最终的故障诊断结果。对MAN B&W 10L90MC型船用柴油机的故障诊断结果验证了该方法的有效性。因此,应用提出的方法对船舶柴油机进行故障诊断具有重要的实际意义。