三种数据降维方法的分析比较

数据降维主要是为了解决维数灾害问题。该论文主要分析了三种数据降维方法,并对算法优缺点进行了分析和比较。     

基于PCA降维的云资源状态监控数据压缩技术

云计算资源状态监控作为保障云服务质量和可靠性的重要自动化手段,必须从海量的监控数据中分析出各类云资源的真实状态信息。为了减少资源监控任务自身对云计算资源的消耗,提出一种基于PCA(Principal Components Analysis)降维的监控数据的降维和筛选技术。监控数据转换利用PCA降维,将原始监控数据映射至若干主成分方向上,实现数据压缩。而监控数据筛选则着眼于在保留原始数据的前提下,筛选出关键监控指标以有效表征资源状态。基于VICCI云服务实验平台的实验结果证明,所提出的方法能够从多种监控数据中快速筛选出表征资源状态的核心数据,在保证状态监控效果的前提下,有效减少了监控任务所需处理的数据量。     

基于Python的高速动车组车载数据降维方法实现

通过主成分分析方法,给出了高速动车组车载数据的降维过程。基于第三方numpy库和机器学习sklearn库,分别通过Python代码实现了基于主成分分析的降维过程。通过对某高速动车组数据的降维分析,两种实现方式所得到的结果一致,都能够实现对高速动车组车载数据的降维。     

面向复杂多流形高维数据的t-SNE降维方法

针对t-SNE方法不能很好地区分相互交叉的多个流形的问题,提出一种可视化降维方法.在t-SNE方法的基础上,在计算高维概率时考虑欧几里得度量和局部主成分分析以区分不同流形.然后可直接使用t-SNE的梯度求解方法得到降维结果.最后分别用3个人工生成的三维数据集和2个通用的机器学习数据集进行实验,并根据不同流形的区分度和流形内的邻域可信度2个指标对降维结果进行量化分析.结果表明,该方法在处理有交叉的多流形数据时的效果要明显优于原来的t-SNE方法,并能够较好地保持每个流形的邻域结构.     

改进的入侵检测数据降维方法

数据降维是提高入侵检测分类器的学习效率和检测速度的重要手段。针对目前入侵检测数据特征降维力度不够,提出了一种基于主成分分析的分类特征降维方法。该方法把样本集按数据类型分割成多个子集,分别对每个子集进行主成分分析来消除各子集间在降维时的相互影响,使得每个子集的降维达到最佳。实验结果表明采用分类主成分分析方法能够更有效地降低数据维数,提高了入侵检测分类器的学习速度和检测速度。     

一种基于聚类分析的高维事务对象的有效降维方法

对于给定的多维事务数据对象的庞大数据集,有效选取显著特征因子是非常关键的,提取相关的主成分,替代原有的模式,能显著降低计算维数,使复杂问题简单化,达到良好的分类效果.结合一消费事务数据库,采用这种聚类降维技术,收到了较好的效果.     

数据降维方法分析与研究 *

全面总结现有的数据降维方法,对具有代表性的降维方法进行了系统分类,详细地阐述了典型的降维 方法,并从算法的时间复杂度和优缺点两方面对这些算法进行了深入的分析和比较。最后提出了数据降维中仍 待解决的问题。     

基于范畴的数据降维方法

范畴理论主要是一些特定数学的对象和映射的概括和抽象,在此利用范畴理论阐述图像分析和识别中的数据降维问题,定义高维数据降维范畴的过程,并以主成分分析范畴和等距映射范畴分别验证了范畴理论应用到图像数据降维问题中的正确性。     

一种基于贪心算法的快速PCA算法

提出一种快速算法,该算法利用贪心算法构造卷数据降维矩阵,在保持点与点之间“核距离”不变的情况下．把待分解矩阵变换成一个低维矩阵。在没有偏差的情况下,将对原始大矩阵的分解变成对这个低维矩阵的分解,大幅降低了时间复杂度,减少了对内存的使用率的同时增加了算法的稳定性。     

基于分段行列2D-PCA的高光谱图像数据降维方法

针对传统二维主成分分析(2D-PCA)方法不能直接应用于高光谱图像数据降维的不足,提出一种基于分段行列2D-PCA的降维方法。利用高光谱图像波段间的相关系数进行波段子空间划分,在各子空间内通过旋转构建新的数据模型,以2D-PCA方法提取其行、列主成分信息,经过图像重建得到行、列主成分图像,对各波段子空间的行、列主成分图像进行小波分解,按照不同规则融合低频、高频系数,再通过小波逆变换得到降维后的图像。实验结果表明,与PCA和分段PCA方法相比,该方法在保证降维图像质量的前提下可缩短运算时间,提高高光谱图像的降维效率。     

基于核熵成分分析的数据降维?

针对高维数据的维灾问题,采用核熵成分分析方法降维数据,并与主成分分析及核主成分分析方法进行对比。降维后的数据利用支持向量机算法进行分类,以验证算法有效性。实验结果表明,KECA在较低的维数时仍然能获得较好的分类精度,可以减少后续的处理复杂度和运行时间,适用于机器学习、模式识别等领域。     

一种基于PCA的文本特征混合选择方法

由于文本分类中的特征空间高维稀疏,传统单一的降维方法难以满足实际大数据分类需求。针对这种情况,提出一种两阶段的混合特征选择方法。第一阶段计算每个特征词的信息增益率并进行排序,然后根据设定的阈值进行特征词的选择。第二阶段利用主成分分析方法将第一阶段输出的仍保持高维特性的高维特征空间映射到低维新特征空间。实验结果表明,与单一的传统方法比较,混合特征选择方法实现了二次降维,不但减少了计算开销,还提高了分类性能。     

一种适合Web图像检索的图像降维算法研究

本文对现有Web图像检索技术现状进行了归纳，分析阐明了图像降维算法在基于内容的Web图像检索技术中的地位和作用。在介绍了几种经典图像降维方法后，重点介绍了国外近来提出的基于拉普拉斯特征值映射（LE）的图像降维算法。针对Web环境下图像检索必须进行剧烈降维的特点，本文进而对基于KL变换的主成分分析（PCA）算法和基于LE的图像降维算法进行了实验分析和比较。实验结果表明：对于需要进行维数剧烈缩减的Web图像检索来说，基于LE的图像降维算法可以获得最佳的效果。     

基于PCA降维的成对约束半监督聚类集成

针对现有的聚类集成算法大都是无监督聚类集成算法且不能很好地处理高维数据的问题,设计一种基于PCA降维技术的成对约束半监督聚类集成算法(SSCEDR).SSCEDR方法使用PCA主成分分析对原始数据进行降维,结合半监督聚类集成技术,在降维后的空间中将成对约束等先验知识代入到聚类集成过程中.本文通过在多组数据集上实验来验证...     

基于共同主成分的多元时间序列降维方法

针对常见的降维方法难以有效保留多元时间序列主要特征的问题,分析了传统主成分分析(PCA)方法在多元时间序列降维中的局限性,提出一种基于共同主成分分析的多元时间序列降维方法,并通过仿真实验比较了两种方法的降维有效性和计算复杂度.实验结果表明,所提出的降维方法能够以相对较小的计算代价,更有效地对多元时间序列进行降维.     

基于改进结构保持数据降维方法的故障诊断研究

传统基于核主成分分析(Kernel principal component analysis, KPCA)的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题, 本文提出一种改进全局结构保持算法的特征提取与降维方法.改进的特征提取与降维方法将流形学习中核局部保持投影(Kernel locality preserving projection, KLPP)的思想融入核主成分分析的目标函数中, 使样本投影后的特征空间不仅保持原始样本空间的整体结构, 还保持样本空间相似的局部近邻结构, 包含更丰富的特征信息.上述方法通过同时进行的正交化处理可避免局部子空间结构发生失真, 并能够直观显示出低维结果, 将低维数据输入最近邻分类器, 以识别率和聚类分析结果作为衡量指标, 同时将所提方法应用于故障诊断中.使用AVL Boost软件模拟的柴油机故障数据和田纳西(Tennessee Eastman, TE)化工数据仿真, 验证了所提方法的有效性.     

利用PCA进行深度学习图像特征提取后的降维研究

深度学习是当前人工智能领域广泛使用的一种机器学习方法.深度学习对数据的高度依赖性使得数据需要处理的维度剧增,极大地影响了计算效率和数据分类性能.本文以数据降维为研究目标,对深度学习中的各种数据降维方法进行分析.在此基础上,以Caltech 101图像数据集为实验对象,采用VGG-16深度卷积神经网络进行图像的特征提取,以PCA主成分分析方法为例来实现高维图像特征数据的降维处理.在实验阶段,采用欧氏距离作为相似性度量来检验经过降维处理后的精度指标.实验证明：当提取VGG-16神经网络fc3层的4096维特征后,使用PCA法将数据维度降至64维,依然能够保持较高的特征信息.     

基于核主成分分析的数据流降维研究

分析了数据流降维算法PCA和KPCA的原理和实现方法。针对在大型数据集上PCA线性降维无法有效实现降维且KPCA的降维效率差,提出了一种新的降维策略GKPCA算法。该算法将数据集先分组,对每一组执行KPCA,然后过滤重新组合数据集,再次应用KPCA算法,达到简化样本空间,降低了时间复杂度和空间复杂度。实验分析表明,GKPCA算法不仅能取得良好的降维效果,而且时间消耗少。     

主成分分析在图像Zernike矩特征降维中的应用

首先介绍了图像特征向量维度过高的问题以及图像特征降维处理。在讨论Zernike矩基本概念以及图像Zernike矩形状特征向量表示的基础上,指出Zernike矩特征向量一般都是高维的。在介绍主成分分析方法的基础上,指出可以将其应用到Zernike矩特征向量的降维中,并给出了降维的处理过程。最后的实验结果证明了该方法的可行性。     

多元时间序列特征降维方法研究

针对常见的降维方法难以有效地保留多元时间序列主要特征的问题,分析了传统PCA方法在多元时间序列降维中的局限性;提出一种基于共同主成分分析的线性降维方法;把共同主成分与核技巧相结合,通过数学推导,将其拓展为基于共同核主成分分析的非线性降维方法;最后分析两种方法的降维有效性.与传统PCA方法相比,基于共同核主成分分析的降维方法可以表达变量间的非线性关系、能够选取合适的核函数和形状参数,因此降维手段更为灵活、对数据的适应性更强.实验结果表明,本文提出的降维方法能够更有效地对多元时间序列进行降维.