一种基于Spark的改进随机森林算法

提出一种改进随机森林算法(SP-RF).通过建立数据抽样索引表和随机特征索引表来实现随机森林算法在Spark上的并行化;通过计算随机森林算法中每个决策树的AUC值来给分类能力不同的决策树分配权重;提高随机森林算法在投票环节的分类精度.实验结果表明改进后的随机森林算法分类精度平均提高5％,运行时间平均减少25％以上.     

一种基于Spark的改进随机森林算法

提出一种改进随机森林算法(SP-RF).通过建立数据抽样索引表和随机特征索引表来实现随机森林算法在Spark上的并行化;通过计算随机森林算法中每个决策树的AUC值来给分类能力不同的决策树分配权重;提高随机森林算法在投票环节的分类精度.实验结果表明改进后的随机森林算法分类精度平均提高5％,运行时间平均减少25％以上.     

基于环形对称Gabor变换和PCA加权的人脸识别算法

环形对称Gabor变换不但具有Gabor小波的一般特性,而且具有信息冗余度小、严格的旋转不变性等优点.文中提出一种基于环形对称Gabor变换和PCA加权特征的人脸识别算法.首先将人脸图像变换到环形对称Gabor变换域,然后在变换域采用PCA加权方法提取分类特征.在3个人脸库上进行实验,与传统人脸识别算法的对比实验说明该算法的可行性和对光照、姿态变化具有更好的鲁棒性.     

基于随机矩阵变换的快速PCA算法

主成分分析PCA（PrincipleComponentAnalysis）是一种重要的分析方法,广泛应用于图像检索、机器学习、模式识别等领域。随着近年来数据维数越来越大,算法的稳定性、时间复杂度和内存使用成了PCA进一步应用所必须要解决的问题。为此提出一种快速算法,该算法利用随机矩阵构造卷数据降维矩阵,在保持点与点之间“核距离”不变的情况下,将待分解矩阵变换成一个低维矩阵。在没有偏差的情况下,将对原始大矩阵的分解变成对这个低维矩阵的分解,大幅降低了时间复杂度,减少了对内存的使用,同时增加了算法的稳定性,从而在根本上解决了上述3个问题。     

融合PCA、LDA和SVM算法的人脸识别

为了提高人脸识别效率,提出了一种基于PCA、LDA和SVM算法融合的人脸识别方法。使用主成分分析（PCA）将人脸图像变换到新的特征空间中,消除图像特征间的相关性和噪声,提取人脸全局特征,在实验阶段取较多的投影方向使其尽可能多的保持原始信息;使用线性判别分析（LDA）算法进一步投影变换降低数据维度;使用支持向量机（SVM）分类识别。将PCA、LDA和SVM三种算法的优点结合起来,在ORL数据库上进行仿真实验,结果表明该方法的识别率可达99.0%。     

基于遥感的随机森林农田水肥等级分级算法

农田水肥诊断对农作物增产与维持生态平衡稳定有重要意义。针对农作物航空遥感图像,提出用于农田水肥等级分级的随机森林分类模型,并讨论随机森林分类模型用于农田水肥等级分级的适用性。提出的模型基于随机森林分类器,通过对遥感图像进行特征提取与降维,将不同区域的遥感图像特征和对应的水、肥等级标签输入随机森林,训练分类模型,得到不同区域的分级结果。实验结果表明,在植被覆盖密度较高的区域中,随机森林分类模型能够为农作物含水量分级提供较好的分级参考,具有一定的适用性。     

基于PCA和随机森林的故障趋势预测方法研究

故障预测和健康管理技术(PHM)在现代工程系统中能够在系统具备较高复杂度的情况下,有效保障其可靠性和安全性。在机械故障诊断中对于采集到的原始数据的高维特征量的处理较为复杂,并且在实际应用中趋势预测的精度要求较高,针对该问题提出一种基于主成分分析(PCA)与随机森林算法的轴承故障趋势预测方法。该方法利用PCA对提取的原始轴承数据特征量进行线性降维,并选取其中主成分特征量,输出非线性时间序列数据。原始数据经过PCA处理得到非线性时间序列,将该序列作为随机森林算法的输入进行故障趋势预测,并把预测结果与BP神经网络模型预测的结果进行对比,结果表明随机森林在故障趋势预测上在精度相较于BP神经网络有显著提高,是一种有效的故障趋势预测方法。     

基于HOG多特征融合与随机森林的人脸识别

针对人脸识别在复杂环境下识别率低的问题,提出了一种基于梯度直方图(HOG)多特征融合与随机森林的人脸识别方法.该方法通过HOG特征描述子对人脸进行特征提取.首先以网格作为采样窗在整个人脸图上进行整体HOG特征的提取,并将人脸图像分成均匀子块,在包含有人脸关键部分的子块中提取局部HOG特征.然后通过二维主成分分析(2DPCA)和线性判别分析(LDA)对整体和局部特征进行降维,并进行特征层融合形成最终分类特征,最后通过随机森林分类器对其进行分类.FERET人脸库、CAS-PEAL-R1人脸库、真实场景人脸库实验表明,该方法对光照具有鲁棒性,且有较高的识别率和较短的识别时间.     

基于随机森林的缺损杂草种子识别

针对有缺损的杂草种子图像,提出用于有缺损杂草种子图像识别的分类模型,并讨论不同类型的图像特征对识别结果的影响。通过特征提取及使用核主成分分析法降维得到四种图像特征,并将其组合,将不同类型的特征输入至随机森林分类器,得到不同类型特征下的识别结果。实验结果表明,随机森林分类器对图像中的连续噪声具有良好的鲁棒性;源自彩色图像的特征和源自对应灰度图像的特征具有良好的判别能力互补性。     

基于神经网络的非线性PCA方法

由于普通的主元分析（PCA）方法无法提取数据中的非线性相关特性,本文提出了一种基于神经网络的非线性PCA（NIPCA）方法,不仅提取了高维原始数据的线性信息还能提取非线性信息。在此基础上进一步提出了样本中显著误差及劣点的检测方法,从而支持对其进行合理剔除或是修正,仿真试验表明它能有效地减小误差点对网络训练精度的影响,大大增强了算法的鲁棒性。     

基于PCA和SVM算法的人脸识别

人脸识别是计算机视觉和图像模式识别领域的一个重要技术。主成分分析（PCA）是人脸图像特征提取的一个重要算法。而支持向量机（SVM）有适合处理小样本问题、高维数及泛化性能强等多方面的优点。文章将两者结合,先用PCA算法进行人脸图像特征提取,再用SVM进行分类识别。通过基于ORL人脸数据库的计算机仿真实验表明,该方法具有很好的可行性和实际意义。     

基于Spark框架的用于金融信贷风险控制的加权随机森林算法

为解决互联网时代线上贷款业务量庞大带来的困扰,优化快速迭代的数据模型,从线上贷款业务的特点出发,以Spark分布式计算引擎为核心设计并实现了能够并行处理非平衡数据的加权随机森林算法.该算法从特征切分点抽样统计、特征分箱、逐层训练三个角度对加权随机森林算法进行并行化优化.该算法有效提高了随机森林算法的分类准确率,同时有效降低了决策过程中出现的平局现象.对非平衡数据,该文章通过SMOTE算法对数据进行重构,较好的保留了原有数据集信息.实验表明,该算法能够有效提高放贷效率性与及时性,极大的提高了生产力.     

针对不平衡数据的过采样和随机森林改进算法

针对数据不平衡带来的少数类样本识别率低的问题,提出通过加权策略对过采样和随机森林进行改进的算法,从数据预处理和算法两个方面降低数据不平衡对分类器的影响。数据预处理阶段应用合成少数类过采样技术(Synthetic Minority Oversampling Technique,SMOTE)降低数据不平衡度,每个少数类样本根据其相对于剩余样本的欧氏距离分配权重,使每个样本合成不同数量的新样本。算法改进阶段利用Kappa系数评价随机森林中决策树训练后的分类效果,并赋予每棵树相应的权重,使分类能力更好的树在投票阶段有更大的投票权,提高随机森林算法对不平衡数据的整体分类性能。在KEEL数据集上的实验表明,与未改进算法相比,改进后的算法对少数类样本分类准确率和整体样本分类性能有所提升。     

融合分类信息的随机森林特征选择算法及应用

针对传统随机森林随特征数增加计算消耗高的问题,提出了一种随机森林多特征置换算法。该算法对数据特征进行聚类,保持其他特征簇不变,逐一对同簇特征同时随机置换,得到全部特征簇的重要性得分及簇间排序。簇内特征按与分类信息的相关程度排序,引入相关性阈值选出重要特征,对剩余特征按先簇间、再簇内的规则进行排序。为了进一步比较该方法的有效性,基于[K]均值聚类、层次聚类、模糊[C]均值聚类算法,设计了三种随机森林多特征置换的特征选择算法。实验结果表明,与传统随机森林方法相比,新算法可选择较少特征时仍取得较高分类精度,且时间效率更高。     

基于特征约简的随机森林改进算法研究

随机森林(random forest,RF)算法虽应用广泛且分类准确度很高,但在面对特征维度高且不平衡的数据时,算法分类性能被严重削弱。高维数据通常包含大量的无关和冗余的特征,针对这个问题,结合权重排序和递归特征筛选的思想提出了一种改进的随机森林算法RW_RF(ReliefF&wrapper random forest)。首先引用ReliefF算法对数据集的所有特征按正负类分类能力赋予不同的权值,再递归地删除冗余的低权值特征,得到分类性能最佳的特征子集来构造随机森林;同时改进ReliefF的抽样方式,以减轻不平衡数据对分类模型的影响。实验结果显示,在特征数目很多的数据集中,改进算法的各评价指标均高于原算法,证明提出的RW_RF算法有效精简了特征子集,减轻了冗余特征对模型分类精度的影响,同时也证明了改进算法对处理不平衡数据起到了一定的效果。     

基于主成分分析和模糊综合的入侵检测

基于当前多分类器融合的入侵检测系统检测性能、训练时间和检测时间等问题,本文提出了利用主成分分析和模糊综合的入侵检测方法。该方法利用主成分分析在特征提取上的优势,首先利用基于总体协方差的PCA和基于总类内散布矩阵的PCA的两种主成分分析方法提取入侵特征;然后通过KNN分类器给出初步的识别结果,依据两个分类器存在的互补性,将此识别结果采用模糊综合方法进行融合,得出最终识别结果。利用KDDCUP’99的标准入侵检测数据集进行实验,实验结果验证了该方法的有效性。该方法提高了入侵检测的整体性能,降低了训练时间和检测时间。     

基于主元分析的桥梁挠度传感器故障诊断研究

主元分析(PCA)是一种典型的数据降维的多元统计方法,已被越来越多地用于故障诊断。将PCA应用在桥梁挠度传感器故障诊断。介绍了PCA的理论,研究了基于PCA的故障检测方法和基于贡献率的故障诊断方法。计算平方预测误差(SPE)和Hoteling T2统计,当统计量超过阈值时,判断系统出现了传感器故障,然后通过SPE贡献图判断故障源。通过仿真验证了PCA在故障诊断的实用性,但结果也表明:PCA对小故障不是很敏感。     

随机采样的2DPCA人脸识别方法

在2DPCA的基础上提出一种随机采样的2DPCA人脸识别方法--RRS-2DPCA.同传统通过对特征或投影向量进行采样的方法不同的是,RRS-2DPCA(Row Random Sampling 2DPCA)将随机采样建立于图像的行向量集中,然后在行向量子集中执行2DPCA.在ORL、Yale和AR人脸数据集上进行实验,结果表明RRS-2DPCA不仅具很好的识别性能和运算效率,而且对参数具有很大的稳定性.另外针对2DPCA和RRS-2DPCA对光线、遮挡等不鲁棒问题,进一步提出了局部区域随机采样的2DPCA方法LRRS-2DPCA(Local Row Random Sampling 2DPCA),将RRS-2DPCA执行在人脸图像的局部区域中.实验结果表明LRRS-2DPCA不仅具有较好的鲁棒性更大大的提高了RRS-2DPCA的识别性能.     

基于空间变换的随机森林算法

随机森林是机器学习领域中一种常用的分类算法,具有适用范围广且不易过拟合等优点.为了提高随机森林处理多分类问题的能力,提出一种基于空间变换的随机森林算法(space transformation based random forest algorithm, ST-RF).首先,给出一种考虑优先类别的线性判别分析方法(priority class based linear discriminant analysis, PCLDA),利用针对优先类别的投影矩阵对样本进行空间变换,以增强优先类别样本与其他类别样本的区分效果.进而,将PCLDA方法引入随机森林构建过程中,在为每棵决策树随机选择一个优先类别保证随机森林多样性的基础上,利用PCLDA方法创建侧重于不同优先类别的决策树,以提高单棵决策树的分类准确性,从而实现集成模型整体分类性能的有效提升.最后,在10个标准数据集上对ST-RF算法与7种典型随机森林算法进行比较分析,验证所提算法的有效性,并将基于PCLDA的空间变换策略应用到对比算法中,对改进前后的算法性能进行比较分析.实验结果表明：ST-RF算法在处理多分类问题方面具有明显优势,所提出的空间变换策略具有较强的普适性,可以显著提升原算法的分类性能.     

基于PCA和禁忌搜索的网络流量特征选择算法

针对网络流量特征属性选择的寻优和效率问题,提出了一种PCA结合禁忌搜索的网络流量特征选择方法。该方法通过PCA对高维特征属性空间进行特征约减,并利用禁忌搜索得到全局最优特征子集。实验证明,相比流行的遗传算法(GA)和粒子群寻优算法(PSO-SVM),PCA和禁忌搜索方法具有更好的处理效率和特征选择精度。