随机森林与支持向量机分类性能比较

随机森林是一种性能优越的分类器。为了使国内学者更深入地了解其性能,通过将其与已在国内得到广泛应用的支持向量机进行数据实验比较,客观地展示其分类性能。实验选取了20个UCI数据集,从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行,得到的结论可为研究者选择和使用分类器提供有价值的参考。     

基于随机森林和支持向量机的快速行人检测算法

提出了一种两步走的策略提高静态图像中的行人检测速率和性能。目前,利用梯度直方图（ HOG）+支持向量机（ SVM）依然是一种精度较高的方法,但一方面它难以训练足够多的样本,另一方面它的检测消耗太大。因此先采取随机森林的分类算法,快速地消除图像中的背景,并得到一定的感兴趣区域,再通过SVM进行检测。通过在INRIA库上的实验证明,该算法能够实现预期的双重效果。     

基于随机森林模型的短时交通流预测方法

短时交通流的准确高效预测对于智能交通系统的应用十分关键,但较强的非线性和噪声干扰使其对模型的灵活性要求较高,并且还需在尽可能短的时间内处理大量的数据。因此,讨论了用随机森林模型对短时交通流进行预测,该模型具有比单棵树更强的泛化能力,参数调节方便,计算高效,且稳定性好。观察交通流数据在较长时间跨度上的变化后,提取出主要特征变量构造输入空间,对模型进行训练后,在测试集上的预测准确率约为94%。与目前广泛使用的支持向量机模型进行对比分析,结果显示随机森林预测不仅准确率稍好于支持向量机,而且在效率、易用性及未来应用的扩展上都要优于支持向量机。     

基于随机森林的跌倒检测算法

针对现有跌倒检测算法由于缺乏真实老人跌倒样本以及使用年轻人仿真跌倒样本规模较小导致的过拟合和适应性不足等问题,提出了基于随机森林的跌倒检测算法.该算法采用滑动窗口机制,对窗口内的加速度数据进行时间域和变换域处理,提取时间域和变换域特征参数后,在所有样本集中进行有放回的Bootstrap随机抽样和属性随机选择,构建多个基于最佳属性分割的支持向量机(SVM)基本分类器.在线跌倒检测阶段,对多个SVM基本分类器的分类结果采用少数服从多数的原则,给出最终判定结果.实验表明,随机森林跌倒检测算法可获得95.2%的准确率、90.6%的敏感度和93.5%的特异性,明显优于基于SVM和反向传播(BP)神经网络跌倒检测算法,反映出随机森林跌倒检测算法能更准确地检测跌倒行为,具有较强的泛化能力和鲁棒性.     

随机森林针对小样本数据类权重设置

随机森林已经被证明是一种高效的分类与特征选择方法。尽管参数的设置对结果影响较小,但合适的参数可以使分类器得到理想的效果。主要针对癌症研究中小样本不均衡数据的分类和特征选择问题,研究了随机森林中类权重的设置。为了比较在不同的类权重下特征选择的效果,同时使用支持向量机（Support Vector Machine,SVM）方法。最终结果显示最优的类权重是不确定的。最后总结出几条规律指导研究者选择合适的权重使分类和特征选择效果得到改善。     

基于随机森林的正例与未标注学习

为使用正例与未标注数据训练分类器(positive and unlabeled learning,PU learning),提出基于随机森林的PU学习算法。对POSC4.5算法进行扩展,在其生成决策树的过程中加入随机特征选择;在训练阶段,使用有放回抽样技术对PU数据集抽样,生成多个不同的PU训练集,并以其训练扩展后的POSC4.5算法,构造多棵决策树;在分类阶段,采用多数投票策略集成各决策树输出。在UCI数据集上的实验结果表明,该算法的分类性能优于偏置支持向量机算法、POS4.5算法和基于装袋技术的POSC4.5算法。     

随机梯度下降优化的量子多分类支持向量机

为改善大规模数据在经典机器学习多分类任务中的计算负担,本文提出了一种基于随机梯度下降优化的量子多分类支持向量机(SGD-MQSVM)算法。通过采用量子随机梯度下降法获得训练参数,并采用全对多分类支持向量机的量子方法进行多分类。算法的时间复杂性可将单次迭代的时间复杂度从经典多项式级降低到对数级。     

基于随机森林的天气场景判别算法

传统的天气状态识别往往利用许多传感器收集数据判别天气状态。然而利用图像进行天气状态识别的研究却少之又少。利用词袋模型和空间金字塔匹配对室外图像的天气状态进行识别,该方法通过分析晴天与阴天两类天气状态对图像的影响,将两类天气状态看成两种场景,对图像提取SIFT(旋转不变描述子)特征,利用词袋模型和空间金字塔匹配得到金字塔特征,然后利用金字塔特征训练分类器进而识别待测样本。在分类器构造方面,利用支持向量机(SVM)构造一级分类器,利用随机森林构造二级分类器,对测试样本经过一级分类器其介于两个支持向量之间的样本输入到二级分类器进行识别。通过对两类天气图像集的一万张图像进行测试,其识别率可以达到82%左右。     

基于数据挖掘任务的分类方法综述

分类是数据挖掘的研究分支,用于发现数据中隐含的模式并实现数据的类别划分,通常将每一个类别称作概念。本文首先介绍数据挖掘现有的应用研究；其次,应用传统机器学习方法及群智能算法,对比分析不同方法的实现；最后,对未来工作进行展望。     

网络入侵检测中属性分组的随机森林算法

入侵检测是数据挖掘的一个重要应用领域,目前基于数据挖掘的入侵检测方法很多,而基于随机森林的方法具有比较好的性能,但仍存在一些问题。通过分析网络入侵数据得到不同输入属性与分类结果的关系,提出了一种基于属性分组的随机森林算法,并应用该算法对KDD’99数据集分类。实验结果表明,该算法的训练速度和分类准确率都比原算法有较大提高。     

基于随机森林的高光谱遥感图像分类

为了充分利用高光谱图像的光谱信息和空间结构信息,提出了一种新的基于随机森林的高光谱遥感图像分类方法,首先,利用主成分分析降低数据的维数,并对主成分进行独立成分分析提取其光谱特征,同时消除像元的空间相关性,再采用形态学分析提取像元的空间结构特征,然后,根据像元的谱域和空域特征分别构造随机森林,并引入空间连续性对像元点的预测结果进行约束修正,最后由投票机制决定最后的分类结果。在AVIRIS和ROSIS高光谱图像上的实验结果表明,所提方法的分类性能要优于传统的高光谱图像分类方法,且分类精度高于基于单一特征的方法。     

融合随机森林模型的布料分层建模

目的 在布料仿真中,针对基于物理方法计算复杂、耗时长、实时性差的缺点,提出了一种融合随机森林模型的布料分层建模方法。方法 采用基于物理的方法计算出各个质点的初始位置,连接各个质点形成最初始水平布料。然后通过使用随机森林模型的回归算法来推断质点在下一水平布料的位置,使用3细分法连接质点,再通过边翻转操作生成稳定的布料网格,重复上述过程直至产生满意的动画效果。结果 在固定共轭梯度法（CG）改进后的隐式积分方法和交替方向乘子法（ADMM）的迭代次数,保证两种传统方法计算的模拟结果具有相似误差的情况下,实验结果表明,当模拟的质点数较少时,融合随机森林模型的布料分层建模方法与两种传统基于物理的模拟方法相比,没有很大的优势,但在模拟足够数量的质点时,融合随机森林模型的布料分层建模方法的模拟速度相比于ADMM算法提高了约26%。结论 采用随机森林模型来进行分层布料模拟,省去了传统基于物理的模拟方法进行的大量数值计算,显著提升了布料模拟的效率,并且在施加外界力、与外界物体发生碰撞的情况下,融合随机森林模型的布料分层建模方法依旧可以产生稳定可靠的模拟动画,是一种高效的布料模拟方法。     

基于RF-SVM的发动机缸体孔组加工质量分级监控

为实时动态监控发动机缸体顶面孔组的加工质量,提出基于随机森林(random forest,RF)和支持向量机(support vector machine,SVM)相结合的工序节点处加工质量分级监控模型。设计在工序间快速获取发动机缸体孔组图像的机器视觉系统,提取单缸孔7个特征参数及3个相邻孔间距;用主成分分析法对特征参数进行降维处理,建立样本集合训练孔组整体加工质量RF分级监控模型及单孔加工质量SVM分级监控模型。应用该模型对某发动机缸体顶面孔组加工质量进行在线监控,结果表明,与决策树模型、RF模型和SVM模型相比,所提模型对孔组整体加工质量分级精度可达97.778%,单孔分级精度可达99.167%,能快速响应发动机缸体制造过程质量反馈控制,可有效解决相关工程实际问题。     

消除随机一致性的支持向量机分类方法

在人类自身的学习过程中,对学习结果进行科学客观的评价与反馈是关键环节.通常,由于学习者的知识缺陷或证据不足使得学习过程存在随机性,进一步可能导致学习结果与实际情况产生随机一致性.对此结果的直接反馈将严重影响学习性能的提升.同样,机器学习是以数据为驱动、以目标为导向的学习系统.由于经验历史数据有限、不平衡、含噪音等特质导致学习结果具有随机一致性.然而,以准确度为反馈准则的机器学习系统无法辨识随机一致性,这会影响学习系统的泛化能力.首先给出随机准确度和纯准确度的定义,并且进一步分析消除随机准确度的意义及必要性.然后,基于纯准确度指标,提出消除随机一致性的支持向量机分类方法PASVM,并在KEEL数据集的10种不同领域的基准测试集上验证其有效性.实验结果表明：相比于SVM、SVMperf以及其他可用于优化纯准确度指标的学习方法,PASVM泛化性能有明显提高.     

基于随机森林算法的用电负荷预测研究

为了解决当下用电负荷预测精度不高,难以很好模拟实际用电负荷的分布情况而不能对未来的负荷数据进行合理预测的问题,实现了基于随机森林的分类模型、回归模型以及结合Weka的时间序列模型,对某省份的负荷数据进行预测,通过对不同模型的大量的实验及评估,发现这三个模型皆能合理地预测未来的用电负荷数据。此外,在同一评估指标下随机森林算法结合WEKA中的时间序列模型的方法能够较好地预测未来时刻的负荷数据。     

A general model for fuzzy decision tree and fuzzy random forest

The problem of risk classification and prediction, an essential research direction, aiming to identify and predict risks for various applications, has been researched in this paper. To identify and predict risks, numerous researchers build models on discovering hidden information of a label (positive credit or negative credit). Fuzzy logic is robust in dealing with ambiguous data and, thus, benefits the problem of classification and prediction. However, the way to apply fuzzy logic optimally depends on the characteristics of the data and the objectives, and it is extraordinarily tricky to find such a way. This paper, therefore, proposes a general membership function model for fuzzy sets (GMFMFS) in the fuzzy decision tree and extend it to the fuzzy random forest method. The proposed methods can be applied to identify and predict the credit risks with almost optimal fuzzy sets. In addition, we analyze the feasibility of our GMFMFS and prove our GMFMFS‐based linear membership function can be extended to a nonlinear membership function without a significant increase in computing complex. Our GMFMFS‐based fuzzy decision tree is tested with a real dataset of US credit, Susy dataset of UCI, and synthetic datasets of big data. The results of experiments further demonstrate the effectiveness and potential of our GMFMFS‐based fuzzy decision tree with linear membership function and nonlinear membership function.     

基于随机森林算法的谷物粉分类及硬件加速

针对传统谷物粉种类检测速度较慢的问题,基于ZYNQ平台实现随机森林算法辅助微波无损检测技术对谷物粉种类进行高效准确识别。通过对随机森林模型硬件实现的分析研究,提出了一种改进模型参数结构,有效节省了硬件存储资源的消耗。为了缩短算法预测时间并降低系统功耗,在硬件实现时引入提前终止识别机制,在保证准确率不变的前提下避免不必要的决策树预测过程。针对Zedboard开发板,设计一种模型参数存储方案,充分利用片上资源保证系统正常工作。实验结果表明,与传统CPU实现随机森林算法相比,该方案在ZYNQ上运行的实测时间缩短约54.2%,同时没有引起识别精度的损失。     

基于特征选择和支持向量机的异常检测方法

针对异常检测系统虚警率高、检测率低以及冗余特征对检测系统造成负担的问题,提出一种基于特征选择和支持向量机相结合的异常检测方法.该方法通过构造一种基于分类模型分类准确率计算的特征选择算法,筛选出能够获得分类准确率最高的特征组合,并与支持向量机分类算法相结合,实现数据的异常检测.仿真测试结果表明,该方法具有较高的检测准确率和较低的检测时间,并通过去除噪声特征,降低了系统的数据处理难度.     

粗SVM 分类方法及其在污水处理过程中的应用

提出一种基于粗糙集理论和支持向量机理论的粗SVM分类方法，该方法采用粗糙集属性约筒方法以减少属性个数，且在属性约筒过程中选出几组合适的属性集组成新的属性集，使模型具有一定的抗信息丢失能力，同时充分利用SVM的良好推广性能，提高了预测分类精度，对城市污水处理厂运行状态的实验结果表明了该方法的优越性。