基于SVM的大样本数据回归预测改进算法

针对支持向量机回归预测精度与训练样本尺寸不成正比的问题,结合支持向量机分类与回归算法,提出一种大样本数据分类回归预测改进算法。设计训练样本尺寸寻优算法,根据先验知识对样本数据进行人为分类,训练分类模型,基于支持向量机得到各类别样本的回归预测模型,并对数据进行预测。使用上证指数的数据进行实验,结果表明,支持向量机先分类再回归算法预测得到的均方误差达到12.4,低于人工神经网络预测得到的47.8,更远低于支持向量机直接回归预测得到的436.9,验证了该方法的有效性和可行性。     

Logistic回归与决策树分类效能的ROC曲线比较

文章研究了分别利用统计学方法和数据挖掘方法,对数据进行分类和预测,具体考察了Logistic回归和决策树的分类效能,并通过ROC曲线进行检验。结果表明:两种分类方法各有利弊,没有明显的孰优孰劣,对预测变量可以进行有效的交叉验证。     

聚类再回归方法在机场噪声时间序列预测中的应用

对于机场噪声的预测,针对绘制等值线方法预测成本高和误差较大的缺点,以及分类再回归 方法中分类时缺乏可指导性标准的问题,本文提出了基于支持向量机的先聚类、再回归的时间序列的预测方法。对机场噪声时间序列的先聚类再回归方法,采用常用k均值划分算法,利用聚类特点,将样本限定在同一类的范围内,再对同类样本进行回归预测。Housing及Laser generated data数据集上的实验表明,采用先聚类再回归方法得到的拟合值比直接回归方法得到的拟合值要精确。将该方法应用到北京某机场实测数据中,并与其他预测模型进行对比,准确度明显优于其他预测方法。     

基于小波核LS—SVM的网络流量预测

网络流量预测对大规模网络管理、规划、设计具有重要意义。支持向量机方法是近年来发展起来的新型机器学习算法,用于解决高度非线性分类及回归问题。介绍了基于小波核最小二乘支持向量机的网络流量预测方法,利用小波核函数的多分辨特性提高了支持向量机的非线性建模能力。通过对实测网络流量数据的学习,对未来网络流量进行预测。实验结果表明,取得了较好的预测效果。     

非线性支持向量回归在航空发动机性能参数预测中的应用

基于飞参数据的航空发动机的状态监控,是当前航空领域应用研究的热点之一。介绍了支持向量机回归理论,并用支持向量回归机和飞参数据对航空发动机特征参数（转差率S）进行了预测。计算结果表明,支持向量机回归方法具有很好的学习能力和预测能力。     

基于小波核LS-SVM的网络流量预测

网络流量预测对大规模网络管理、规划、设计具有重要意义.支持向量机方法是近年来发展起来的新型机器学习算法,用于解决高度非线性分类及回归问题.介绍了基于小波核最小二乘支持向量机的网络流量预测方法,利用小波核函数的多分辨特性提高了支持向量机的非线性建模能力.通过对实测网络流量数据的学习,对未来网络流量进行预测.实验结果表明,取得了较好的预测效果.     

基于回归树的支持向量机规则提取及应用

支持向量机（SVM）因为核函数应用内积运算造成了模型较强的“黑箱性”。目前SVM的“黑箱性”研究主要采用规则提取方法解决分类问题,而回归问题鲜有提及。针对回归问题,尝试性提出基于回归树算法的SVM回归规则提取方法,算法充分利用支持向量的特殊性以及回归树的优势,建立支持向量的决策树模型,成功提取出决策能力高,包含变量少,计算量小且容易读取的规则。通过标准数据集Auto MPG和实际的煤制甲醇生产数据集进行了验证,与其他算法对比分析结果表明,所提取的回归规则在训练精度和预测精度等方面都有一定程度的提高。     

影响ETM影像土地利用/覆盖分类精度因素的研究

训练样本量、辅助数据和分类法是影响土地利用/覆盖分类精度的3个主要因素,通过找到这3个因素的最佳组合方式以提高分类精度,分别在25%、50%、75%、100%样本量下,加入NDVI、DEM和纹理均值特征作为辅助数据,比较了分类回归树、支持向量机、最大似然法3种分类法的效果,探讨了训练样本、辅助数据以及分类技术对土地利用/覆盖分类精度的影响。结果表明：支持向量机总体分类精度较高,在相同样本量和没有有效辅助数据的情况下,SVM可以获得最佳的分类结果,总体分类精度在85%以上;在进行分类时,加入NDVI和纹理均值特征使分类回归树分类精度提高了2.82%,说明该方法对有效辅助数据的加入较为敏感;在获取的训练样本集有限而可获取有效的辅助数据时,应优先考虑利用分类回归树进行土地利用/覆盖分类。     

基于最小二乘支持向量回归的水质预测

水质系统是一个开放的、复杂的、非线性动力学系统,具有时变复杂性,针对水质预测方法的研究虽然已经取得了一些成果,但也存在预测精度与计算复杂度等难题。为此,本文提出一种基于最小二乘支持向量回归的水质预测算法。支持向量机是机器学习中一种常用的分类模型,通过核函数将非线性数据从低维映射到高维空间,在高维空间实现线性分类和回归,最小二乘支持向量回归（LS-SVR）利用所有的样本参与回归拟合,使得回归的损失函数不再只与小部分支持向量样本有关,而是由所有样本参与学习修正误差,提高预测精度;同时该算法将标准SVR求解问题由不等式的约束条件及凸二次规划问题转化成线性方程组来求解,提高了运算速度,解决了非线性复杂特性的水质预测问题。     

行程时间预测方法研究

行程时间预测,有助于实施高级旅行者信息系统.自20世纪90年代起,已经有多种行程时间预测方法被研发出来.将行程时间预测方法分为模型驱动方法和数据驱动方法两大类.介绍了两种常见的模型驱动方法,即排队论模型和细胞传输模型.数据驱动方法被分类为参数方法和非参数方法：参数方法包括线性回归、自回归集成移动平均和卡尔曼滤波,非参数方法包括神经网络、支持向量回归、最近邻和集成学习方法.对现有行程时间预测方法从源数据、预测范围、准确率、优缺点和适用范围等方面进行了分析总结.针对现有方法的一些缺点,提出了可能的解决方案.给出了一种新颖的数据预处理框架和一个行程时间预测模型,最后指出了未来的研究方向.     

基于谱回归特征降维的客户流失预测

针对于大样本数据的客户流失预测,从特征有效表达的角度,提出了一种基于谱回归特征约简的预测模型.模型在原始客户特征基础上,利用基于谱回归的流形降维,建立可区分性的低维特征空间,在此之上采用支持向量机实现客户流失的二分类.通过在网络客户和传统电信客户两种不同数据集上的大样本实验,并与不同分类器、不同特征约简或选择方法的对比,证明了该方法的有效性.     

基于多元线性回归的锂动力电池荷电状态鲁棒预测

目前广泛使用的锂电池荷电状态(state-of-charge, SOC)预测方法的训练数据需要通过大量的仿真实验获取,而电动汽车在充电过程中产生的大量的充电记录数据并没有得到合理利用。为了能有效利用这些充电记录数据,将多元线性回归算法应用到SOC预测中。多元线性回归方法将电压、电流、电容等物理量作为与SOC直接相关的输入变量从而对SOC进行回归预测。由于SOC的时序特征,将SOC预测分为多个子预测过程,不断迭代计算,循环预测SOC的下一时刻输出值。同时为了克服异常样本对SOC预测精度的影响,采用两种常见的鲁棒回归算法(Theil-sen算法与RANSAC算法)来进行SOC预测。实验结果表明,鲁棒回归算法及多元线性回归算法能够很好地捕捉到SOC的增长规律,相比之下,Theil-sen算法精度更高,误差约1.398%,能够很好地满足SOC预测的实际需求。     

基于非线性降维多项式逻辑斯蒂回归的图像/非图像数据的分类与识别

在面向大规模复杂数据的模式分类和识别问题中,绝大多数的分类器都遇到了维数灾难这一棘手的问题.在进行高维数据分类之前,基于监督流形学习的非线性降维方法可提供一种有效的解决方法.利用多项式逻辑斯蒂回归方法进行分类预测,并结合基于非线性降维的非监督流形学习方法解决图像以及非图像数据的分类问题,因而形成了一种新的分类识别方法.大量的实验测试和比较分析验证了本文所提方法的优越性.     

基于交互式逐步回归的双语教学态度预测模型

针对多元线性回归分析法预测双语教学态度误差较大的问题,通过引入变量的平方项及交叉乘积项建立拟线性回归方程,利用交互式逐步回归分析法对变量进行筛选,并以筛选后的变量建模。将调查数据分为建模样本数据和测试样本数据,测试结果表明经过变量扩维及筛选所建立的预测模型精确度有较大提高,为语言学研究提供了一种新方法,值得推扩和借鉴。     

An approach to online reliability evaluation and prediction of mechanical transmission components

New development trends in electronic operating data logging systems enable classification, recording and storage of load spectrums of mechanical transmission components during usage. Based on this fact, the application of online reliability evaluation and reliability prediction procedures are presented. Different methods are considered to calculate reliability, depending on actual load spectrum and a Wohler curve. The prediction of a reliability trend is analyzed by the application of time series models. For this purpose, exponential smoothing model, regression model, and the ARIMA model are considered to evaluate data and predict an decreasing reliability trends during usage.     

Multiple linear regression and artificial neural networks based on principal components to predict ozone concentrations

The prediction of tropospheric ozone concentrations is very important due to the negative impacts of ozone on human health, climate and vegetation. The development of models to predict ozone concentrations is thus very useful because it can provide early warnings to the population and also reduce the number of measuring sites. The aim of this study was to predict next day hourly ozone concentrations through a new methodology based on feedforward artificial neural networks using principal components as inputs. The developed model was compared with multiple linear regression, feedforward artificial neural networks based on the original data and also with principal component regression. Results showed that the use of principal components as inputs improved both models prediction by reducing their complexity and eliminating data collinearity.     

Instance selection for regression by discretization

An important step in building expert and intelligent systems is to obtain the knowledge that they will use. This knowledge can be obtained from experts or, nowadays more often, from machine learning processes applied to large volumes of data. However, for some of these learning processes, if the volume of data is large, the knowledge extraction phase is very slow (or even impossible). Moreover, often the origin of the data sets used for learning are measure processes in which the collected data can contain errors, so the presence of noise in the data is inevitable. It is in such environments where an initial step of noise filtering and reduction of data set size plays a fundamental role. For both tasks, instance selection emerges as a possible solution that has proved to be useful in various fields. In this paper we focus mainly on instance selection for noise removal. In addition, in contrast to most of the existing methods, which applied instance selection to classification tasks (discrete prediction), the proposed approach is used to obtain instance selection methods for regression tasks (prediction of continuous values). The different nature of the value to predict poses an extra difficulty that explains the low number of articles on the subject of instance selection for regression.More specifically the idea used in this article to adapt to regression problems “classic” instance-selection algorithms for classification is as simple as the discretization of the numerical output variable. In the experimentation, the proposed method is compared with much more sophisticated methods, specifically designed for regression, and shows to be very competitive.The main contributions of the paper include: (i) a simple way to adapt to regression instance selection algorithms for classification, (ii) the use of this approach to adapt a popular noise filter called ENN (edited nearest neighbor), and (iii) the comparison of this noise filter against two other specifically designed for regression, showing to be very competitive despite its simplicity.     

微博用户的个性分类分析

社交网络给每个社会中的人提供了自由表达个人情感、观点、兴趣、建议等言论的平台。用户在这些平台上发表的言论、所做的行为以及用户在平台上建立的社交圈子也给数据挖掘带来了新的数据和机会。提出了一种利用用户在微博上的公开数据信息实现对该用户的MBTI个性维度进行分类分析的方法。在该方法中,基于对用户微博数据的分析,提出了能够表征用户心理和行为的文本和非文本特征,然后采用三种机器学习的分类方法—提升决策树、支持向量机和贝叶斯逻辑递归来对微博用户的个性进行分类分析。实验结果表明,通过对微博数据的挖掘可以在不同MBTI个性维度上达到75%~90%的准确率。