基于Sas的时间序列缺失值处理方法比较

对于时间序列挖掘过程中的缺失值处理,目前有许多方法.在处理数据变量成一定的相关的数据集时,回归模型不失为较好的插补方法.利用均值插补、一元线性回归、多元线性回归、迭代回归方法对水文时间序列数据集的缺失数据进行处理,比较不同的皮氏相关系数下各方法的优劣及适用性.文中研究表明当数据集中存在与缺值变量相关度较大的变量时,一元线性回归的插补简单直观,且有较高的精度,结果接近真实;当数据集中不存在与缺值变量显著相关的自变量时,一元线性回归的结果变差,多元线性回归与多元迭代回归具有较好的结果.但多元迭代回归迭代次数难以确定,插补代价较大.多元线性回归为最佳选择;当缺值变量与其他自变量相关系数均较小时,回归插补的结果不理想,此时可考虑其他插补方法.     

基于时间序列数据特性的缺失值估计算法

时间序列是在如运动捕捉、传感器网络、气候预报和财经市场预测等应用中的重要分析手段之一,然而在许多现实应用中经常发生观察数据缺失现象,如何应用相应的方法和模型来预测和填补含缺失数据的时间序列是目前研究的热点。以运动捕捉中遮挡问题为例提出了改进方法,利用平滑性和相互关联等时间序列数据特性,发现时间序列数据中的隐藏变量并挖掘它们的动态特性,在此基础上预测和填补时间序列的缺失值。实验结果证明了方法具有较小的数据重构误差,方法的计算时间应随着输入和运动捕捉持续时间增大而缓慢增长。     

过程控制时间序列中异常值的动态检测

针对传统小波异常值检测方法的不足以及控制调节系统在调节阶段采集的震荡数据所具有的特点, 提出了适用于调节系统震荡数据异常检测的自回归模型(auto-regression, AR)与小波相结合的在线异常值检测方法. 该方法通过引入改进的鲁棒AR模型, 克服了传统小波分析方法检测控制过程数据异常值时存在的不足; 为了避免传统异常值检测方法需要事先设定检测阈值的问题, 算法引入隐马尔科夫模型(hidden Markov model, HMM)来分析小波系数, 并在线更新HMM参数, 提高了算法的检测精度. 通过实验与应用证明了本文提出的异常数据检测方法更适合震荡的控制过程数据, 具有一定的实用性.     

基于ARMA模型的联机时间序列数据分割算法

自回归移动平均(ARMA)模型近年来被广泛用于时间序列数据的预测、聚类以及相似性查找等.由于现实中的时间序列数据其底层生成机制与结构经常动态发生变化,因而对跨越较长时期的数据建立一个单一静态的ARMA模型并不合适.本文提出一种联机分割算法,首先对数据建立动态的ARMA模型,然后根据模型的预测信息与历史数据的特征信息,判断是否适合继续使用该模型描述后续数据,或者需要对数据进行分割,从而逐段建立ARMA模型.算法能够处理持续数据流,对仿真数据与实际数据的试验结果表明,本文所提出的算法是实用有效的.     

基于时间序列算法与多层次分布式智能决策支持系统

时间序列分析方法的研究和应用飞速发展,越来越多的工程实际工作者开始研究并应用时间序列分析法.采用了博克思-詹金斯预测方法,主要对随机时间序列预测模型进行详细的研究,对时间序列数据进行分析,从中获取所蕴含的关于生成时间序列的系统的演化规律,以完成对系统的观测及其未来行为的预测,这在工程应用中具有一定的价值和意义.     

基于时间序列分析的SYN Flooding源端检测方法

提出了一种基于时间序列分析从源端对SYN Flooding攻击进行检测的方法。该方法是为了从源端对网络流量进行检测并预测,从而判断是否发生了SYN Flooding攻击,为受害者端及时响应提供依据;利用攻击网络流量的自相似性,采用Bloom Filter提取数据流特征信息,构造网络流量时间序列,建立自回归预报模型;通过动态预测网络流量并与设定的阈值进行比较来对攻击预警,提前作出响应。仿真实验结果表明,该方法能准确地统计出网络中数据包和新源IP数据包的出现次数,具有较好的检测率和较低的误报率,能够较准确地预测出下一时间段甚至几个时间段的网络流量,能为有效防御SYN Flooding攻击提供有力的数据支撑。     

基于小波的非平稳时间序列预测方法研究

基于小波分析技术,将原始非平稳时间序列分解为一层近似系数和多层细节系数,对其分别采用自回归滑动平均模型以及BP神经网络模型,对各层系数进行建模与预测;通过整合各层系数,得到原始时间序列的预测值。运用这种方法对因特网某节点网络流量数据和某地区日最高气温数据进行预测的结果表明,建立在小波分解基础上的这两种方法都能够有效地应用于非平稳时间序列的预测;而小波-BP神经网络的预测方法无论是精度还是计算复杂度方面都要明显优于小波-ARMA方法。     

基于改进的SVMR的混沌时间序列预测

针对标准支持向量机处理大规模数据集会出现训练速度慢、计算量大的缺点,提出了一种基于二叉树模型的支持向量机回归方法。通过二叉树模型将大样本数据集自适应分解成若干个子集,利用支持向量机分段提出支持向量,再把这些支持向量汇合成一个训练样本集进行训练产生决策函数,并将其应用到混沌时间序列的预测。与标准算法相比,该方法在保证泛化精度一致的前提下,极大地加快了训练速度。     

双线性时间序列模型参数估计的最优滤波方法

本文给出了一种用于双线性时间序列模型参数估计的自适应Kalman滤波器,在滤波过程中对误差协方差阵进行监控,使Kalman增益矩阵不趋于零,以保证观测数据对滤波的校正作用,并通过仿真例子将它和递推预报误差估计方法进行了比较。     

时间序列在基于不精确概率场景预测中的应用

场景是对某个系统未来状况的详细描述。运用传统方法构造系统的未来场景集合后,往往难以给出有关这些场景可信度的度量。该文运用不精确概率表示场景集的可信度,进而结合时间序列来校正场景的选择。     

基于SVR的金融时间序列预测

介绍了支持向量回归的建模原理及常用版本,详细探讨了利用支持向量回归方法建立金融时间序列预测模型,进行单步预测和多步预测的步骤。将它们应用到我国上证180指数预测中,并且比较了它们的预测性能。数值实验表明,SVR方法对非平稳的金融时间序列具有良好的建模和泛化能力。特别是LS-SVR用等式约束代替传统支持向量机中不等式约束,使求解过程从解QP问题变成解一组等式方程,因此学习速度更快,并具有更好的预测效果。     

基于深度学习的温度观测数据长时间缺失值插补方法

完整高精度的温度观测数据是农业气象灾害监测、生态系统模拟重要的输入参数.由于野外气象观测条件的限制,气象观测数据缺失现象是常态,数据插补方法是气象数据应用必要处理步骤.本文针对野外小气象观测站站点半小时温度观测数据长时间缺失值问题,结合同一地点较低频次的人工温度观测,构建了新的温度缺失值插补深度学习模型,对缺失的半小时...     

基于SVR的混沌时间序列预测

支持向量机是一种基于统计学习理论的新颖的机器学习方法,由于其出色的学习性能,该技术已成为当前国际机器学习界的研究热点。这种方法已广泛用于解决分类和回归问题。论文介绍了支持向量回归算法的各种版本,同时将它们应用到混沌时间序列预测中,并且比较了它们的预测性能,为实际应用合理选择模型提供一定的依据。     

基于时间序列的模糊支持向量回归

在分析了模糊支持向量回归的基础上,给出了一种基于时间序列分析的模糊支持向量回归方法TS-FSVR,并通过粒子群优化方法对模型中的参数进行了优化。并将该方法成功地应用到城市旅游环境承载力的评估系统中,取得了较好的实验结果。     

带时延的长时间序列线性相关挖掘研究

提出了一个带时延的长时间序列线性相关的挖掘算法Mini-Check。先将时间序列变换为Haar小波系数序列,再利用线性相关系数和欧氏距离系数之间的关系过滤,形成两两序列对的结果集,最后只计算这些序列对之间的Pearson相关系数,来判定序列对是否线性相关。与传统方法相比,算法的效率很高。     

缺失数据处理方法的比较研究

数据挖掘已被广泛用于医疗领域,而大多数医疗数据集都存在缺失值。本文介绍了一些缺失值估计算法。建立了5种模型来提高预测的有效性,它们是保留缺失模型、直接丢弃模型、贝叶斯补缺模型、贝叶斯重叠补缺模型和基于信息增益的贝叶斯重叠补缺模型。这些模型在Clinics数据集上进行了处理和分析。用C4．5决策树和10叠交叉确认法来检验这些模型的性能,结果表明根据信息增益递减顺序排序,用朴素贝叶斯分类器来预测缺失值是有效的。     

基于相关向量回归的非线性时间序列预测方法

针对非线性时间序列预测建模的复杂性和不确定性,提出一种基于相关向量回归的非线性时间序列预测方法。该方法在传统的核函数基础上,融入Bayesian推理框架,得到具有概率特性的预报结果,无须对误差/边界参数进行预估计,具有学习算法简单、易实现的特点。仿真计算表明,该方法能反映非线性时间序列的内在特性,预测结果较好。     

基于重要点的时间序列固定分段数分段算法

基于重要点探测技术的时间序列线性分段算法能较好地保留序列的全局特征和拟合高精确度。传统的基于重要点时间序列分段算法,只能通过误差阈值来控制分段,该方法不能预计分段数量,不能适应后期要求分段数量一定的应用。提出一种基于序列重要点的时间序列固定分段数的分段算法—PLR_FPIP,该方法借用二叉树层次遍历的思路,重新调整原方法的分段次序,使用重要点组成的直线段近似描述时间序列,该方法能够在分段数量一定的情况下对时间序列分段。实验证明,该分段算法能在固定分段数的情况下反映时间序列的主体特征,算法简单快速,整体拟合误差小。