基于Sas的时间序列缺失值处理方法比较

对于时间序列挖掘过程中的缺失值处理,目前有许多方法。在处理数据变量成一定的相关的数据集时,回归模型不失为较好的插补方法。利用均值插补、一元线性回归、多元线性回归、迭代回归方法对水文时间序列数据集的缺失数据进行处理,比较不同的皮氏相关系数下各方法的优劣及适用性。文中研究表明当数据集中存在与缺值变量相关度较大的变量时,一元线性回归的插补简单直观,且有较高的精度,结果接近真实;当数据集中不存在与缺值变量显著相关的自变量时,一元线性回归的结果变差,多元线性回归与多元迭代回归具有较好的结果,但多元迭代回归迭代次数难以确定,插补代价较大,多元线性回归为最佳选择;当缺值变量与其他自变量相关系数均较小时,回归插补的结果不理想,此时可考虑其他插补方法。     

基于时间序列数据特性的缺失值估计算法

时间序列是在如运动捕捉、传感器网络、气候预报和财经市场预测等应用中的重要分析手段之一,然而在许多现实应用中经常发生观察数据缺失现象,如何应用相应的方法和模型来预测和填补含缺失数据的时间序列是目前研究的热点。以运动捕捉中遮挡问题为例提出了改进方法,利用平滑性和相互关联等时间序列数据特性,发现时间序列数据中的隐藏变量并挖掘它们的动态特性,在此基础上预测和填补时间序列的缺失值。实验结果证明了方法具有较小的数据重构误差,方法的计算时间应随着输入和运动捕捉持续时间增大而缓慢增长。     

过程控制时间序列中异常值的动态检测

针对传统小波异常值检测方法的不足以及控制调节系统在调节阶段采集的震荡数据所具有的特点, 提出了适用于调节系统震荡数据异常检测的自回归模型(auto-regression, AR)与小波相结合的在线异常值检测方法. 该方法通过引入改进的鲁棒AR模型, 克服了传统小波分析方法检测控制过程数据异常值时存在的不足; 为了避免传统异常值检测方法需要事先设定检测阈值的问题, 算法引入隐马尔科夫模型(hidden Markov model, HMM)来分析小波系数, 并在线更新HMM参数, 提高了算法的检测精度. 通过实验与应用证明了本文提出的异常数据检测方法更适合震荡的控制过程数据, 具有一定的实用性.     

基于ARMA模型的联机时间序列数据分割算法

自回归移动平均(ARMA)模型近年来被广泛用于时间序列数据的预测、聚类以及相似性查找等.由于现实中的时间序列数据其底层生成机制与结构经常动态发生变化,因而对跨越较长时期的数据建立一个单一静态的ARMA模型并不合适.本文提出一种联机分割算法,首先对数据建立动态的ARMA模型,然后根据模型的预测信息与历史数据的特征信息,判断是否适合继续使用该模型描述后续数据,或者需要对数据进行分割,从而逐段建立ARMA模型.算法能够处理持续数据流,对仿真数据与实际数据的试验结果表明,本文所提出的算法是实用有效的.     

基于时间序列算法与多层次分布式智能决策支持系统

时间序列分析方法的研究和应用飞速发展,越来越多的工程实际工作者开始研究并应用时间序列分析法.采用了博克思-詹金斯预测方法,主要对随机时间序列预测模型进行详细的研究,对时间序列数据进行分析,从中获取所蕴含的关于生成时间序列的系统的演化规律,以完成对系统的观测及其未来行为的预测,这在工程应用中具有一定的价值和意义.     

基于时间序列分析的SYN Flooding源端检测方法

提出了一种基于时间序列分析从源端对SYN Flooding攻击进行检测的方法。该方法是为了从源端对网络流量进行检测并预测,从而判断是否发生了SYN Flooding攻击,为受害者端及时响应提供依据;利用攻击网络流量的自相似性,采用Bloom Filter提取数据流特征信息,构造网络流量时间序列,建立自回归预报模型;通过动态预测网络流量并与设定的阈值进行比较来对攻击预警,提前作出响应。仿真实验结果表明,该方法能准确地统计出网络中数据包和新源IP数据包的出现次数,具有较好的检测率和较低的误报率,能够较准确地预测出下一时间段甚至几个时间段的网络流量,能为有效防御SYN Flooding攻击提供有力的数据支撑。     

基于小波的非平稳时间序列预测方法研究

基于小波分析技术,将原始非平稳时间序列分解为一层近似系数和多层细节系数,对其分别采用自回归滑动平均模型以及BP神经网络模型,对各层系数进行建模与预测;通过整合各层系数,得到原始时间序列的预测值。运用这种方法对因特网某节点网络流量数据和某地区日最高气温数据进行预测的结果表明,建立在小波分解基础上的这两种方法都能够有效地应用于非平稳时间序列的预测;而小波-BP神经网络的预测方法无论是精度还是计算复杂度方面都要明显优于小波-ARMA方法。     

基于改进的SVMR的混沌时间序列预测

针对标准支持向量机处理大规模数据集会出现训练速度慢、计算量大的缺点,提出了一种基于二叉树模型的支持向量机回归方法。通过二叉树模型将大样本数据集自适应分解成若干个子集,利用支持向量机分段提出支持向量,再把这些支持向量汇合成一个训练样本集进行训练产生决策函数,并将其应用到混沌时间序列的预测。与标准算法相比,该方法在保证泛化精度一致的前提下,极大地加快了训练速度。     

双线性时间序列模型参数估计的最优滤波方法

本文给出了一种用于双线性时间序列模型参数估计的自适应Kalman滤波器,在滤波过程中对误差协方差阵进行监控,使Kalman增益矩阵不趋于零,以保证观测数据对滤波的校正作用,并通过仿真例子将它和递推预报误差估计方法进行了比较。     

缺失数据处理方法的比较研究

数据挖掘已被广泛用于医疗领域,而大多数医疗数据集都存在缺失值。本文介绍了一些缺失值估计算法。建立了5种模型来提高预测的有效性,它们是保留缺失模型、直接丢弃模型、贝叶斯补缺模型、贝叶斯重叠补缺模型和基于信息增益的贝叶斯重叠补缺模型。这些模型在Clinics数据集上进行了处理和分析。用C4．5决策树和10叠交叉确认法来检验这些模型的性能,结果表明根据信息增益递减顺序排序,用朴素贝叶斯分类器来预测缺失值是有效的。     

缺失数据处理方法的比较研究

由于数据挖掘技术日益广泛地应用于各个领域,而大多数领域中数据都存在缺失值,因此基于缺失数据的数据挖掘方法的研究具有重要意义.利用直接删除、特殊值填充、平均值填充、Robust方法4种处理缺失值的方法建立4个缺失值处理模型以及相应的朴素贝叶斯分类器模型.通过在5个实际数据集上进行实验比较,并采用五重交叉验证来检验这些模型的性能.结果表明,用这些模型处理缺失值构建的朴素贝叶斯分类器是有效的.     

基于傅里叶变换和kNNI的周期性时序数据缺失值补全算法

在机器学习和数据挖掘过程中,数据缺失现象经常发生。对缺失值的有效补全是数据预处理的重要组成部分,也是后续分析挖掘工作的基础。最近邻填充算法(kNNI)因其易于实现、计算方便和局部填充效果好等特性而被广泛应用。但是,它并不涉及全局信息,因而当大段缺失值发生时,补全效果会有所降低,而对于具有周期成分的时序数据,其效果更是急剧下降。幸运的是,傅里叶变换能够解析出周期数据中的不同周期成分,并能在此基础上通过逆变换基本实现数据复原,只不过其局部复原能力较弱。因此,本文结合傅里叶变换对周期性数据的全局复原能力和kNNI对局部数据的补全能力,提出了基于傅里叶变换的kNNI缺失值补全算法(FkNNI)。通过对大量模拟数据的测试结果表明,该算法比单纯的kNNI算法的缺失值补全准确性有很大提升。     

电力量测数据缺失补齐方法研究与实践

针对电力系统中出现的电力量测数据缺失的问题,本文采用统计方法、插值方法和机器学习方法进行了研究和实践。首先,本文分析了电力量测数据缺失的原因,重点探讨了量测数据在采集、传输、存储以及其他环节对数据缺失的影响。接着,本文详细介绍和分析了三种量测数据缺失补齐方法,并对不同方法进行了实验评估,包括相关系数评价、拟合优度评价和平均绝对误差占比评价等多种评价方法。实验结果表明,机器学习方法在量测数据缺失补齐精度和效果方面优于其他两种方法,表现出更好的效果。最后,本文对研究结果进行了总结和展望,指出机器学习方法在电力量测数据缺失补齐中的应用前景,本文的研究成果可为电力系统中量测数据缺失处理提供一定的参考价值。     

数据挖掘中基于ICA的缺失数据值的估计

本文简单介绍了数据挖掘中缺失数据的研究现状及ICA的特点与发展前景,提出了基于ICA的缺失数据估计模型——ICA-MDH模型。该模型研究了数据之间存在相关关系且为非高斯分布时缺失数据的处理方法,该方法能充分利用已知数据记录中的已知信息,且具有较好的通用性。实验通过对一些不完整经济数据进行了处理。结果表明,本文提出的缺失数据估计方法的精度明显优于平均值法和PCAs法,从而验证了本文所提模型的正确性与合理性。     

基于JDBC数据库时间获取方法

JDBC API是JAVA访问关系数据库的编程接口,但各个数据库开发商对接口的实现并不完全相同,本文研究并测试了不同数据库及其JDBC驱动程序在不同时区获取数据库时间的情况;对在不同时区不能正确读、写数据库时间的数据库及其JDBC驱动,提出了调整算法,使用调整算法进行调整后,都得到正确的结果。     

基于深度学习的温度观测数据长时间缺失值插补方法

完整高精度的温度观测数据是农业气象灾害监测、生态系统模拟重要的输入参数.由于野外气象观测条件的限制,气象观测数据缺失现象是常态,数据插补方法是气象数据应用必要处理步骤.本文针对野外小气象观测站站点半小时温度观测数据长时间缺失值问题,结合同一地点较低频次的人工温度观测,构建了新的温度缺失值插补深度学习模型,对缺失的半小时...     

基于硬件时间戳的时间比较系统

为了满足不同情况下时钟同步对于时间比较的需求,研制了一套基于硬件时间戳的时间比较系统,对该系统的工作原理和设计方法进行了分析和研究,并在实际应用中测量统计了该系统的比较精度。结果表明:该系统可以实现时间比较并达到数十纳秒级的比较精度。基于硬件时间戳的比较技术可以广泛应用于对时检测和时间同步平滑调整,帮助提高时间同步的精度和平滑度。     

模糊RBF神经网络在时间序列建模中的应用

本文针对时间序列传统ＡＲ建模精度及算法的局限性,提出使用模糊ＲＢＦ神经网络对信号进行建模的方法,仿真结果表明,该方法具有良好的预测效果。