时间序列数据流预测模型应用研究

时间序列数据流中蕴含了大量潜在信息,可以作为智能决策的依据。研究时间序列数据流的变化趋势,预测其未来一段时间的可能值,能够为当前的决策提供重要的支持。提出用链式可重写窗口技术代替传统的滑动窗口技术,并结合经验模式分解和径向基神经网络建立时间序列数据流在线预测模型——Online_DSPM。实验结果表明,与单一时间序列数据流预测模型相比,该模型具有较高的预测精度和校好的模型适应性。     

基于级数分层滑动窗口的大数据流滞后相关性挖掘方法

针对大数据流序列挖掘过程中,不能快速发现序列滞后相关性的问题,提出一种基于级数分层滑动窗口的大数据流序列滞后相关性挖掘方法。该方法首先对序列按级数递增进行分层,在每层上计算滑动窗口的覆盖能力g;之后再对每层的滑动窗口计算序列的参数值;最后根据各层滑动窗口的参数值,计算序列的滞后相关系数,以此来确定序列的滞后相关性。在序列滞后相关性的求解过程中,通过奈奎斯特抽样定理证明了需要计算大数据流n个序列的log2(n)个点,就能高精度地确定序列的滞后相关性。这大大减少了计算时间,并且序列越多,计算误差越小,效率越高。实验结果表明,该方法可以大幅度地减少运算时间,在保证精度的情况下提高运算效率,尤其对大数据流序列,效果良好,应用前景广阔。     

基于形态特征的数据流聚类方法研究

在聚类过程中为保留数据的重要形态与趋势特征,提出一种基于形态特征的数据流聚类方法。在初始化阶段提取重要特征点表示序列分段,在在线更新阶段使用部分动态时间弯曲方法计算子序列距离,基于动态滑动窗口思想保证多条数据流中数据的同步,在用户触发聚类阶段提出数据流聚类方法。通过对仿真数据和实际股票数据的分析结果表明,在参数设置合理的情况下,该方法可以获得接近0.95的聚类演化精度。     

基于动态特征提取和神经网络的数据流分类研究

为提高数据流分类的精确性和适应性,提出了一种新的数据流分类方法。该方法基于总体最小二乘法对数据流进行分段拟合,并将传统曲线分析算法——滑动窗口(SW)和在线数据分割(OSD)进行结合、改进,以可变滑动窗口算法实现对数据流的合理分割,提高趋势分析精度。在此基础上,对数据流进行动态特征提取和判断,并以神经网络对数据流特征进行模式识别,精确分类,进而对监控对象提供早期预警、状态评估和决策支持。实验结果表明,该方法能对数据流进行有效的动态特征描述,分类效果明显。     

对数据流频繁项集挖掘算法WSW-Imp的改进

近年来随着新的应用的出现,比如网络流量分析、在线事物分析和网络欺诈检测等,对数据流的挖掘成了一个越来越重要的课题。对于数据流频繁项集的挖掘,目前绝大部分的研究都集中在传统的窗口模式下进行,即时间衰退窗口模式、界标窗口模式和滑动窗口模式。Pauray S.M.Tsai于2009年提出了一种新的窗口模式：加权滑动窗口模式,并设计了两个基于此窗口模式的数据流频繁项集挖掘算法WSW和WSW-Imp,其中WSW-Imp是对WSW算法的改进。在研究了加权滑动窗口模式以及WSW-Imp算法的基础上,对WSW-Imp算法作了进一步的改进,设计了算法WSW-Imp2,并从理论上证明了WSW-Imp2算法比WSW-Imp算法更高效,实验结果也表明了这一点。     

基于SBWS_GPR预测模型的不确定性多数据流异常检测方法

针对实际系统中采集的数据流的不确定性,给异常点检测与修正带来了现实挑战。因此,根据滑动基本窗口采样算法(sliding basic windows sampling,SBWB)与高斯过程回归(Gaussian process regression,GPR)模型的特性,提出了基于SBWS_GPR预测模型的不确定性多数据流的异常检测方法。在基于时间序列采集的历史数据集中,引入索引号,对历史数据集进行聚类,分析数据集与索引号的映射关系,将实时获得的输入数据流通过滑动窗口匹配,实现对单数据流的异常点检测与修正。再利用输入、输出数据间的相关性,基于GPR建立预测模型,比较实时观察的输出数据流与预测模型的输出数据流,最终从输入、输出两种不同通道实现多数据流的异常检测与修正。     

基于滑动窗口预测的水文时间序列异常检测

针对水文时间序列分析与决策中存在的数据质量问题,提出了基于滑动窗口预测的水文时间序列异常检测算法。首先基于滑动窗口对时间序列进行子序列分割,再以子序列为基础建立预测模型对未来值进行预测,并将预测值和实测值间差异范围大于预设阈值的序列点判定为异常。探讨了算法中的滑动窗口和参数设置,并以实例数据对算法进行了验证。实验结果表明,所提算法不仅能够有效挖掘出水文时间序列中的异常点,而且将异常检测的灵敏度和特异度分别提高到80%和98%以上。     

挖掘数据流滑动时间窗口内Top-K频繁模式

由于数据流滑动时间窗口中流数据包含模式的支持度是动态变化的,很难给出一个合适的支持度门限来挖掘数据流滑动时间窗口内的频繁模式.在研究数据流滑动时间窗口内流数据变化特点的基础上,论文提出了一种挖掘数据流滑动时间窗口内Top-k频繁模式的方法,该方法能够在保证模式挖掘误差基础上快速删除窗口内不频繁模式信息,保留重要的模式信息,并能按照支持度降序输出Top-k频繁模式.仿真实验结果表明,该算法具有较好的效率和正确性,并优于其它同类算法.     

一种海量实时序列数据指数平滑预测分割算法*

时间序列分割是时间序列挖掘的重要任务之一。实时数据快速变化,数据量巨大,所以如何对实时数据进行快速而准确的分割很具有挑战性。本文提出基于指数平滑预测的滑动时间窗分割算法可以快速有效的分割在线实时数据,该算法基于滑动窗口和平滑指数算法,分析实时数据的统计特性,推导出序列的预测误差和压缩率之间的关系,通过序列预测的误差来判断分割点。加入校验环节提高算法的健壮性。通过本课题所使用的数据集以及公共数据集验证算法结果说明,该算法能够有效地在线检测出实时数据的分割点,并且时间复杂度较低。     

一种数据流趋势分析方法的研究与应用

有效趋势的提取可为监控对象提供早期预警、状态评估和决策支持。传统的曲线趋势分析算法有滑动窗口（SW）算法、外推式在线数据分割（OSD）算法,二者均采用常规最小二乘法进行曲线拟合。与常规最小二乘法相比,总体最小二乘法具有更高的直线拟合精度。此外,针对SW算法的滑动窗口最大长度没有限制,当检测点阈值比较大时,窗口的长度可能很长;而0SD算法限定了最小滑动窗口长度,使得在最小滑动窗口内的突变点无法检测。针对SW算法和OSD算法的缺陷,提出了一种新的数据流趋势分析方法,该方法采用总体最小二乘法对数据流进行分段拟合,提高了趋势分析精度;还提出了可变滑动窗口算法解决SW算法和OSD算法的固定窗口问题,以实现对数据流的合理分割。实验结果表明,有效性较为明显。     

非规则流中高维数据流典型相关性分析并行计算方法

为了满足在计算资源受限的环境下高维数据流处理的实时性要求,提出一种方法——基于GPU(graphic processing unit)的非规则流中高维数据流的处理模型和具体的可行架构,并分析设计了相关的并行算法.该六层模型是将GPU处理数据的高宽带性能结合进滑动窗口中数据流的分析,进而在该框架下基于统一计算设备架构(compute unified device architecture,简称CUDA),使用数据立方模型以及降维约简技术并行分析了多条高维数据流的典型相关性.理论分析和实验结果均表明,该并行处理方法能够在线精确地识别同步滑动窗口模式下高维数据流之间的相关性.相对于纯CPU方法,该方法具有显著的速度优势,很好地满足了高维数据流的实时性需求,可以作为通用的分析方法广泛应用于数据流挖掘领域.     

基于加权移动平均的数据流预测模型*

提出一种新的基于滑动窗口的预测模型。该模型仅存储当前滑动窗口中的数据并对其进行分析,提高了计算效率;同时,为了削减在较小数据集上回归预测所产生的偏差,提出一种基于加权移动平均的数据流预测算法WMA_LRA。实验采用FDS 4.0模拟一个房屋的火灾发生情况,运用WMA_LRA算法对火灾现场的局部温度进行短期预测,结果表明该算法可以有效地提高计算效率和预测精度。     

MARSW:一种高效的基于滑动窗口数据流关联规则挖掘方法

数据流中的关联规则在预测和在线分析系统中有重要应用.现有的研究大多集中在事务数据模型上,鲜有对数据项之间的关联规则挖掘.由于数据的实时性特点,用户又往往对新产生的数据所包含的信息更感兴趣.为了实时而准确地挖掘最近一段时间内数据项间的关联规则,提出了MARSW(mining association rules on sliding window)算法,利用滑动窗口模型对数据流进行关联规则挖掘.MARSW算法在给定的误差范围内,能够有效去除历史数据的影响,并以有限的空间代价快速挖掘大量数据间存在的关联规则.大量仿真实验结果表明,MARSW算法具有较高的效率和优良的可扩展性.     

基于Block-RPLS模型自适应更新的质量预测方法

工业过程包含动态、时变等过程特性.传统的基于PLS方法的质量预测采用的是固定模型,难以实时修正和学习新的过程信息,从而导致建模效率和精度降低,针对该问题提出一种自适应的块式递推偏最小二乘法(Block-RPLS)模型质量预测方法,用于在线调整PLS模型的结构和参数.采用滑动窗方法确定更新的数据块,利用矩阵相似性理论分析窗内数据的结构特性,得到该滑动窗的特征矩阵.同时,引入局部离群因子(LOF)检测滑动窗内离散偏离程度较大的更新数据,通过交叉验证方法修正PLS模型参数自适应学习过程的时变信息.最后,通过数值仿真和青霉素发酵过程的质量预测实验验证所提出方法的有效性.     

一种LS-SVM在线式短时交通流预测方法

针对最小二乘支持向量机用于短时交通流在线预测时存在的计算复杂性问题,结合短交通流观测数据的特点,提出了一种最小二乘支持向量机在线式短时交通流预测算法。通过改进最小二乘支持向量机模型结构风险形式,消除了模型中的偏置项,从而简化了在线学习过程中Lagrange乘子的求解过程,利用训练数据集滑动时间窗口的移动来控制新样本的加入和旧样本的移除,通过线性运算即可求得由训练样本集的更新而引起Lagrange乘子的变化量,进而完成预测模型的在线更新。仿真结果表明,相对于已有算法,所提算法在保证预测精度的条件下,具有更低的计算复杂度,能够将在线模型更新时间平均降低了约62.64%。     

一种数据流上截止期敏感的滑动窗口处理策略

在数据流上定义了截止期作为连续查询的实时约束，并建立了基于截止期的滑动窗口处理模型；提出了一种基于预测的截止期敏感的滑动窗口处理策略；在多滑动窗口查询处理环境中，提出了一种（k,m ）截止期约束机制，在提高查询实时性的前提下，尽可能的满足不同查询对结果丢失率的不同约束。实验结果表明该处理策略能够有效提高数据流上滑动窗口查询的截止期满足率。     

可重写循环滑动窗口：面向高效的在线数据流处理

滑动窗口是在线数据流处理中的重要技术和基础设施。针对当前基于向量模型的滑动窗口存在滑动过程中需要移动过多数据，而导致效率不高的问题，本文提出一种可重写循环的滑动窗口技术。该技术在滑动过程中不移动数据，而是采用重写的方式来完成数据更新，并且它能够与当前滑动窗口无缝集成。理论分析和实验对比表明，该技术有显著的效率提升，能够高效地应用于实际的数据流处理。     

Towards a variable size sliding window model for frequent itemset mining over data streams

Sliding window is a widely used model for data stream mining due to its emphasis on recent data and its bounded memory requirement. The main idea behind a transactional sliding window is to keep a fixed size window over a data stream. The window size is kept constant by removing old transactions from the window, when new transactions arrive. Older transactions of window are removed irrespective to whether a significant change has occurred or not. Another challenge of sliding window model is determining window size. The classic approach for determining the window size is to obtain it from the user. In order to determine the precise size of the window, the user must have prior knowledge about the time and scale of changes within the data stream. However, due to the unpredictable changing nature of data streams, this prior knowledge cannot be easily determined. Moreover, by using a fixed window size during a data stream mining, the performance of this model is degraded in terms of reflecting recent changes. Based on these observations, this study relaxes the notion of window size and proposes a new algorithm named VSW (Variable Size sliding Window frequent itemset mining) which is suitable for observing recent changes in the set of frequent itemsets over data streams. The window size is determined dynamically based on amounts of concept change that occurs within the arriving data stream. The window expands as the concept becomes stable and shrinks when a concept change occurs. In this study, it is shown that if stale transactions are removed from the window after a concept change, updated frequent itemsets always belong to the most recent concept. Experimental evaluations on both synthetic and real data show that our algorithm effectively detects the concept change, adjust the window size, and adapts itself to the new concepts along the data stream.