一种海量实时序列数据指数平滑预测分割算法*

时间序列分割是时间序列挖掘的重要任务之一。实时数据快速变化,数据量巨大,所以如何对实时数据进行快速而准确的分割很具有挑战性。本文提出基于指数平滑预测的滑动时间窗分割算法可以快速有效的分割在线实时数据,该算法基于滑动窗口和平滑指数算法,分析实时数据的统计特性,推导出序列的预测误差和压缩率之间的关系,通过序列预测的误差来判断分割点。加入校验环节提高算法的健壮性。通过本课题所使用的数据集以及公共数据集验证算法结果说明,该算法能够有效地在线检测出实时数据的分割点,并且时间复杂度较低。     

基于小波分析的时间序列数据挖掘模型

论文提出一个基于小波分析的时间序列挖掘模型TSMiner,它支持时间序列数据挖掘的整个过程。该模型由5部分组成:原始数据的可视化、数据预处理、数据约简,模式发现和结果模式可视化。该模型应用小波实现数据的多层次可视化表示、数据约简和多尺度模式发现。它可以帮助用户观察高维数据,理解中间结果和解释发现的模式。     

时间序列数据趋势转折点提取算法

时间序列数据蕴含趋势信息,可以根据数据的趋势信息提取趋势转折点,达到压缩数据、减少噪声影响的目的。通过分析时间序列数据的趋势信息,提出自适应数据趋势转折点提取算法。该算法不依赖任何先验知识,根据数据本身的趋势特征自动提取趋势转折点,提取信息包括坐标索引和对应数据。UCR时间序列分类数据集与SEEP、CAP和PAA等算法进行对比的实验结果表明,在多种数据情况下,该算法拟合误差和分类错误率更小,平均拟合误差为0.373 6,分类错误率同原始数据的分类错误率相比减少3.39%。     

基于LDA符号表示的时间序列分类算法

近年来,基于符号表示的时间序列分类方法受到广泛关注,大部分现有方法对原始数据进行符号表示时,没有使用类别的标签信息。提出基于线性判别分析(LDA)的时间序列符号表示方法,考虑最大化类间区分度,使用LDA对原始数据集进行维数约减。再利用信息增益寻找降维后数据的符号投影区间,采用多重系数分箱(MCB)技术将维数约简后数据表示成符号序列。该方法在20个时间序列数据集上的分类效果好于已有方法,有监督的符号表示方法能有效提高分类性能。     

基于MCC的自适应混沌序列预测算法仿真

针对基于LMS的自适应预测算法对具有时变特性的时间序列预测在鲁棒性等方面存在缺陷,而使用最大广义相关熵准则以衡量输入输出的相似度,它含有误差分布的高阶统计量,对数据处理具有一定的鲁棒性,提出了一种基于MCC的混沌时间序列自适应预测算法,考虑到LMS算法和MCC准则的优势,将输入序列和权值向量分成两组,分别用LMS和MCC进行迭代训练,得到组合的新自适应预测算法.仿真结果表明,组合自适应预测算法在预测精度和鲁棒性方面都要优于基于LMS或基于MCC的预测算法.     

基于广义计算的时间序列数据挖掘算法

首先介绍了广义计算和时间序列数据挖掘，然后提出一种基于广义计算的时间序列数据挖掘算法。该算法由灰色回归与神经网络结合而成，通过累加生成降低原始数据的波动幅度，以取得较好的拟合效果，再利用神经网络来完成数据的还原过程。该模型在对浙江省可持续发展指标的预测中，取得了满意的效果。     

一种支持时间序列数据的CBR检索算法

探讨了如何为CBR（基于范例的推理）增加对一种特殊的范例类型——时间序列数据的支持．分析了基于谱分析的时间序列相似度比较算法不适用于CBR检索的缺点，并在此基础上设计了一种综合性能很好的CBR检索算法．思路是把时间序列相似度比较转化成一个卷积问题，并用DFT来简化这个卷积的计算．通过对这种CBR检索算法进行了深入的理论分析和认真的实验，结果证明，提出的算法是一个高效的算法．在这个检索算法的基础上，CBR就能够席用到时序数据的分析推理中，具有广阔的应用前景．     

一种时间序列相似匹配新算法

为提高时间序列相似匹配的精度和效率，提出一种基于小波包变换的时间序列相似匹配算法．首先利用小波包可对信号进行精细分析的特点，对时间序列进行维数约简，用变换后的低频系数和部分高频均值系数作为特征向量表示原始序列；然后用多维索引结构R树存储这些特征向量，将欧几里德距离作为相似尺度，在此基础上实现了范围查询和k近邻查询，对电力负荷时间序列数据的仿真实验结果表明了算法的有效性。     

基于 FCM 的时间序列论域划分方法

随着社会的发展,人们对于数据预测的需求日益增加,模糊时间序列因其能够处理时间序列中含糊不清的数据而备受关注。从提高模型的预测精度角度来看,论域划分作为时间序列数据预测的第一步,作用至关重要。本文提出一种基于FCM的二次论域划分方法。该方法首先根据FCM聚类算法得到的聚类中心对论域进行一次划分,然后根据样本点空间分布的疏密程度不同对论域进行二次细化,实现不等分论域,最后通过对经典样本的预测证明方法的可行性。     

基于Holt-Winters的时间序列预测在大数据监控系统中的分析与应用

针对大数据监控系统对时间序列预测准确性和实时性的需求,以及大数据监控系统中时间序列呈现趋势性和季节性变化的特点,选择Holt-Winters算法建立时间序列预测模型。首先介绍时间序列的概念和特点,然后分析Holt-Winters算法的原理以及预测条件。选取合适的平滑系数是影响Holt-Winters算法预测准确性的关键,结合L-BFGS算法在不同时间区间求最优解,实现动态平滑系数的选取。最后以用户2天的页面访问量作为实验数据,通过相对误差指标的比较分析,验证该算法能满足大数据监控系统对时间序列预测的需求,具有较好的实际应用效果。     

面向噪声数据的时间序列相似性搜索研究

为了减少噪声数据对查询最优序列的影响,避免Euclidean距离对形态的敏感性,以及要求序列等长的缺点,提出了面向噪声数据的时间序列相似性搜索算法.运用SPC方法去除序列中的噪声数据;采用DTW距离作为度量函数,使用规范化方法使序列处于相同的分辨率下;采用LB_ Keogh下界函数对候选序列集合进行筛选.仿真实验结果表明,该算法在阈值较小时,对含有噪声数据序列的匹配能力较强.     

时域和酉空间中基于最大相关熵准则的非线性噪声处理

针对非线性噪声处理的问题,考虑到信号的高阶统计量以及在酉空间可以很好地处理非高斯噪声,提出了在时域和酉空间中基于最大相关熵准则（MCC）的噪声处理算法。结合MCC和梯度下降算法,设计出了时域中非线性噪声的滤波算法。同时将该算法推广到酉空间中噪声处理,给出了酉空间中基于MCC的滤波算法。通过仿真研究发现,在时域和酉空间中,基于MCC的滤波算法相对于传统的基于最小均方差（LMS）的滤波算法在处理非高斯噪声的问题时有着显著优势,以更快的收敛速度达到能够较完整地保留信号特征的效果。     

基于EMD与K-means算法的时间序列聚类

有效实现时间序列聚类的重要前提是序列的维数得到约简,序列中包含的噪声能够被滤除.文中提出一种能够对时间序列进行有效预处理的方法.该方法先通过经验模态分解实现时间序列趋势的提取,再利用自底向上算法对趋势序列进行分段,最后转换成由{-1,0,1}构成的齐序列.为了证明该方法既能实现降维,也可实现数据序列中噪声的滤除,文中利用K-means算法对经过上述方法预处理后的序列进行聚类.实验结果表明,与直接对原序列进行聚类相比,对预处理后的数据序列进行聚类,空间复杂度较低、准确性较高.     

基于熵的自适应门限小波去噪股市价格预测

本文针对传统软阈值法小波去噪采用统一门限而引起的过平滑问题,根据熵的特性,在各层自适应调整去噪门限,提出一种改进的小波去噪算法,采用Hurst指数和盒维数作为判决准则抑制过平滑。最后将算法应用于股市价格时间序列去噪,并用BP神经网络对去噪后的深发展A近20年的收盘价格进行了分段预测。仿真表明,本文方法与传统方法相比,误差明显减小,预测结果更为理想。     

Stock linkage prediction based on optimized LSTM model

Stock linkage refers to the correlation or similar performance of two or more stocks in the stock market. The quantification of stock linkage relationship is the trend and difficulty of research in recent years. The study of stock linkage can dig out the potential relationship between stocks at a deeper level. At present, the existing research often only studies the linkage phenomenon from the perspective of the correlation or similarity of stock movement, and there is no unified and standard numerical index to effectively describe the degree of linkage phenomenon, which greatly hinders the progress of research. Aiming at the problem that it is difficult to quantify the phenomenon of stock linkage, we analyze the correlation and morphological similarity of time series, and propose the combination of correlation coefficient and time weighted distance as the numerical expression of stock linkage for the first time, so as to realize the quantification of stock linkage. In addition, the parallel network structure of LSTM model is designed, and the automatic noise reduction encoder and wavelet transform module are added as the noise reduction processing layer, which effectively improves the prediction performance of LSTM model for stock market linkage numerical time series. Three different types of comparative experiments based on 2.309 million stock market sequences show that the proposed optimized LSTM model has more accurate prediction effect, and its RMSE error is 18.68% lower than the compared DB-LSTM model and 46.38% lower than SDAE-LSTM model.

     

小波与双边滤波的医学超声图像去噪

目的：医学超声图像中的斑点噪声降低了图像质量并且限制了超声图像自动化诊断技术的发展。针对斑点噪声问题,提出了一种新型的基于小波和双边滤波的去噪算法。方法：首先,根据医学超声图像在小波域内的统计特性,在通用小波阈值函数的基础之上,改进了小波阈值函数。其次,将无噪信号的小波系数和斑点噪声的小波系数分别建模为广义拉普拉斯分布模型和高斯分布模型,利用贝叶斯最大后验估计方法得到了新型的小波收缩算法,利用小波阈值法对小波域内的高频信号分量进行去噪。最后,对小波域内的低频信号分量进行双边滤波处理,然后利用小波逆变换便得到去噪后的图像。结果：在仿真实验中,通过与其它7种去噪算法作对比,观察峰值信噪比(PSNR)等图像质量评价指标,结果表明本文算法的去噪效果优于其他相关算法。临床超声图像的实验结果进一步验证了本文算法的去噪性能。结论：本文提出了一种新型的去噪算法,实验表明本文算法能够很好地抑制斑点噪声,并且能保留图像病灶边缘等细节。     

使用霍夫变换的3维点云拼合算法

目的 直接基于点云数据本身的拼合算法对点云模型的位置和重叠度有着较高的要求。为了克服这种缺陷,提出一种针对散乱点云的分步拼合算法。方法 不同于大多数已有的基于曲率信息的拼合算法,本文算法包含了一个序贯式的匹配点对筛选过程和一个基于霍夫变换的坐标变换参数估计过程。在筛选过程中,首先利用曲率相似度确定点云数据之间的初始匹配关系,然后利用刚体不变量特征邻域标识相似度以及持续特征直方图相似度对初始匹配点对进行连续两次筛选以便得到更为精确的匹配点对集。在参数估计阶段,通过对匹配点对的旋转矩阵和平移矢量的参数化处理,利用霍夫变换消除错误匹配点对对坐标变换参数估计的影响,从而得到更加准确的坐标变换参数,实现点云的3维拼合。结果 利用本文算法对两片部分重叠的点云数据进行了拼接实验。实验结果表明,本文算法能很好地实现对部分重叠点云的拼合。由于霍夫变换的引入,本文算法相较于经典的Ransac算法具有更高的正确率、稳定性以及抗噪性,在运行速度上也具有一定的优越性。结论 本文算法不仅能适用于任何具有任意初始相对位置的部分重叠点云的拼接,而且可以取得很高的拼合精度和很好的噪声鲁棒性。     

基于层次密度聚类的去噪自适应混合采样

针对非平衡数据存在的类内不平衡、噪声、生成样本覆盖面小等问题, 提出了基于层次密度聚类的去噪自适应混合采样算法(adaptive denoising hybrid sampling algorithm based on hierarchical density clustering, ADHSBHD). 首先引入HDBSCAN聚类算法, 将少数类和多数类分别聚类, 将全局离群点和局部离群点的交集视为噪声集, 在剔除噪声样本之后对原数据集进行处理, 其次, 根据少数类样本中每簇的平均距离, 采用覆盖面更广的采样方法自适应合成新样本, 最后删除一部分多数类样本集中的对分类贡献小的点, 使数据集均衡. ADHSBHD算法在7个真实数据集上进行评估, 结果证明了其有效性.     

Noise Reduction Algorithms in a Generalized Transform Domain

Noise reduction for speech applications is often formulated as a digital filtering problem, where the clean speech estimate is obtained by passing the noisy speech through a linear filter/transform. With such a formulation, the core issue of noise reduction becomes how to design an optimal filter (based on the statistics of the speech and noise signals) that can significantly suppress noise without introducing perceptually noticeable speech distortion. The optimal filters can be designed either in the time or in a transform domain. The advantage of working in a transform space is that, if the transform is selected properly, the speech and noise signals may be better separated in that space, thereby enabling better filter estimation and noise reduction performance. Although many different transforms exist, most efforts in the field of noise reduction have been focused only on the Fourier and Karhunen–LoÈve transforms. Even with these two, no formal study has been carried out to investigate which transform can outperform the other. In this paper, we reformulate the noise reduction problem into a more generalized transform domain. We will show some of the advantages of working in this generalized domain, such as 1) different transforms can be used to replace each other without any requirement to change the algorithm (optimal filter) formulation, and 2) it is easier to fairly compare different transforms for their noise reduction performance. We will also address how to design different optimal and suboptimal filters in such a generalized transform domain.      

Representing financial time series based on data point importance

Recently, the increasing use of time series data has initiated various research and development attempts in the field of data and knowledge management. Time series data is characterized as large in data size, high dimensionality and update continuously. Moreover, the time series data is always considered as a whole instead of individual numerical fields. Indeed, a large set of time series data is from stock market. Stock time series has its own characteristics over other time series. Moreover, dimensionality reduction is an essential step before many time series analysis and mining tasks. For these reasons, research is prompted to augment existing technologies and build new representation to manage financial time series data. In this paper, financial time series is represented according to the importance of the data points. With the concept of data point importance, a tree data structure, which supports incremental updating, is proposed to represent the time series and an access method for retrieving the time series data point from the tree, which is according to their order of importance, is introduced. This technique is capable to present the time series in different levels of detail and facilitate multi-resolution dimensionality reduction of the time series data. In this paper, different data point importance evaluation methods, a new updating method and two dimensionality reduction approaches are proposed and evaluated by a series of experiments. Finally, the application of the proposed representation on mobile environment is demonstrated.