基于时序数据的模式发现算法研究

数据库中的知识发现是人工智能领域的一个重要课题.本文针对时序数据中复杂模式的问题,提出了一种新的时序序列模式的逻辑表示法,并设计出一种新的时序序列建模算法.     

基于时间窗口聚类的时序数据索引压缩

子序列匹配是时间序列挖掘的经典课题,旨在发现大型数据集中的相似数据序列.很多文献关注固定时间段的序列的查询.但对于多种不同时间段的查询的问题仍然未解决好.基于时间段的查询含义是有时间窗口限制的查询.为了满足多时间段上的查询,简单地为每个时间段的子序列构建索引既耗时又耗存储空间.从目前的文献来看,已有的索引无法满足具有不...     

时序地理社交网络中基于动态偏好的组查询

在新生活体验与社交影响的驱动下,用户偏好随时间不断改变。为弥补现有的地理社交网络模型往往无法获取用户动态偏好的不足,构建了能够检测用户动态偏好的时序地理社交网络模型,以及用于用户动态偏好评估的动态偏好值模型,并提出了一种基于动态偏好的组查询(DPG)。为优化DPG查询算法效率,设计了UTC-tree索引用户时序签到记录。UTC-tree避免了在查询中遍历全部的用户签到记录,加速用户动态偏好评估。最后,采用DPG查询算法实现了交互良好的DPG查询系统,并通过大量对比实验验证了UTC-tree的有效性以及DPG查询的可扩展性。     

基于时序数据的模式发现算法研究

数据库中的知识发现是人工智能领域的一个重要课题,该文针对时序数据中复杂模式的问题,提出了一种新的时序序列模式的逻辑表示法,并设计出一种新的时序序列建模算法。     

基于可变时间窗口的增量数据抽取模型

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键。传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而导致数据抽取失效,进而影响数据抽取效率的问题。鉴于此,文中借鉴时间窗口的思想,采用先抽取少量重复记录再去重的做法,对传统的时间戳增量数据捕获模型进行了改进,提出了基于可变时间窗口的增量数据抽取模型。该模型减少了异常对数据抽取的影响,增强了时间戳增量数据抽取ETL流程的可靠性,在一定程度上提高了数据的抽取效率。     

基于时序窗口的概念漂移类别检测

流数据作为一种新型数据,在各个领域均有应用,其快速、大量及持续不断的特点使得单遍精准扫描成为在线学习算法的必备特质.在流数据不断产生过程中,往往会发生概念漂移,目前对于概念漂移节点检测的研究相对成熟,然而实际问题中学习环境因素朝不同方向发展往往会导致流数据中概念漂移类别的多样性,这给流数据挖掘及在线学习带来了新的挑战.针对这个问题,提出一种基于时序窗口的概念漂移类别检测(concept drift class detection based on time window, CD-TW)方法.该方法借助栈和队列对流数据进行存取,借助窗口机制对流数据进行分块学习.首先创建2个分别加载历史数据和当前数据的基础节点时序窗口,通过比较二者所包含数据的分布变化情况来检测概念漂移节点.然后创建加载漂移节点后部分数据的跨度时序窗口,通过分析该窗口中数据分布的稳定性检测漂移跨度,进而判断概念漂移类别.实验结果表明该方法不仅能够精确定位概念漂移节点,同时在漂移类别判断方面也表现出良好性能.     

时序模式发现算法研究

针对时序数据 ,提出一种新的时序模式的逻辑表示法 ,通过分段线性表示法 ,将时序曲线拟合为线段序列 ,从而以相对应的线段的斜率反正切值序列作为模式的逻辑表示 .在此基础上 ,设计出时序模式发现算法 ,此算法能够自动地发现所有 (子 )模式 .有关实验结果证明算法是行之有效的 .     

一种基于时间窗口的数据预处理算法

提出了一个基于时间窗口的数据预处理算法．面向具体应用,根据已有知识,此算法可以智能化地滤去一些“噪声”数据．与一般的定义不同．本文所谓的“噪声”数据是指那些由一些已知的规则决定性地影响着的数据,研究显示它们会对进一步的数据挖掘形成极大干扰．实际测试结果表明,本算法能够改善一些已有数据挖掘算法的执行效果．     

基于时序片段评价的数据分配算法

数据分配是研究数据如何分布到多个物理节点的NP-Complete问题.给出数据分配算法的数学模型,提出基于时序片段评价的数据分配算法--DATE.该算法利用数据在短时域访问量分布不均的特点,将多目标优化问题转化为单一目标求解,采用蜜蜂算法(collective Honey bee behavior)调整参数并反馈算法结果,以实现系统负载均衡.随机实验结果表明,DATE相比于同类Random,round-robin,Bubba算法在系统总时段均衡ET、系统时段内均衡值ES、系统最大波峰值EM 3个指标中表现更优.     

基于离散时序基因表达数据的双聚类算法

目前应用于基因表达数据上的双聚类算法大多是基于真实数据提出的, 因此易受噪声干扰, 且这些算法很少考虑样本间的时序性。提出了一种有效的时间点连续的双聚类挖掘算法DTCB, 从离散的时序基因表达数据中挖掘出时间点连续的最大共表达双聚类。该算法使用了一种新的数据离散化方法, 同时提出了三种在离散数据集下基因间的共表达关系; 为了提高挖掘效率, DTCB使用了有效的剪枝和输出策略, 可以在不产生候选集的情况下一次性挖掘出所有的最大共表达双聚类。通过实验分析, 证明DTCB具有高效的性能和良好的鲁棒性, 且结果具有较好的统计和生物意义。     

一种基于时间窗口的关系数据库中挖掘序贯模式的算法

序贯模式是数据挖掘领域的重要研究课题之一.鉴于目前国内外在此方面的研究主要是集中在对交易数据的分析处理上,而从数据挖掘本身的角度考虑,交易数据库与常用的关系数据库两者之间却存在着很大的差异,这就要求新的挖掘算法与之相适应.本文针对如何从一般关系数据库中进行序贯模式的知识发现问题做了初步的研究和探讨,并在此基础上形成了一种基于时间窗口的序贯模式挖掘算法TW_SP.     

基于自动匹配时间算法的时序数据在甘特图中的应用

甘特图在项目管理涉及到显示任务工期、进度、流程等方面时能够做到简洁直观.然而在同一页面上实时输入数据实时显示甘特图时会遇到显示图形时间段不确定的问题.本文讨论提出一种自动匹配时间算法,通过保存的时间序列数据实时显示在甘特图上,保证所需的数据能够准确的在页面上显示,不会出现图形偏差和时间轴不确定的问题,在多个任务同时显示上有其优势性.     

时序数据流场景下的高效时间转化算法

该文针对时序数据的特点提出一种高效的时间转化为字符串格式的算法,该文算法在时序数据场景下转化效率是Linux系统API(strftime)的4倍以上,在极端非序列场景下也接近系统的API效率(0.986倍),综合性能优于系统API,在日常开发过中可作为系统API的替代函数使用.     

基于像素的时序数据可视化分析方法TSD-PVAP

提出了一种基于像素的时序数据可视化分析方法TSD-PVAP。该方法采用了基于像素的可视化技术,运用了HSI颜色映射模式方法和递归模式的像素排列技术,对大数据量的时序数据进行可视化分析。     

提高时序数据识别精度的方法及应用

通过建立多分类二叉树的SVM识别模型,充分利用SVM的优点,实现具有时序特征对象的识别。由于SVM没能利用时序特性有用的分类信息,导致部分类别判断的失误,因此通过引入数据窗口,利用时序对象的类别分布来校正SVM识别的奇异对象,进一步提高时序对象识别的精度。利用测井数据,以地层识别为应用背景,通过"识别"和"校正"两个阶段,大大提高地层的识别精度,取得很好的应用效果。     

一种基于倾斜时间窗口的时间序列偏向最近模式匹配算法

提出一种时间序列偏向最近模式匹配算法；这种算法通过定义一种偏向最近距离及采用倾斜时间窗口Haar小波变换高层数据表示方法，实现时间序列偏向最近模式无遗漏高效查询.理论分析与实验验证证明了该方法的有效性．     

基于自适应搜索窗口的序列相似比对算法

DTW（Dynamic Time Warping）算法被广泛应用于序列数据比对,以度量序列间距离,但算法较高的时间复杂度限制了其在长序列比对上的应用。提出基于自适应搜索窗口的序列相似比对算法（ADTW）,算法利用分段聚集平均（Piecewise Aggregate Approximation,PAA）策略进行序列抽样得到低精度序列,然后计算低精度序列下的比对路径,并根据低精度距离矩阵上的梯度变化预测路径偏差,限制路径搜索窗口的拓展范围;随后算法逐步提高序列精度,并在搜索窗口内修正路径、计算新的搜索窗口,最终,实现DTW距离和相似比对路径的快速求解。对比FastDTW,ADTW算法在同等度量准确率下提高计算效率约20%,其时间复杂度为[O(n)]。     

一个基于小波的时序数据异常探测新算法

本文针对时序数据提出了一种基于小波的异常探测算法。首先应用小波变换将时域空间的时序数据分解成不同的频率成份,通过低频信号的特性缩短待处理的数据处理。对于变换后的数据,再采用基于密度的LOF异常探测方法挖掘异常数据。最后,对某烟草公司的烟叶收购数据序列进行了实验,结果表明了该算法的有效性。     

基于双极偏好的滑动窗口参数优化方法

滑动窗口是形状匹配中的常用检测方法,可以检测图像中不同尺度不同位置的多个物体。检测效果采用检测率和误检率来衡量。在传统的滑动窗口检测方法中,通常基于经验选取滑动步长和图像缩放规模这两个参数值,来获得较高的检验率和较低的误检率。然而这是典型的两目标优化问题,传统方法未考虑决策者对检验率与误检率的不同偏好。根据实际情况,考虑到决策者的正偏好(高检验率与低误检率)及负偏好(低检验率和高误检率),引入双极偏好控制策略,提出基于双极偏好的多目标粒子群算法(BPMOPSO)的滑动窗口参数优化方法。通过Leeds Cows图像数据集上图像的检测实验结果表明,与传统算法相比,该算法显著改善了滑动窗口检测中的检验率和误检率,且大大提高了运行效率。     

基于滑动窗口的主题模型

LDA(Latent Dirichlet Allocation)是一个分层的概率主题模型,目前被广泛地应用于文本挖掘。这种模型既不考虑文档与文档之间的顺序关系,也不考虑同一篇文档中词与词之间的顺序关系,简化了问题的复杂性,同时也为模型的改进提供了契机。针对此问题提出了基于滑动窗口的主题模型,该模型的基本思想是文档中的一个单词的主题与其附近若干单词的主题关系越紧密,受附近单词主题的影响越大。根据窗口和滑动位移的大小,把文档切割为粒度更小的片段。同时,针对大数据集和数据流问题,提出了在线滑动窗口主题模型。在4个数据集上的实验表明,基于滑动窗口的主题模型训练出来的模型在数据集上有更好的泛化性能和精度。