基于模式特征保持的数据流降载方法

在数据流分析中,相比于单个数据点或元组,数据流模式具有更重要的实际意义和领域价值,模式的多样性反映了数据流的特征.传统的降载方法一般是对点或者元组进行降载,对数据点的删除破坏了模式的完整性,不利于数据流特征的保持.提出了以模式为粒度的数据流降载方法,构建了高效的数据存储结构,目标在于删除过载数据的同时尽可能地保持数据流的特征.该方法分为4部分:首先经模式提取操作得到一系列的数据流子序列;然后与已有模式进行匹配并对数据模型进行更新;同时,持续监控系统资源,以判定是否需要降载;执行降载时,根据模式频度计算筛选系数,以此选择数据进行删除.通过实验可以验证,该降载方法能够有效地保留模式的多样性,保持数据流的特征.     

SPQ:数据流上面向可伸缩模式的查询方法

数据流的模式查询具有很高的领域价值,它不仅需要较高的抗噪能力和实时性,而且查询目标模式还具有可伸缩性,即由多个子模式复合而成,且某些子模式可重复、缺失或倒置.文中提出一种可伸缩模式的查询(SPQ)方法,允许用户定义目标模式并设置可伸缩条件.然后在查询处理中通过模式匹配生成模式流,进而完成满足可伸缩条件的目标模式查询.在真实数据集上进行的实验从查全率、查准率和处理效率上证明了SPQ方法是可行和灵活的.     

PTLR:云计算平台上处理大规模移动数据的置信域逻辑回归算法

逻辑回归作为经典分类算法具有良好的分类效果,因此在云计算平台上针对大规模移动数据实现逻辑回归具有很高的现实意义.然而现有的逻辑回归算法不具有处理海量移动数据的能力.利用移动数据l2泛化性特点,提出了一种基于置信域的逻辑回归并行化实现方法(PTLR),在Map Reduce环境下,实现了梯度计算、Hessian矩阵计算和似然函数增量计算这3个关键步骤的并行化,并集成在云计算平台上实际运行.通过在真实的大规模移动数据集上的实验,证明了PTLR算法具有稳定性高、收敛速度较快等特点.