基于Map/Reduce的时间序列相似性搜索算法

将并行计算的策略引入到时间序列处理中,提出基于Map/Reduce的时间序列相似性搜索算法,充分利用云计算可进行大规模计算和数据处理的特点,有效降低了时间序列相似性搜索中运算量,简化了计算过程。该算法在心电图数据集上进行相似性搜索,分别进行PAA下界过滤和DTW距离的计算,验证运算时间和并行加速比随节点变化的情况,与传统的单机运算相比,有效地提高了时间序列挖掘效率。     

基于两级过滤的时间序列近似查询

针对现有的近似查询模型对查询精度的可控性较差,后续处理效率较低的问题,提出基于两级过滤的查询模型.通过采用不同粒度的SAX表示方法提取时间序列的字符型特征向量,可以将高维的时间序列映射到低维的特征空间;将不同粒度的特征向量以向量近似文件(VA-File)的结构进行存储,有效引入了倒排索引.在查询过程中,设计了启发式的查询过滤算法,根据粗粒度特征向量查询细粒度特征向量,实现第一级过滤;针对VA-File设计了高效的边界剪枝算法,实现第二级过滤.模型基于多粒度的SAX特征向量进行构建,可以对查询精度进行有效控制;在第二级过滤中采用的边界剪枝算法可以有效地提高后续处理的执行效率.实验结果表明,提出的查询模型具有较高的性能,对时间序列长度、kNN查询规模及数据集规模具有稳定的扩展性.     

基于快速动态时间规划的模糊聚类算法

为快速准确地计算时间序列数据相似度,引入快速动态时间规划距离(fast dynamic time warping,FDTW),提出了基于FDTW的模糊C均值算法和模糊C中心点聚类算法。FDTW通过对数据序列进行拉伸和压缩匹配时间序列数据,只要形状相同,即使发生时间位移也可以准确识别,同时解决了传统DTW计算效率较低的问题。试验结果表明,提出的算法仍能保证聚类的精度。     

语音识别中DTW特征匹配的改进算法研究

采用基于动态规划方法的动态时间归正技术DTW(Dynamic Time Warping),可成功解决语音信号特征参数序列比较时时长不等的问题.在基于DTW的特征匹配用改进的动态时间归正方法将模板特征序列和语音特征序列进行匹配的基础上,比较两者之间的失真,得出识别判决的依据.实验表明,改进后的算法在孤立词语音识别中获得了良好性能.     

乱序RFID数据流上的复杂事件检测方法

针对发生时间戳乱序的RFID原子事件流,文章提出了一种新的复杂事件检测方法.该方法采用在一种特殊的Hash表结构中进行局部排序的方法来解决时间戳乱序问题.文中首先建立了时间戳乱序问题的描述模型;提出了面向时间戳乱序数据流的复杂事件检测算法;在基本算法的基础上添加了基于双时间槽的滑动窗口处理;对Hash表大小等参数对算法效率的影响、基于双时间槽的滑动窗口处理方法的效果进行了实验验证.实验结果表明:算法是有效的;Hash表大小对算法效率影响较为明显;基于双时间槽的滑动窗口处理方法可以显著提高内存使用效率.     

一种面向数据流的频繁项集挖掘算法

与传统静态数据库中的数据不同,数据流是一个按时间到达的有序的项集,这使得经典的频繁项集挖掘算法难以适用到数据流中．根据数据流的特点,提出了数据流频繁项集挖掘算法FP—SegCount．该算法将数据流分段并利用改进的FP—growth算法挖掘分段中的频繁项集．然后,利用Count Min Sketch进行项集计数．算法解决了压缩统计和计算快速高效的问题．通过和FP—Ds算法的实验对比,FP—SegCount算法具有较好的时间效率．     

基于改进DTW的彝语孤立词识别研究

彝语的语音识别与处理是语音信号处理领域的一个新方向.本文在深入分析彝语特点的基础上,对用于汉语孤立词识别的经典端点检测算法进行了改进.探讨了动态时间规整算法(Dynamic Time Warping,DTW)和高效动态时间规整算法(Efficient DTW,EDTW)在彝语孤立词识别中的应用,并提出了两种新算法:基于音节个数的动态时间规整算法(Syllable Number Based Improved DTW,SDTW)和基于音节个数的高效动态时间规整算法(Syllable Number Based Improved EDTW,SEDTW),对特定的彝语语音信号进行识别.实验结果表明,所提出的两种新算法分别在信号识别率和识别时间上比经典算法优越.     

语音特征匹配的图像配准方法

为了解决传统DTW算法准确度和效率不高的问题,提出了一种基于图像配准方法的语音特征匹配算法.该方法将MFCC参数映射为二值图像,并通过引入图像配准的方法进行模板匹配,达到了语音特征匹配的目的.实验结果表明,与传统的DTW算法相比,该方法的准确率、召回率和算法执行效率有了明显的提高.     

排序的子序列相似查询方法

时间序列数据的高维性是影响数据查询代价的主要因素,降维技术是时间序列数据查询优化的有效手段。原有降维技术近似体积的无界性,造成索引阶段不能充分实现点过滤,影响了查询效率。首先,利用近似体积有界的非线性降维技术解决了点过滤问题。然后,引入提前终止技术,减少了原始序列距离计算阶段的冗余计算。在此基础上,提出排序的子序列相似查询算法。实验结果表明,排序子序列相似查询方法具有较高的效率。     

基于DTW 和EMD的孤立词语音识别研究

针对语音识别过程中环境噪声干扰大的问题,提出一种基于经验模态分解(EMD)与动态时间规整 (DTW)相结合的孤立词识别算法。该方法利用EMD 算法,首先将提取的性能不好的语音信号分解成若干个基本模函数(IMF),去掉原始信号中的干扰和噪声。然后,基于DTW 算法,采用短时过零率和短时能量对语音信号进行端点检测,提取语音特征参数后与参考模板进行匹配。将参考模板与待测模板之间的最短路径作为识别结果。仿真结果表明,该算法能够提高语音的识别效率和识别的正确率。     

面向流式数据认证的变色龙认证树算法研究

针对流式数据应用的场景及其安全性需求,对流式数据认证相关内容进行研究,构造基于变色龙认证树算法的流式数据认证模型。在这个算法模型下,实现流式数据的添加、查询、认证等操作。动态变色龙认证树算法插入数据更稳定,查询验证时返回的认证路径更短,因此减少了时间、空间开销。测试结果表明动态变色龙认证树在插入、查询、验证效率上有了较大提升。     

大数据流式计算系统研究综述

互联网产业的迅速发展在带来数据规模爆炸式增长的同时,也使大数据呈现出越发鲜明的流式特征,传统的基于MapReduce的批处理模式难以满足流式大数据处理对于计算实时性的要求,因此,更为高效的流式计算系统得到了越来越广泛的应用。首先介绍了流式大数据的相关概念和特征,并对几类典型的流式计算系统实例进行了介绍和比较,分析了它们的系统架构、性能特点以及主要应用场景。最后总结并展望了大数据分析处理技术的发展前景。     

基于DTW交换查询的轨迹隐私保护方案

针对轨迹数据的攻击性推理可能导致个人隐私信息泄露的问题,提出了一个基于动态时间归整（DTW）交换查询的轨迹隐私保护方案.通过对基于位置的服务（LBS）请求的用户及候选者身份进行匿名化处理,利用DTW算法依次计算出所有候选者与发起者在一定时间间隔内的轨迹相似值,从中选出最优相似轨迹的候选者替代真实用户请求LBS服务,从而实现用户身份与位置的隐私保护.经过安全性分析,所提方案不仅满足匿名性和不可伪造性等安全特性,而且能够抵抗窃听攻击和连续查询服务追踪攻击.仿真实验结果表明,所选候选者轨迹的相似度有明显提高.     

基于非线性取值DTW算法的鲁棒性语音识别系统

提出了一个在噪声环境下高效的语音识别系统。针对端点检测,提出了基于平滑函数的检测方法,从而提高了利用短时能量算法的检测精度。运行频谱滤波器方法在能量频谱和对数频谱用了两次带通滤波器减少噪声,在对数频谱内用倒谱均值相减的方法去除卷积噪声,从而减少了计算量。对于普：i~DTW（DynamicTimeWarpin）算法得到某个测试语音与该语音所有的参考语音相似值,应用一个非线性中值滤波器取中间某个值的方法来进行识别,从而提高了DTW算法的识别精度。利用少量参考语音,实现了高于HMM的识别精度同时又减少了训练的花费时间。     

基于条件生成模型的高效近似查询处理框架

提出新型的近似查询处理方法,以克服近似查询处理任务中数据偏斜所导致的查询准确率低的问题. 该方法以条件生成对抗神经网络为基础,融入条件变分自编码器,保证算法执行的稳定性,提高模型准确率;使用Wasserstein距离衡量模型误差,防止模型坍塌. 基于该条件生成模型实现近似查询处理,回答用户查询而无须访问底层数据,避免磁盘交互,并与聚集预计算相结合,构成高效的近似查询处理框架,能更加准确、快速地回答交互式查询. 设计高效的表决算法,对模型生成的样本以及样本内部数据进行过滤,提高生成的样本质量,最小化查询误差. 实验结果表明,与其他近似查询处理算法相比,该方法可以有效克服数据偏斜的影响,同时能够在更短的交互时间内更加准确地回答用户查询.     

基于滑动窗口的数据流中近期频繁项挖掘

提出了一种在单独数据流中挖掘近期频繁项的算法MRFI。该算法采用基于对时间敏感的滑动窗口的模式,保证了挖掘结果的时效性,并利用循环队列和二叉排序树实现了简单高效的数据存储和处理,该方法是一种近似算法,它可以消除历史数据对挖掘结果的影响。实验采用IBM数据发生器产生合成数据,证明了该算法的有效性。     

多源空间数据库查询技术

为了实现多数据源空间数据集成,提出一种多源空间数据库查询系统框架.基于多数据源的空间对象关系模型,针对多数据源空间数据查询的需求,面向采用空间数据和属性数据分别管理的数据源,提出了支持查询分解和查询结果筛选的数据查询算法,分析说明了适用于空间数据查询的优化方法,形成了一套支持多数据源空间数据库查询技术.     

一种基于数据流驱动的数据流连续查询模型

建立了基于数据流驱动的数据流连续查询模型,介绍了系统结构和解决方案,设计了一些通用的查询算子,并通过查询算子在查询链中的有序组合来构造出各种复杂的连续查询语句。实验表明,该模型可扩充性强,操作简单,适合小规模的数据流查询需要。     

基于时空分析的复杂交通流数据挖掘算法

为了建立一种易于计算机实现的线性算法来进行交通流数据挖掘,同时建立更加精确的路段交通流模型,通过分析复杂交通数据所特有的流特征和时空特征提出了一种新的交通流数据挖掘算法。首先采用时空滑动窗口数据模型降低了算法的时空复杂度,并实现了动态挖掘;通过对数据流进行聚类分析发现彼此间相似的数据流,并按时段分簇;对每一簇通过主成分分析法剔除非关键变量,最后使用分时段多元线性回归方程构建兴趣模式的表达式,该算法为动态算法,交通实测数据实验证明模型的拟合精度较高,拟合值与真值的平均绝对误差值控制在9秒以内,平均相对误差值控制在5%以内,综合各个时段来看,预测的准确度都在90%以上。