共查询到19条相似文献,搜索用时 93 毫秒
1.
2.
3.
4.
可重写循环滑动窗口:面向高效的在线数据流处理 总被引:2,自引:0,他引:2
滑动窗口是在线数据流处理中的重要技术和基础设施。针对当前基于向量模型的滑动窗口存在滑动过程中需要移动过多数据,而导致效率不高的问题,本文提出一种可重写循环的滑动窗口技术。该技术在滑动过程中不移动数据,而是采用重写的方式来完成数据更新,并且它能够与当前滑动窗口无缝集成。理论分析和实验对比表明,该技术有显著的效率提升,能够高效地应用于实际的数据流处理。 相似文献
5.
分别使用基于滑动窗口的VLRBP神经网络模型和基于C-C相空间重构的VLRBP神经网络模型及ARIMA-GARCH模型对欧元汇率时间序列建模和预测,通过比较发现基于C-C相空间重构的VLRBP神经网络对于含有大量非线性成分的欧元汇率时间序列的预测比较准确。同时,为了提高基于滑动窗口的VLRBP网络的泛化性能,提出在训练VLRBP神经网络时应用浴盆曲线方法选取隐层神经元个数和滑动窗口尺寸。 相似文献
6.
7.
LDA(Latent Dirichlet Allocation)是一个分层的概率主题模型,目前被广泛地应用于文本挖掘。这种模型既不考虑文档与文档之间的顺序关系,也不考虑同一篇文档中词与词之间的顺序关系,简化了问题的复杂性,同时也为模型的改进提供了契机。针对此问题提出了基于滑动窗口的主题模型,该模型的基本思想是文档中的一个单词的主题与其附近若干单词的主题关系越紧密,受附近单词主题的影响越大。根据窗口和滑动位移的大小,把文档切割为粒度更小的片段。同时,针对大数据集和数据流问题,提出了在线滑动窗口主题模型。在4个数据集上的实验表明,基于滑动窗口的主题模型训练出来的模型在数据集上有更好的泛化性能和精度。 相似文献
8.
在数据流上定义了截止期作为连续查询的实时约束,并建立了基于截止期的滑动窗口处理模型;提出了一种基于预测的截止期敏感的滑动窗口处理策略;在多滑动窗口查询处理环境中,提出了一种(k,m )截止期约束机制,在提高查询实时性的前提下,尽可能的满足不同查询对结果丢失率的不同约束。实验结果表明该处理策略能够有效提高数据流上滑动窗口查询的截止期满足率。 相似文献
9.
利用滑动窗口来进行镜头边界检测自适应阈值的计算是一种常用的方法。该文提出一种基于颜色——梯度模值二维直方图的自适应镜头边界检测方法。计算出帧间差值以后,在原有高斯模型滑动窗口内部增加一个滑动窗口计算自适应阈值。实验结果表明,该方法能有效避免滑动窗口方法中因窗口大小参数设置所导致的漏检问题,并且使检测性能得到进一步的提高。 相似文献
10.
针对传统入侵检测系统难于适应日益增长数据量对实时处理能力的需求问题,运用滑动窗口、数据流聚类技术,设计了基于滑动窗口数据流聚类算法,并构建了基于该算法的IDS网络安全防御模型。通过对该模型仿真验证,证明该网络安全防御模型能较好地适应高速网络的入侵检测需求。 相似文献
11.
基于滑动窗口的数据流压缩技术及连续查询处理方法 总被引:8,自引:0,他引:8
基于滑动窗口的连续查询处理是数据流研究领域的一个热点问题.已有的研究工作均假设滑动窗口内的数据能够全部保存在主存中,若滑动窗口内的数据量超过了可用主存空间,已有的查询处理方法则无法正常工作.提出两种数据流上的滑动窗口压缩技术,有效地降低了滑动窗口的存储空间需求.同时,给出了基于压缩滑动窗口的连续查询处理算法,理论分析和实验结果表明,这些算法具有很好的性能,能够满足数据流连续查询处理的实时性要求. 相似文献
12.
在数据流应用中,系统经常需要处理大量的滑动窗口连续查询,采用共享滑动窗口技术可以有效节省存储空间,提高系统整体的查询处理能力。但是共享滑动窗口技术会增大单个查询的响应延迟,降低单个查询的服务质量。针对这个问题,论文提出了加权共享滑动窗口的概念,并提出了三种优化的连接执行算法,优先响应重要的滑动窗口查询,从而提高了系统整体的服务质量。理论分析和实验结果表明论文提出的方法是行之有效的。 相似文献
13.
在基于K-means的案例检索算法中,目标案例初次映射的失败会导致案例检索成功率降低。针对该问题,提出一种基于滑动窗口的案例检索算法。分析滑动窗口维护策略,利用滑动窗口收集案例库中权重较高且最近常使用的案例,增加案例采样数量。实验结果表明,该算法能提高检索成功率,检索时间较短且案例映射次数较少。 相似文献
14.
用挖掘频繁闭合模式集代替挖掘频繁模式集是近年来提出的一个重要策略。根据数据流的特点,提出了一种基于滑动窗口的频繁闭合模式的新方法DSFC_Mine。该算法以滑动窗口中的基本窗口为更新单位,利用改进的CHARM算法计算每个基本窗口的潜在频繁闭合项集,将它们存储到一种新的数据结构中,利用该数据结构可以快速地挖掘滑动窗口中的所有频繁闭合项集。实验验证了该算法在时间上和空间上的可行性和有效性。 相似文献
15.
基于网络协议和网络流媒体的动态信息隐藏及检测是近年来研究的热点.本文针对流媒体动态信息隐藏的特点,提出了在网络环境中进行实时的信息隐藏检测的基本模型.重点研究了基于滑动窗口的流媒体检测方法,对滑动窗口的大小与检测精度之间的关系作了深入研究.实验结果表明适当选取检测窗口的大小可以提高检测的精度. 相似文献
16.
基于Hurst指数进行异常检测的模型多采用固定阈值的方法,不能很好的适应动态变化的网络环境.针对该问题设计了一种基于动态阈值的检测方法,该方法在采用Hurst指数分析的基础上,通过EWMA和滑动窗口模型控制有效数据的个数并根据网络的变化动态调整检测阈值,提高了模型的检测能力.实验结果表明,在采用动态阈值进行DDOS异常检测时具有较高的检测率. 相似文献
17.
基于衰减滑动窗口数据流聚类算法研究 总被引:2,自引:0,他引:2
数据流具有数据流量大、流量连续且快速、难以存储和恢复等特性,其挖掘质量和效率是检验挖掘算法的重要标准.传统的数据流聚类挖掘算法是基于界标窗口、滑动窗口和衰减窗口模型,其算法的聚类质量较差,时间复杂度高等不足,就此类问题,研究一种滑动衰减窗口的数据流聚类算法,并对算法进行了设计与实现,有效的改善传统数据流算法聚类质量和时间效率的问题.仿真实验结果表明了该算法的有效性,达到了较满意的效果. 相似文献
18.
随着多媒体技术的发展,当今工作和生活中的多媒体信息日渐丰富。如何通过分析海量视频快速有效地检索出有用信息成为一个日益严重的问题。为了解决上述问题,提出了一种基于双阈值滑动窗口 子镜头分割和完全连通图的关键帧提取方法。该方法采用基于双阈值的镜头分割算法,通过设置双阈值滑动窗口来判断镜头的突变边界和渐变边界,从而划分镜头;并采用基于滑动窗口的子镜头分割算法,通过给视频帧序列加一个滑动窗口,在窗口的范围内利用帧差来对镜头进行再划分,得到子镜头;此外,利用基于子镜头分割的关键帧提取算法,通过处理顶点为帧、边为帧差的完全连通图的方法来提取关键帧。实验结果表明,与其他方法相比,提出的方法平均精确率较高,并且平均关键帧数目较低,可以很好地提取视频的关键帧。 相似文献
19.
基于滑动窗口的数据流闭合频繁模式的挖掘 总被引:11,自引:1,他引:11
频繁闭合模式集惟一确定频繁模式完全集并且数量小得多,然而,如何挖掘滑动窗口中的频繁闭合模式集是一个很大的挑战.根据数据流的特点,提出了一种发现滑动窗口中频繁闭合模式的新方法DS_CFI.DS_CFI算法将滑动窗口分割为若干个基本窗口,以基本窗口为更新单位。利用已有的频繁闭合模式挖掘算法计算每个基本窗口的潜在频繁闭合项集,将它们及其子集存储到一种新的数据结构DSCFI_tree中,DSCFI_tree能够增量更新,利用DSCFI_tree可以快速地挖掘滑动窗口中的所有频繁闭合模式.最后,通过实验验证了这种方法的有效性. 相似文献