流数据分析与管理综述

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.在过去30多年中,尽管传统数据库技术发展迅速且得到了广泛应用,但是它不能够处理在诸如网络路由、传感器网络、股票分析等应用中所生成的一种新型数据,即流数据.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构--概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.综述国际上关于流数据的概要数据结构生成与维护的研究成果,并通过列举解决流数据上两个重要问题的各种方案来比较各种算法的特点以及优劣.  

基于UDP的可靠数据传递技术研究

RUDP是一种基于UDP(用户数据报协议)的可靠数据传递方法。该文以实现可靠数据传递所需的关键技术为出发点，分析了体系结构和实现原理。  

基于抽样测量的高速网络实时异常检测模型

实时异常检测是目前网络安全的研究热点.基于大规模网络流量的统计特征,寻找能够评价网络行为的稳定测度,并建立抽样测量模型.基于中心极限理论和假设检验理论,建立网络流量异常行为实时检测模型.最后定义ICMP请求报文和应答报文之间比率的网络行为测度,并实现对CERNET网络ICMP扫描攻击的实时检测.该方法和思路对其他网络安全检测研究具有一定的指导意义.  

可靠UDP数据传输协议的研究与设计

在高速数据传输网络中,UDP协议有着其它数据传输协议无法比拟的优势,但也存在着传输可靠性差的问题。文章在细致分析UDP协议特点的基础上,对其关键技术进行了改进,设计出了一种新的可靠UDP协议(RUDP),大大提高了数据传输的可靠性。提出了一个可以预测RUDP协议性能的分析模型,并将分析结果与协议实现后的实验数据进行了比较,结果表明RUDP可以在高速网络中非常有效地运行,分析模型能够对它的性能做出比较准确的预测。  

基于滑动窗口的进化数据流聚类

提出了纳伪(false positive)和拒真(false negative)两种聚类特征指数直方图分别来支持纳伪误差和拒真误差窗口的聚类分析;然后,提出一种基于滑动窗口的数据流聚类方法.该方法在占用窗口大小的次线性内存空间前提下,及时保存最近数据记录的分布状况,从而实现对滑动窗口内的数据进行聚类.此外,它还可被扩展用于N-n窗口(滑动窗口的扩展模型)的数据聚类.实验采用KDD-CUP'99和KDD-CUP'98真实数据集以及变换高斯分布的人工数据集构造进化数据流.理论分析和  

快速大数模乘算法及其应用

大数模幂乘是 RSA、El Gamal、DSA等公钥密码算法和数字签名算法的基本运算 ,而大数模乘运算是快速实现模幂乘的关键 .本文在分析比较现有快速模乘算法的基础上 ,提出了一个基于滑动窗口的快速模乘算法 .由分析可知 ,当模 N的长度为 5 12位时 ,本算法平均只需做 5 0 7次 n- bit加法便可实现 A× B mod N运算 .该算法便于软件与硬件实现  

基于滑动窗口的数据流闭合频繁模式的挖掘

频繁闭合模式集惟一确定频繁模式完全集并且数量小得多，然而，如何挖掘滑动窗口中的频繁闭合模式集是一个很大的挑战．根据数据流的特点，提出了一种发现滑动窗口中频繁闭合模式的新方法DS_CFI．DS_CFI算法将滑动窗口分割为若干个基本窗口，以基本窗口为更新单位。利用已有的频繁闭合模式挖掘算法计算每个基本窗口的潜在频繁闭合项集，将它们及其子集存储到一种新的数据结构DSCFI_tree中，DSCFI_tree能够增量更新，利用DSCFI_tree可以快速地挖掘滑动窗口中的所有频繁闭合模式．最后，通过实验验证了这种方法的有效性．  

一种基于混合模型的用户兴趣漂移方法

针对个性化服务的系统中，如何将新发现的用户兴趣和原有兴趣合并为用户的新兴趣的问题，提出了一种基于概念相关性的用户兴趣漂移方法。采用混合模型，将用户兴趣分为长期兴趣和短期兴趣，对短期兴趣采用滑动窗口处理更新，对长期兴趣采用基于概念相关的渐进遗忘方法，实验表明，该方法不仅能够较为准确地跟踪用户的兴趣变化，而且能够预测用户的兴趣，具有较好的效率。  

滑动窗口规模的动态调整算法

讨论当数据流系统的数据流流速或连续查询发生变化时,滑动窗口规模的动态调整问题.根据可用内存空间大小和连续查询需求,提出了3类动态调整滑动窗口规模的算法,实现了对连续查询3种服务质量级别的支持,提高了连续查询处理的效率和效果.理论分析与实验结果表明,提出的算法可以有效地应用于数据流系统.  

流数据挖掘综述

作为一种新的数据形态，流数据对数据挖掘提出了诸多挑战。学者们已提出大量处理流数据的挖掘算法。本文对这些算法进行了综述。首先介绍了多个不同的数据流模型，这些模型对算法设计有着不同的要求。然后，总结了流数据挖掘算法的特点，并给出了算法中常用的技术。最后，分析了各个流数据挖掘任务中的代表性算法。