数据流滑动窗口连接查询降载策略研究

主要研究了在有限内存条件下数据流滑动窗口的近似连接查询,即数据流滑动窗口连接查询的降载问题。通过对连接属性域的划分,根据数据元组的连接属性值在属性域中的数据分布来决定每个数据元组进入参加连接运算的滑动窗口的概率,给出了一种面向数据流滑动窗口连接查询的语义降载策略。与已有的语义降载策略相比,文中给出的降载策略所需的数据统计信息较少,连接运算的结果数据元组便于进一步进行其它查询处理,并且对于各种倾斜(skew)参数的数据分布和不同程度的系统超载都有较好的适应性。理论分析和实验结果表明,该降载策略对数据流滑动窗口连接查询的降载处理具有较高的有效性和实用性。     

数据流上周期更新滑动窗口的连接算法

根据滑动窗口的更新粒度定义了两类滑动窗口：连续更新滑动窗口和周期更新滑动窗口．由于已有的滑动窗口上的查询处理算法都是针对连续更新滑动窗口提出的,并不适用于周期更新的滑动窗口,因此提出了三种有效的周期更新滑动窗口连接算法,即BSHJ、BSNLJ和BSNHJ算法．理论分析和试验结果表明BSNHJ算法具有最好的性能．     

乱序RFID数据流上的复杂事件检测方法

针对发生时间戳乱序的RFID原子事件流,文章提出了一种新的复杂事件检测方法.该方法采用在一种特殊的Hash表结构中进行局部排序的方法来解决时间戳乱序问题.文中首先建立了时间戳乱序问题的描述模型;提出了面向时间戳乱序数据流的复杂事件检测算法;在基本算法的基础上添加了基于双时间槽的滑动窗口处理;对Hash表大小等参数对算法效率的影响、基于双时间槽的滑动窗口处理方法的效果进行了实验验证.实验结果表明:算法是有效的;Hash表大小对算法效率影响较为明显;基于双时间槽的滑动窗口处理方法可以显著提高内存使用效率.     

DB Facade:一个保证数据时效性的Web数据库Cache

传统的Web数据库缓存技术一般使用异步的数据更新传播策略,数据的时效性得不到保证。提出一种新的数据缓存方案——DBFaqade,后台数据库上的更新,通过Delta表进行维护,以近乎实时的方式传播给数据缓存,从而保证了数据的时效性。DBFaqade使用内存数据库系统作为缓存系统的中心库,把历史查询的结果集缓存起来,以备新查询重用。DBFaqade从后台数据库系统分担了一部分查询负载,同时利用内存数据库系统的查询处理能力,提高了整个系统的性能。详细介绍了DBFaqade的实现细节,基于TPC—W负载的实验结果显示,系统性能有17％左右的改进。     

微博用户行为活跃度的衰减窗口分析方法

介绍了数据流中最流行元素挖掘的衰减窗口计算和滑动窗口计算两种方法,提出了用户行为矩阵和用户行为活跃度矩阵的概念,二者分别刻画了用户在社会网络中的行为随时间分布的均匀程度以及活跃程度.同时,从数据流的角度分析了社会网络中用户的行为数据,将数据流挖掘中的衰减窗口(Decaying Window)计数方法引入到用户活跃度的计算中.最后通过在twitter数据集上进行实验,对两种方法得出的结果进行了对比分析,结果表明,随着衰减指数c的变化,衰减窗口计算方法得到的结果比滑动窗口方法更加稳定,且后者得到的结果具有一定的抖动.     

基于流数据的网络监控系统设计

针对各种恶意攻击及滥用资源的网络现象,提出一种新的基于流数据的网络安全检测算法。采用可调节大小的滑动窗口,使用收银机模型、十字转门模型与时间序列模型进行流数据处理和挖掘,以检测并预警不安全的网络流。     

基于查询索引树的多维连续查询计算方法

首先定义连续查询状态用于维持当前时间窗口内的信息与当前的连续查询结果,再根据已注册的连续查询条件,预先建立每个维度上的查询索引树,用于快速计算更新各个多维连续查询结果,并利用用户兴趣视图遍历树,进一步减少了不必要的搜索过程。实验结果表明,该方法能够在有限的主存空间中快速更新维护多维连续查询状态和计算查询结果,为数据流多维分析奠定基础。     

滑动窗口流量控制中的窗口大小计算

提出了在特定的网络条件下,确定滑动窗口流量控制的窗口最佳算法,揭示了不同条件下窗口大小与虚电路链路段数的取值关系。     

一种基于数据图划分的关系数据库关键词检索方法

不同于常用的一次性将图加载入内存的检索方法,提出了一种基于数据图划分的关系数据库关键词检索方法,该方法首先将大图细分成多个相互之间具有简单连通性的小图并存储于缓存中,然后通过超图查询算法获取与查询条件相关的子图,进行关键词检索获取候选结果时,只需加载相关子图并恢复子图的初始结构,通过遍历子图获得最终结果.实验表明,该方法可以有效解决对无法放入内存的大型数据图的处理问题,使得关系数据库关键词检索实用于庞大而复杂的数据图中而不受内存约束.     

一种基于滑动窗口分割的中国手语识别系统

听力障碍者在全世界残疾人群体中占有较大的比重.他们能通过手语与健全人交流,但因手语不被大众所掌握,导致彼此交流存在较大障碍.为此提出了一种基于滑动窗口分割（SSW）的连续中国手语识别系统来实现手语自动识别.SSW系统将通过滑动窗口选取出来的手语信号平均分割,依次删去其中一组数据,从而得到新的数据,输入手语识别神经网络进行训练,得出单个手语单词手势预测值,最后运用基于阈值的多投票策略对识别出的预测值进行判断,得出识别结果.SSW系统在对20名志愿者采集的30条手语语句上进行训练,结果显示,所提SSW系统自动识别手语的平均准确率在测试集上达到83.9%,较长短期记忆网络模型提高了16.7%.     

数据流窗口语义及查询引擎的实现

数据流窗口主要采用了基于时间、元组和分组的3种驱动形式,如果仅采用一种驱动形式难以正确表达数据流查询语义,因此,针对数据流查询语义的不完备性,从窗口的查询级、数据级和系统级定义了一个完整的窗口语义框架来解决语义差异,并提出了基于主存数据库的分组窗口驱动的实现,最后通过实验验证了该方法.     

基于数据流频繁模式挖掘的入侵检测模型

计算机网络入侵通常具有高频度特性,因此,识别是否正常访问,对数据流中重复元素的挖掘,给出频度指标,是一种重要的依据。提出一种基于数据流频繁模式的改进型AFP算法,该算法采用滑动窗口树技术,单遍扫描数据流及时捕获网络上的最新模式信息,并将该算法应用在入侵检测模型中正常数据和异常数据的在线挖掘。解决了有限存储和无限数据流的矛盾。实验结果表明,该模型有较高的报警率和较低的误报率。     

基于增量DFT概要的数据流聚类算法

数据流聚类分析是数据流挖掘领域的重要分支。由于数据流海量、快速、动态到达,传统的静态数据挖掘技术不能满足在线分析的需求。数据流聚类的核心是设计单遍数据集扫描算法,在有限的内存中存储少量概要特征信息,实现数据流实时、在线聚类分析。采用数据流处理中广泛应用的滑动窗口模型,提出一种新的基于增量傅立叶变换(DFT)的数据流概要算法,并在此基础上运用k-均值(k-means)聚类,实现数据流的在线挖掘。基于增量DFT概要的数据流聚类算法可减少运行时间,节省内存空间,实际用电负荷数据证明了算法的有效性。     

RTS多预约和自适应窗口调整的WLAN多优先级算法

为保护无线局域网中高优先级业务的服务质量, 提出了一种基于请求发送(RTS)多预约和竞争窗口自适应调整的多优先级信道接入算法(MRDCW). 该算法首先利用RTS多预约进行优先级区分, 减少因低优先级业务增多而给高优先级业务带来的影响, 并通过理论建模验证了其有效性;其次, 不同等级的业务在竞争窗口回退时都根据自身的信道接入状况自适应调节竞争窗口大小, 以减小高优先级业务自身之间的影响. 仿真结果表明, 该算法相对802.11e更能适应网络状况的变化,并且更好地保护了高优先级业务的吞吐量.     

VoD在线存储系统的研究

基于多媒体流实时播放的特性和磁盘数据流模型的研究,进一步分析了内存和接口总线的特性,提出了视频点播(VoD)系统性能指标与在线存储系统之间的定量关系。实验结果表明,VoD系统的最大输出码率和最大并发流数等性能指标受到磁盘性能、磁盘阵列调度、内存容量和接口总线带宽的综合影响。     

一种面向不确定数据流的模体发现算法

借鉴生物信息学中序列模式发现思想,提出了基于MEME（multiple expectation-maximization for motif elicitation）的不确定数据流模体发现算法。该算法根据不确定数据流的特点,设计了不确定滑动窗口的简化计算方法,改进了SAX（symbolic aggregate approximation）的符号化策略,用防空反导情报传感器网络中的一组不确定数据流验证了其可行性,通过植入不同数目模体的方法测试了其准确性,并在元组存在概率为1的条件下与已有算法进行比较,验证其有效性。     

基于信息扩散估计的洪水风险分析

针对信息扩散估计的过扩散和欠扩散问题,在分析择近窗宽法和最优窗宽法的基础上,结合二者的优点,提出了一种确定扩散窗宽的多目标综合优化方法.经对x2分布和F分布的检验表明,该方法能较好地逼近理论分布曲线.应用该法对黄河干流龙门站年最大流量的洪水风险进行分析,得到了最大流量概率密度分布函数以及不同重现期的估计值,为维持黄河的健康提供了较为客观的依据.     

基于概要数据结构的高维数据流聚类算法

为了在高维数据流中有效地形成聚类,针对经典算法CELL-Tree存在的问题,提出一种新的概要数据结构PL-Tree以及基于此数据结构的算法PLStream,并采取衰减窗口模式来适应数据流的变化,采用剪枝策略控制内存中聚类模型的规模．实验表明,PLStream算法能较好地适应高维数据流,比CELL／Tre算法具有更好的时...     

Real time feature extraction method for complex industrial big data

Industrial big data have the traits of big volume, multi-sources, continuous sampling and low value density, which results in high complexity, real-time and high abnormality. Traditional feature extraction methods cannot meet the real-time requirements of complex industrial big data. In addition, the processing method for industrial big data is different from the internet data stream processing method, which has a higher accuracy requirement. Therefore, this paper proposes a robust incremental on-line feature extraction method as the Robust Incremental Principal Component Analysis. It uses the sliding window to update new coming data dynamically and filter the abnormal data in windows, then the incremental principal component analysis is implemented on data in windows in order to meet the accuracy and real-time requirements of industrial big data processing. Experimental results show that the proposed method can effectively extract the data stream in real time with high accuracy.     

延长闪存寿命的数据库数据复制协议

针对传统数据库系统中数据复制协议未充分考虑取决于数据块擦写次数的闪存寿命问题的不足,提出基于上下文的数据复制协议(CBRP).CBRP分析在一定时间窗口内数据复制写操作之间的上下文关系,以闪存数据块大小为基准合并针对相同表的同类操作,以每个操作数据集之间的覆盖或回滚关系为依据消除不必要的操作,在处理结果递交到其他线程进行并行提交后,即刻开始新一轮的处理过程.基于完整实现CBRP的MySQL数据库系统的实验结果表明,在不同的工作负载下,CBRP与经典数据复制协议相比,在从节点上降低了20%～50%的块写操作数,数据复制性能有20%～40%的提升.证明CBRP是对延长闪存寿命行之有效的数据库数据复制协议.