滑动窗口中近期数据流频繁项集挖掘

基于嵌套滑动窗口和遗传算法的NSWGA(nested sliding window genetic algorithm)算法对快速挖掘数据流频繁项集进行了研究。NSWGA算法利用遗传算法的并行性来搜索嵌套子窗口内最新数据的频繁项集,合并形成滑动窗口内待选频繁项集,然后扫描获得滑动窗口内的近期频繁项集。NSWGA算法及时准确捕获数据流上最新频繁项集,周期性地删除过期的流数据,并通过嵌套窗口以及遗传算法的并行处理,降低了计算的时间复杂度。     

基于滑动窗口密度聚类的数据流偏倚采样算法

对于移动计算领域的移动对象轨迹数据流的管理,最普遍采用的技术手段是采样技术,而传统的均匀采样易丢失一些关键的变化数据,造成信息丢失现象.针对这一问题,提出一种基于概率密度聚类的数据流偏倚采样算法.该算法在滑动窗口模型下,充分利用了轨迹数据流自身的分布特性,结合偏倚采样算法思想克服了均匀采样的数据丢失问题.算法首先采用基于数据存在密度的聚类技术将滑动窗口划分为强簇、弱簇和过度簇,然后针对不同的簇给予不同的采样率,进行偏倚采样,进而得到最终的数据流摘要.经过实际数据集的实验检测,证明算法较好地保证了采样质量,并具有较快的数据处理能力.     

时空大数据的缺失数据流关联修复仿真

传统方法对缺失数据进行修复,通常存在填补效果较差、所需时间较长和填补准确度较低等问题。提出一种针对时空大数据的缺失数据流关联修复方法。方法首先利用数据流之间的关联规则创建条件函数依赖,然后对数据流之间的关联相似度进行计算,并通过该相似度结果进一步计算缺失数据的加权值,完成对缺失数据和相应的临界点之间融合情况的检测。最后选择最佳置信度方法决定缺失数据的修复顺序,以实现对时空大数据缺失数据流的修复。经过仿真证明,提出的方法对缺失数据流检测准确,且修复效果好,经过修复的数据流与原始时空大数据十分接近。     

滑动窗口模型下的优化数据流聚类算法

为提高对进化数据流的聚类质量及效率,采用聚类特征指数直方图支持数据处理,减少直方图结构的维护数,改进滑动窗口下的流数据聚类算法。实验表明,与传统基于界标模型的聚类算法相比,优化算法可获得较好的工作效率、较小的内存开销和快速的数据处理能力,拓展了流数据挖掘技术的应用领域。     

一种基于变尺度滑动窗口的数据流频繁集挖掘算法

基干传统滑动窗口机制的数据流频繁集挖掘算法较多地考虑快速且精确的效果,而较少考虑数据流的时变特性,对传统的滑动窗口机制进行改进.同时考虑数据流的海量特性和时变特性,提出一种基于变尺度滑动窗口机制的数据流频繁集挖掘算法V-Stream.该算法采用事务链表组的概要数据结构.能够根据数据流的数据分布变化自适应调整窗口大小.Eclipse上的仿真实验结果表明,V-Stream相比Manku算法提高了挖掘数据流频繁集的时间与空间效率.     

基于SBWS_GPR预测模型的不确定性多数据流异常检测方法

针对实际系统中采集的数据流的不确定性,给异常点检测与修正带来了现实挑战。因此,根据滑动基本窗口采样算法(sliding basic windows sampling,SBWB)与高斯过程回归(Gaussian process regression,GPR)模型的特性,提出了基于SBWS_GPR预测模型的不确定性多数据流的异常检测方法。在基于时间序列采集的历史数据集中,引入索引号,对历史数据集进行聚类,分析数据集与索引号的映射关系,将实时获得的输入数据流通过滑动窗口匹配,实现对单数据流的异常点检测与修正。再利用输入、输出数据间的相关性,基于GPR建立预测模型,比较实时观察的输出数据流与预测模型的输出数据流,最终从输入、输出两种不同通道实现多数据流的异常检测与修正。     

一种基于滑动窗口的数据流摘要构造算法

由于数据流具有无限、高速等特性,使得对数据流的查询处理往往不是面向整个数据流,而是把查询处理的范围限定在某个可操作的范围内,比如一个数据窗口。另一方面,通过数据摘要近似表达数据,也是数据流查询处理应对存储空间约束的常用策略。本文提出一种基于滑动窗口的数据流小波摘要构造算法,利用了窗口技术与数据摘要技术的优点。算法的基本思路是基于滑动窗口模型,将数据流划分成若干等宽基本窗口,每个基本窗口内数据进行小波分解与系数约简,从而形成滑动小波摘要窗口。为使窗口内数据摘要绝对重构误差最优,定义一个系数删减标准,采用贪心策略对窗口内小波系数逐步求精,从而获得最优绝对误差小波摘要。实际应用结果证明了算法的有效性。     

时间滑动窗口内基于密度的数据流聚类算法

为了提高数据流的聚类质量和效率,采用等时间跨度滑动窗口技术,然后利用改进的微簇结构保存数据流的概要信息,最后利用微簇删除策略,定期删除过期、孤立微簇。基于真实数据集与人工数据集的实验表明:与传统基于界标模型的聚类算法相比,该算法可获得较好的效率、较小的内存开销和快速的数据处理能力。     

滑动窗口数据流聚类算法在IDS中的应用

针对传统入侵检测系统难于适应日益增长数据量对实时处理能力的需求问题,运用滑动窗口、数据流聚类技术,设计了基于滑动窗口数据流聚类算法,并构建了基于该算法的IDS网络安全防御模型。通过对该模型仿真验证,证明该网络安全防御模型能较好地适应高速网络的入侵检测需求。     

n-of-N 数据流模型上高效概率Skyline 计算

研究概率数据流上的q-skyline计算问题.与只支持滑动窗口数据流模型的已有方法相比,所提出的方法能够支持更为通用的n-of-N数据流模型.采用将q-skyline查询转换为区间树上刺入查询的方法支持n-of-N数据流模型.提出PnNM算法维护支持n-of-N数据流模型所需的相关数据结构,高效处理了不确定对象候选集合更新和区间更新等维护工作;提出PnNCont算法实现连续查询处理.理论分析和实验结果表明,算法能够有效地支持概率数据流n-of-N模型上的q-skyline查询处理.     

挖掘滑动窗口中的数据流频繁项算法

滑动窗口是一种对最近一段时间内的数据进行挖掘的有效的技术,本文提出一种基于滑动窗口的流数据频繁项挖掘算法.算法采用了链表队列策略大大简化了算法,提高了挖掘的效率.对于给定的阈值S、误差ε和窗口长度n,算法可以检测在窗口内频度超过Sn的数据流频繁项,且使误差在εn以内.算法的空间复杂度为O(ε-1),对每个数据项的处理和查询时间均为O(1).在此基础上,我们还将该算法进行了扩展,可以通过参数的变化得到不同的流数据频繁项挖掘算法,使得算法的时间和空间复杂度之间得到调节.通过大量的实验证明,本文算法比其它类似算法具有更好的精度以及时间和空间效率.     

基于WSN的智能路灯控制系统的设计与实现

针对目前城市路灯控制系统存在的问题,提出了一种基于无线传感器网络(WSN)的智能路灯控制系统设计方案.系统以STC89C52RC为控制核心,nRF905为无线收发模块核心芯片,并配以相应的亮度自适应调节模块和传感器模块.实验证明,本装置能根据环境的光照强度和温度等的变化进行自适应调节亮度,同时还可以实现远程监测路灯,是一种智能化、网络化的控制系统.     

基于滑动窗口的RFID自适应数据清洗算法

RFID（射频识别）标签阅读器对操作环境的敏感性很高,导致其产生的RFID数据流不可靠,并含有大量的漏读,因此必须要对原始数据进行清洗。设计基于滑动窗口的自适应数据清洗算法,算法使用滑动窗口技术和二项分布模型计算合适的窗口大小,通过窗口子区间的监测结果和标签的状态来动态调整窗口大小。结果显示,在移动环境下本算法比SMURF算法产生的平均错误数少,性能更加优越,准确率和稳定性都有明显提高。      

非规则流中高维数据流典型相关性分析并行计算方法

为了满足在计算资源受限的环境下高维数据流处理的实时性要求,提出一种方法——基于GPU(graphic processing unit)的非规则流中高维数据流的处理模型和具体的可行架构,并分析设计了相关的并行算法.该六层模型是将GPU处理数据的高宽带性能结合进滑动窗口中数据流的分析,进而在该框架下基于统一计算设备架构(compute unified device architecture,简称CUDA),使用数据立方模型以及降维约简技术并行分析了多条高维数据流的典型相关性.理论分析和实验结果均表明,该并行处理方法能够在线精确地识别同步滑动窗口模式下高维数据流之间的相关性.相对于纯CPU方法,该方法具有显著的速度优势,很好地满足了高维数据流的实时性需求,可以作为通用的分析方法广泛应用于数据流挖掘领域.     

云加端的嵌套滑动窗口故障信号在线检测方法研究*

针对当前制造业生产线设备的故障检测效率以及检测方法通用性不高的问题,本文提出了一种云端融合的动态嵌套滑动窗口故障信号在线检测算法。该算法采用云服务跟智能终端在线检测相结合的架构,利用云服务大存储量和高计算速度、精度的优势,解决了终端设备对故障信号处理能力不足以及仅能对线上数据进行单次扫描的问题。云计算中心根据数据流的波动情况初步确定滑动窗口大小,再根据对异常信号的判断,向智能终端反馈故障信号的大小和相对位置,通过动态嵌套滑动窗口对其进行定位。理论分析和实验结果表明,该方法对周期信号有较好的通用性,而且有效提高了故障检测的效率。     

基于ZigBee网络和自适应PSD算法的路灯分布式节能控制方法

当前照明系统缺乏分布式路灯动态化控制,浪费大量能源,为此,提出了基于ZigBee网络和自适应PSD算法的路灯分布式节能控制方法。通过ZigBee网络通信连接系统传感器、控制中心和照明终端,协调设备通信功能,实现信息快速传输储存。利用神经网络处理信号数据,提高系统信号检测和处理效率。在此基础上,利用自适应PSD算法识别路灯信号动态特征,进行自适应信号检测,调节信号数据偏差,精确检测数据结果,增强系统节能控制稳定程度,实现路灯分布式节能控制。由实验结果可知,研究方法将分布式路灯检测精准度提高到99%,熔池宽度稳定在3.5W/mm,具有良好的检测精准度和控制稳定性,可以对路灯进行节能控制。     

一种基于自适应关联熵的关键字提取算法

相较于传统的依托词汇频率大小进行关键字提取技术,TextRank算法能够考虑词汇节点之间的相似性信息,却仍忽略了词汇上下文信息以及文章的语义结构等。在节点图权重迭代的基础上,本文利用文本上下文词汇的关联规则信息,引入关联熵的概念,自适应调整阻尼系数和滑动窗口大小,更贴近文本词汇的实际语义情况,能够较好地处理低词频和新词汇信息。实验表明,相较于TFIDF和TR等算法,本文算法在处理关键字提取时能够达到更准确的效果。     

基于双约束滑动时间窗口的告警预处理方法研究

在通信网告警相关性分析中,针对传统时间窗口提取告警数据效率低的问题,提出了一种基于双约束滑动时间窗口的告警预处理方法.在双约束的条件下,滑动时间窗的窗口宽度和滑动步长能够根据告警序列的实际情况自动地调整,并选取时间段的中点作为参照点.实验证明,采用双约束滑动时间窗划分算法可以获得比传统方法更高的数据提取效率,并且能够有效去除噪声数据,非常适合于通信网告警数据的预处理.