面向RFID数据流冰川查询的世系追踪模型

为了获得RFID数据流中热门元素以及相关起源的信息,需要对RFID数据流进行带起源信息的冰川查询。以RFID数据流中单个数据对象的世系追踪为研究对象,分析在海量RFID数据流基础上返回极少查询结果的冰山查询执行机理,初步建立一个面向RFID数据流冰山查询的数据流世系跟踪原型模型。     

一种数据流上的多Top-k查询资源共享技术研究

随着传感器网络、大规模实时监控等相关技术的发展和应用,出现了大量的流式数据,如何对这些数据进行查询分析是目前研究的热点.Top-k查询作为一种基础聚集查询,在很多领域起着重要作用.主要研究对于具有不同时间窗口的多个Top-k查询,如何提高资源共享的性能.提出了一种资源共享策略RS-Tpk,充分利用了Top-k查询本身的特点,通过在不同切片间进行数据传递,提高切片间资源共享的范围,降低了计算时间.详细的实验和理论分析证明了该方法的有效性.     

基于相反分类器的数据流分类方法

目前挖掘概念流动的数据流已经成为研究的热点。概念流动的数据流分类在预防信用卡欺诈,网络入侵发现等应用中具有重要的应用。本文定义了一种相反分类器来从错误中学习,提出了训练一个集合分类器来对具有概念流动的数据流进行分类的算法IWB。通过在合成数据集和benchmark上的实验,与Weighted Baggging算法比较,表明我们的算法具有更高的准确度,更快地收敛到新的目标概念的性能。     

高速数据流实时存储的实现方案

针对高速数据采集应用中的大容量、高速、实时存储问题,提供了一种使用凌华公司的PCI-7300A和PCI-DASK、Adaptec公司的SCSI控制器29160和ASPI等产品的解决方案.该解决方法具有简便易行、可靠、成本低等优点.     

一种基于管道方式的数据流监控方法

在企业的生产经营活动中,对各类信息系统产生的数据流进行实时监控,有助于发现业务之间的关联性,从而为企业的业务流程优化和管理决策提供助力。本文论述一种基于业务数据隐含的关联性、数据流变化的联动性和延迟性,实现数据流监控和分析的方法,详细论述了方法中管道、数据流的概念和构建方法。通过应用实例表明本方法具有可行性。     

数据流选择性集成的两阶段动态融合方法

选择性集成分类算法虽能提高集合分类器在整体数据集上的分类性能,但针对某一具体数据进行分类时,其选择出的个体分类器集合并不一定是最优组合。为此,从数据自适应角度出发,提出一种数据流选择性集成的两阶段动态融合方法,利用待分类数据所在特征空间中的位置,动态选择个体分类器集合,并对其进行分类。理论分析和实验结果表明,与GASEN算法相比,该方法的分类准确率更高。     

在线挖掘数据流闭合频繁项集CMNL-SW算法

提出了一种新的CMNL-SW(Closed map and num list-sliding window)挖掘算法。具体使用数据结构Closedmap存储挖掘到的闭合项集和Num list存储所有不同项的序号,通过对添加新事务和删除旧事务包含的项序号进行简单的并集和该事务与之相关已经挖掘到的闭合项集进行交集运算来更新当前滑动窗口,使之能够根据用户任意指定的支持度阈值在线输出数据流上闭合频繁项集信息。通过理论分析和对真实数据集Mushroom,Retail-chain和人工合成数据集T40I10D100K的挖掘结果表明,提出的算法在时空效率上明显优于同类经典算法Moment和CFI-Stream,并且随着数据流上处理事务数的递增和快速改变表现出良好的稳定性。     

基于Lip-切比雪夫方法的数据流异常检测分析①

近年来计算机软硬件性能飞速发展,数据流被广泛应用于传感器阵列、互联网信息的传输、数据决策支持系统(DSS)等诸多领域。数据流的传输速度越来越快,传输规模越来越大,人们对数据处理的时间要求越来越高。利用Lipschitz指数和切比雪夫定理,提出了一种数据流异常检测的算法,与传统方法相比具有同时包含整体和局部数据信息、计算量稳定的特点。     

非平衡概念漂移数据流主动学习方法

数据流分类研究在开放、动态环境中如何提供更可靠的数据驱动预测模型, 关键在于从实时到达且不断变化的数据流中检测并适应概念漂移. 目前, 为检测概念漂移和更新分类模型, 数据流分类方法通常假设所有样本的标签都是已知的, 这一假设在真实场景下是不现实的. 此外, 真实数据流可能表现出较高且不断变化的类不平衡比率, 会进一步增加数据流分类任务的复杂性. 为此, 提出一种非平衡概念漂移数据流主动学习方法(Active learning method for imbalanced concept drift data stream, ALM-ICDDS). 定义基于多预测概率的样本预测确定性度量, 提出边缘阈值矩阵的自适应调整方法, 使得标签查询策略适用于类别数较多的非平衡数据流; 提出基于记忆强度的样本替换策略, 将难区分、少数类样本和代表当前数据分布的样本保存在记忆窗口中, 提升新基分类器的分类性能; 定义基于分类精度的基分类器重要性评价及更新方法, 实现漂移后的集成分类器更新. 在7个合成数据流和3个真实数据流上的对比实验表明, 提出的非平衡概念漂移数据流主动学习方法的分类性能优于6种概念漂移数据流学习方法.     

一种基于HLA的通用仿真数据收集方法

随着HLA技术在国内的发展,开发基于RTI平台的通用仿真工具已经成为潮流。在开发过程中所要解决的一个关键问题就是如何达到通用。传统上有利用MOM类和动态编译两种方法,但都有其局限性。该文提出了一种新的通用仿真数据收集方法（General Simulation Data Collect,GDSC）方法。该方法的实现由配置模块、动态订购模块和解包模块三个模块构成。通过配置模块获得订购信息,动态订购模块进行订购,解包模块解析出具体数据内容,成功地解决了“与具体仿真应用的无关性”和“仿真过程中与具体仿真过程相关性”之间的矛盾,实现了“通用”。     

一种适应性的流式数据聚集计算方法

针对流式数据聚集查询问题,提出了一种基于适应性层次聚集树的计算方法。适应性层次聚集树结构基于多层次时间窗口模型,将距离当前时刻较近的数据保存为细粒度数据,而相对久远的数据仅保留高层聚集信息;适应性层次聚集树中粒度的划分取决于相应时间间隔的数据密度。稀疏密度的时间间隔对应粗粒度的划分,而高密度的间隔对应细粒度的划分。并且提出了相应的构建维护以及聚集查询计算方法。实验结果表明,该方法在非均匀分布条件下的流式数据聚集计算中具有较为明显的优势。     

基于优化策略的不确定数据流预测方法

为解决不确定数据流的预测问题,根据数据流高速、无限和动态不确定性的特点,在复杂人工智能预测和时间序列预测的基础上,提出一种基于优化策略的预测方法。综合考虑数据流中元组的不确定性与不确定异常性,以降低预测计算代价。同时考虑不确定的统计特性对卡尔曼滤波预测的影响,对Q和R进行异步优化估计,以形成最佳状态预测。实验结果表明,该方法的预测性能较好。     

对局域网的数据包流向与流量的获取方法

掌握、分析、控制局域网中的数据流向与流量是目前网络管理员都要做好的一件事,根据TCP/IP体系结构中各协议的基本工作原理进行网络管理是目前网管人员的基本思路,利用目前网络传输设备的性质进行网络管理是实现网管的基本方法.本文就目前局域网中使用最多的网络设备Hub和Switch,分别进行这个方面的探讨.     

一种支持流数据的查询语言

流数据的查询应用十分广泛,而标准SQL语言不支持这类查询功能,因此有必要对标准SQL语言进行扩展,以满足流数据的查询应用需求。支持流数据的查询语言StreamSQL在标准SQL语言的基础上增加了对流数据对象的处理机制,通过引入滑动窗口的概念,以支持流数据与关系表的相互转换操作,同时提供用户自定义函数功能,弥补了SQL在流数据处理方面的不足。     

正整参数估计的实验数据统计分析

本文对化学实验中常出现的,具有线性模型的正整参数估计问题,提供了一种统计分析方法,并给出了一个完整算法,由计算机程序实现。这种算法对实验教学也十分有用,可以及时、准确地对学生的实验数据作出定量的评价。     

面向流式处理系统的对象管理方法

在车联网的应用实践中,人们将分析车辆数据的任务运行在流式计算系统中。在运行分析中发现,这些任务具有运行周期长,处理延迟低,任务有状态等需求和特点,并且计算过程中需要在内存中保存大量计算参数和中间状态等数据对象,其中大量的数据对象并不活跃,任由其占用内存造成了系统资源的浪费。针对该问题开展研究,给出了流式任务的数据对象管理方法,优化了内存的使用。为流式数据对象建立生命周期模型,采用应用驱动、数据驱动的模型参数确定方法为流式数据对象设置合适的过期参数,设计车联网测试用例,验证该生命周期管理方法的有效性。实验结果表明,该方法在用户可接受的处理延迟范围内,能够有效地减少流式系统中不活跃对象的数目,达到了优化内存,降低资源开销的目的。     

数据流中孤立点识别方法

针对基于聚类分析及基于孤立点检测的入侵检测方法的局限,根据数据流的特点,提出了一种数据流中孤立点动态识别方法。该方法使用动态微粒群算法对特征空间中当前主要聚类的特征点进行追踪,通过计算数据流中数据对象与特征点的距离来判断数据对象的性质。将该方法应用于入侵检测而进行的实验证明了方法的有效性。     

基于GEP方法的数据流预测模型

传统的预测建模方法有曲线拟合、线性回归分析等,这些方法通常只适用于求解结构简单的多项式函数。该文采用基因表达式程序设计方法,该算法简便、易于遗传操作,并且其搜索空间广阔,函数复杂度高,能广泛适用于各种类型的数据流预测。在此基础上,提出当预测模型失效时的大变异策略,收到了很好的效果。     

数据流上的最大频繁项集挖掘方法

最大频繁项集适用于内存空间有限的数据流挖掘。为此,提出一种基于界碑模型的最大频繁项集挖掘方法,采用最大频繁项集树的数据结构,增量式地维护最大频繁项集与部分附属信息,实现项集的快速搜索和裁剪。在MUSHROOM和BMS-POS数据集上的实验结果表明,该方法具有较高的挖掘效率。