基于标签速度和滑动子窗口的RFID数据清洗算法

为提高非匀速RFID(Radio Frequency Identification)数据流情形下的数据清洗准确性,在传统数据清洗算法SMURF(statistical SMoothing for unreliable RFID data)的基础上,提出了一种基于标签速度和滑动子窗口的RFID数据清洗方法.该方法考虑到标签速度对滑动窗口调整的影响,依据标签速度动态调整置信度δ,同时进一步划分滑动窗口,对子窗口中的标签数据进行统计采样,并将其与整个滑动窗口的统计采样处理结果联合起来,以及时检测出标签的跃迁现象,从而准确判断标签的运动情况.实验表明,该方法有效地降低了平均错误率和积极读现象的出现频度,提高了数据准确性.     

一种基于动态标签的RFID不确定性数据清洗算法

基于自适应滑动窗口清洗算法SMURF(Statistical sMoothing for Unreliable RFid data)需要手动输入阈值δ,对于静态标签,δ的取值对平滑结果几乎没有影响;对于动态标签,结果会造成巨大的误差。针对以上的缺点,提出一种基于动态标签的RFID不确定性数据清洗算法DSUMRF(Dynamic tags-based SMURF)。另外,SMURF算法主要考虑RFID不确定性数据的漏读和错读,没有涉及到冗余数据的处理。在DSUMRF算法的基础上,提出一种RFID冗余数据清洗框架。对比实验表明,针对动态标签,DSMURF算法具有更好的性能。     

基于改进卡尔曼滤波的RFID数据清洗方法研究

采用RFID(radio frequency identification)技术在阅读器和动态电子标签之间进行通信,采集到的数据通常存在大量的脏数据。为更好支持高层应用,必须对原始数据进行清洗。针对标签频繁移动这一特点,将滑动窗口技术引入卡尔曼滤波模型,给出了一种改进的卡尔曼滤波模型,进而提出了一种基于改进卡尔曼滤波的RFID数据清洗方法。该方法在保证数据清洗准确率的基础上能有效解决标签动态跃迁带来的时间延迟问题,从而更加适用于标签频繁移动的场景。实验结果表明,该算法提高了清洗效率及准确率。     

基于伪事件的RFID数据清洗方法

传统的基于事件驱动的滑动窗口清洗方法只能处理理想的匀速RFID数据流,然而在实际应用中处理非匀速数据流时却会产生较大的输出延迟.为了解决滑动窗口清洗方法的输出延迟和海量中间数据,提出了一种基于伪事件的数据清洗方法PSCleaning.该方法通过在滑动窗口中增加伪事件处理机制,有效地减小了数据的输出延迟;通过对错读和重复读进行的一次性处理,明显缩减了数据量,提高了数据清洗的效率.     

一种基于多阅读器数据冗余的高效RFID数据清洗策略

随着RFID技术的发展,RFID的应用越来越广泛.然而,由于RFID硬件设备固有的限制和环境噪声的影响,造成了RFID原始数据的不确定性,使RFID在很多领域中的应用受到限制.现实应用中的部署环境通常由多个阅读器及大量标签组成,而现有的数据清洗算法大多只针对单个阅读器对标签的读取情况进行研究,因此在真实应用中的效果差强人意.本文综合考虑RFID的数据特性、阅读器和部署环境的先验知识以及具体应用中的约束条件三个方面,提出一种更贴近现实应用的基于多阅读器数据冗余的数据清洗策略LC-INFER(Location-Containment Inference):首先基于贝叶斯推理对数据进行初步清洗,其次结合基于物体间包含关系的平滑技术,并考虑约束条件对数据进行二次清洗以提高数据的准确性,最后部署真实供应链应用环境进行实际测试,并用大量仿真数据集进行模拟测试,验证了本文提出的RFID数据清洗算法的准确性及高效性.     

基于CSMA-CA机制的P-GFSA防碰撞算法设计

RFID系统由标签和阅读器组成,往往标签的数量远远大于阅读器,这样就容易产生标签碰撞问题。因此,标签防碰撞算法的性能直接决定了RFID系统中阅读器识别标签的能力和采集数据的速度。在分析了传统防碰撞算法的基础上,本文提出一种基于CSMA-CA机制的预分组GFSA防碰撞算法,并在有源RFID系统上实现。经过测试,该算法适合有源RFID系统,在大量标签处于动态的环境下,性能好于传统算法。     

利用RFID信号相位清洗出入管控设备数据

在实际应用中,RFID出入管控设备常常会因为环境干扰而读取到环境中的无关标签,或者是由于受到场地的限制,确实有无关标签存在于RFID出入管控设备的识读范围之内,这都会严重影响RFID出入管控设备的准确率。传统的数据清洗方法大多只能处理因环境干扰产生的多读问题,对于存在于识读范围内的干扰标签无能为力。通过分析具有出入行为的RFID标签与周边干扰标签返回信号在相位特征上的区别,提出了一种RFID数据清洗方法,该方法能够有效避免RFID出入管控设备的多读现象,且简单可行。经实验验证,当环境中存在10个以内干扰标签时,该方法能够在保证准确识读出入标签的同时,滤除干扰标签,且准确率达到92%以上;当环境中存在5个以内干扰标签时,准确率能够达到97%以上。本文的方法适用于库房、档案室、停车场等有出入管控需求的场合。     

用于RFID系统数据处理的排序邻居算法性能分析

结合RFID系统数据的数据结构,采用控制变量的方法,评估使用SNM(sorted neighborhood method)算法对RFID数据处理的性能影响因素,包括窗口大小以及SNM原始数据的重复数量。实验证明,使用SNM处理RFID读取到的数据的关键因素是重复数据所占比例和处理窗口的大小。实验也验证了使用随机窗口大小对优化处理性能没有影响。     

RFID交叉读仲裁方法研究

在密集RFID读写器部署环境中,读写器的实际探测区域与其所关注的空间单元之间存在空间失配现象,由空间失配引发的RFID数据交叉读问题会导致位置信息冲突,进而无法满足RFID上层应用的需求.基于交叉读仲裁概念的定义以及交叉读典型场景的抽象,文中提出了利用参考标签思想结合信号强度特征的相对定位技术来解决交叉读仲裁的新颖思路,设计并实现了基于滑动窗口的交叉数据读入检测和仲裁的核心算法.实验结果表明仲裁算法在不增加RFID读写器网络负载的条件下,可以在RFID数据流中有效、及时地检测出存在位置信息冲突的交叉读数据,并通过仲裁处理给出准确的相对位置归属信息.     

引入卡尔曼滤波的RFID数据清洗方法

RFID技术现已广泛应用在供应链、制药监管等领域,然而数据的不准确性制约了RFID技术的进一步发展.为提供高质量的RFID数据给高层应用,对RFID原始数据进行清洗十分必要.本文提出一种基于卡尔曼滤波过滤的数据清洗方法KAL-RFID,有效地解决了单个阅读器的消极读和积极读问题以及动态标签跃迁产生的延迟问题.实验结果表明KAL-RFID方法提高了清洗效率,并且得到更准确的清洗结果.     

带权值数据流滑动窗口随机抽样算法的改进

通过改进加权抽样算法,结合基本窗口技术,提出了两种面向带权值数据流上连续更新滑动窗口的随机抽样算法：WRSB算法和IWRSB算法。当新的数据元组到达时,根据数据元组的权值计算出该元组的键值,根据元组键值的大小决定其是否进入样本集以及样本集中被替换的数据元组,同时设置一个系统缓冲区来保存最近到达的键值较大的部分数据元组,作为过期数据元组的后备,使算法能够有效地处理过期数据元组问题。理论分析和实验结果表明,两种算法都能有效地处理带权值数据流上连续更新滑动窗口的随机抽样问题,相比较而言,IWRSB算法具有更好的性能。     

Mining frequent itemsets in data streams using the weighted sliding window model

In recent years, data stream mining has become an important research topic. With the emergence of new applications, the data we process are not again static, but the continuous dynamic data stream. Examples include network traffic analysis, Web click stream mining, network intrusion detection, and on-line transaction analysis. In this paper, we propose a new framework for data stream mining, called the weighted sliding window model. The proposed model allows the user to specify the number of windows for mining, the size of a window, and the weight for each window. Thus users can specify a higher weight to a more significant data section, which will make the mining result closer to user’s requirements. Based on the weighted sliding window model, we propose a single pass algorithm, called WSW, to efficiently discover all the frequent itemsets from data streams. By analyzing data characteristics, an improved algorithm, called WSW-Imp, is developed to further reduce the time of deciding whether a candidate itemset is frequent or not. Empirical results show that WSW-Imp outperforms WSW under the weighted sliding window model.     

一种基于滑动窗口的数据流相似性查询算法

相似性查询是一种非常重要的数据挖掘应用。由于数据流具有无限、高速等特性,传统的查询算法不能直接应用于数据流。提出了一种基于小波滑动窗口的多数据流相似性查询算法。算法首先将滑动窗口划分成若干等宽基本窗口,然后对每个基本窗口内的数据进行小波分解与系数约简,从而形成小波摘要窗口。执行相似性查询时,直接基于小波摘要进行计算,而无需数据重构。由于利用了小波分解的线性处理优点,算法具有较低的时间复杂度。最后,基于实际数据对算法进行了实验,实验结果证明了算法的有效性。     

Towards a variable size sliding window model for frequent itemset mining over data streams

Sliding window is a widely used model for data stream mining due to its emphasis on recent data and its bounded memory requirement. The main idea behind a transactional sliding window is to keep a fixed size window over a data stream. The window size is kept constant by removing old transactions from the window, when new transactions arrive. Older transactions of window are removed irrespective to whether a significant change has occurred or not. Another challenge of sliding window model is determining window size. The classic approach for determining the window size is to obtain it from the user. In order to determine the precise size of the window, the user must have prior knowledge about the time and scale of changes within the data stream. However, due to the unpredictable changing nature of data streams, this prior knowledge cannot be easily determined. Moreover, by using a fixed window size during a data stream mining, the performance of this model is degraded in terms of reflecting recent changes. Based on these observations, this study relaxes the notion of window size and proposes a new algorithm named VSW (Variable Size sliding Window frequent itemset mining) which is suitable for observing recent changes in the set of frequent itemsets over data streams. The window size is determined dynamically based on amounts of concept change that occurs within the arriving data stream. The window expands as the concept becomes stable and shrinks when a concept change occurs. In this study, it is shown that if stale transactions are removed from the window after a concept change, updated frequent itemsets always belong to the most recent concept. Experimental evaluations on both synthetic and real data show that our algorithm effectively detects the concept change, adjust the window size, and adapts itself to the new concepts along the data stream.     

Two-dimensional discrete cosine transform on sliding windows

The discrete cosine transform (DCT) has been successfully used for a wide range of applications in digital signal processing. While there are efficient algorithms for implementing the DCT, its use becomes difficult in the sliding transform scenario where the transform window is shifted one sample at a time and the transform process is repeated. In this paper, a new two-dimensional sliding DCT (2-D SDCT) algorithm is proposed for fast implementation of the DCT on 2-D sliding windows. In the proposed algorithm, the DCT coefficients of the shifted window are computed by exploiting the recursive relationship between 2-D DCT outputs of three successive windows. The theoretical analysis shows that the computational requirement of the proposed 2-D SDCT algorithm is the lowest among existing 2-D DCT algorithms. Moreover, the proposed algorithm enables independent updating of each DCT coefficient.     

基于滑动窗口的数据流闭合频繁模式的挖掘

频繁闭合模式集惟一确定频繁模式完全集并且数量小得多,然而,如何挖掘滑动窗口中的频繁闭合模式集是一个很大的挑战．根据数据流的特点,提出了一种发现滑动窗口中频繁闭合模式的新方法DS_CFI．DS_CFI算法将滑动窗口分割为若干个基本窗口,以基本窗口为更新单位。利用已有的频繁闭合模式挖掘算法计算每个基本窗口的潜在频繁闭合项集,将它们及其子集存储到一种新的数据结构DSCFI_tree中,DSCFI_tree能够增量更新,利用DSCFI_tree可以快速地挖掘滑动窗口中的所有频繁闭合模式．最后,通过实验验证了这种方法的有效性．     

基于基窗口的多维数据流相关性分析算法

多维数据流相关性分析的研究较少,且主要集中在单一滑动窗口分析。文中提出一种基于基窗口的在线典型相关分析算法(Base_win_CCA)。算法动态维护基窗口的统计量用于多维相关性分析,时空复杂度大为减少,并且可根据多用户并发请求获取多个窗口范围的相关性,较灵活,运算结果精确。理论分析和实验结果表明算法在基窗口越大,相关性查询窗口越大,数据流条数越多,查询用户越多的情况下能体现出优越的性能。     

可变滑动窗口在数据流频繁模式挖掘上的应用

为了更好的挖掘数据流,对传统的滑动窗口机制进行改进,提出一种大小可变的滑动窗口机制的数据流频繁集挖掘算法DS-stream算法.该算法能够根据数据流的数据分布变化自适应调整窗口大小,节省了没必要的空间与时间消耗.算法采用一种分区窗口机制,结合基本窗口和时间窗口,同时考虑数据流的海量特性和时变特性,利用前缀树的概要数据结...     

面向轨迹数据流的KNN近似查询

提出一种基于滑动窗口的K-最近邻(KNN)近似查询算法。将滑动窗口内数据通过聚类划分成若干大小不一的基本窗口,针对每个基本窗口给定一个采样率,对窗口内数据进行偏倚采样,形成数据流摘要,并基于该摘要,采用计算几何平面扫描算法执行分布式最近邻查询。仿真实验结果表明该算法有效,且具有较好的可扩展性。     

窗口模式下在线数据流中频繁项集的挖掘*

拟采用一种基于滑动窗模式的单遍挖掘算法,专注于处理近期数据;为了减少处理时间和占用的内存,设计了一种新的事务表示方法。通过处理这个事务的表达式,频繁项集可以被高效输出,并解决了使用基于Apriori理论的算法时,由候选频繁1-项集生成频繁2-项集时数据项顺序判断不准确问题。该算法称为MRFI-SW算法。