多数据流滑动窗口并发连接方法

提出一种多数据流滑动窗口连接方法M3Join及其实现架构Roujoin. Roujoin由一个连接路由表和多个连接区组成,其内容根据并发连接请求设置,先将新元组插入缓冲区,然后根据其路由标记查找连接路由表进入合适的连接区执行连接或输出给用户.如果产生连接元组,则更改其路由标记后送回连接路由表,并反复迭代直到没有连接元组.由于共享中间结果,在处理多个并发查询时只需扫描流元组一遍.实验结果表明M3Join具有良好的性能,能够满足并发连接查询处理的需求.     

应对倾斜数据流在线连接方法

并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销。相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源。基于完全二部图的连接模型可支持分布式数据流的连接操作。因为连接操作的每个关系仅存放于二部图模型的一侧处理单元,无需复制数据,且处理单元相互独立,因此该模型具有内存高效、易伸缩和可扩展等特性。然而,由于数据流速的不稳定性和属性值分布的不均衡性,导致倾斜数据流的连接操作易出现集群负载不均衡的现象。针对倾斜数据流的连接操作,模型无法动态分配查询节点,并需要人工干预数据分组的参数设置。尤其是应对全部历史数据的连接查询,模型效率更低。基于上述问题,提出了管理倾斜数据流连接的框架,使用基于键值和元组混合的划分样式有效应对二部图模型的各侧倾斜数据。并设计了重新动态分配查询节点的策略和状态迁移算法,以支持全历史数据的连接查询和自适应的资源管理。针对合成数据和真实数据的实验表明,该方案可有效应对倾斜数据的连接操作并进一步提升分布式数据流管理系统的吞吐率,特别是降低云环境中的计算成本。     

数据流上加权共享滑动窗口的连接查询处理算法

在数据流应用中,系统经常需要处理大量的滑动窗口连续查询,采用共享滑动窗口技术可以有效节省存储空间,提高系统整体的查询处理能力。但是共享滑动窗口技术会增大单个查询的响应延迟,降低单个查询的服务质量。针对这个问题,论文提出了加权共享滑动窗口的概念,并提出了三种优化的连接执行算法,优先响应重要的滑动窗口查询,从而提高了系统整体的服务质量。理论分析和实验结果表明论文提出的方法是行之有效的。     

无线传感器网络中top-k连接查询处理

无线传感器网络是物联网核心组成部分之一,数据查询处理是无线传感器网络中很重要的一个研究领域.连接查询能在不同的位置监视相似的网络环境,top-k连接查询能进一步得出组合得分最大(或最小)的k个相似网络环境.top-k连接查询根据得分函数计算匹配结果的组合得分,并报告组合得分结果最大(或最小)的k个匹配节点对.文中提出了基本top-k连接算法BTJQ.该算法首先按照得分属性值从大到小对所有元组排序,然后依次取出元组,产生连接结果.对每个连接结果按照得分函数计算组合得分,如果满足停止条件,则停止取元组,并输出连接结果.在BTJQ基础上,作者提出了集中式top-k连接算法CTJQ和优化的集中式top-k连接算法OCTJQ.针对特定应用场景,作者进一步提出了分布式top-k连接算法DTJQ.最后,在真实数据集上验证了各算法.实验结果表明,文中算法好于经典连接算法SENS-Join.     

传感器网络中能量高效的区域连接算法研究

提出了一种能量有效的区域连接算法PTRJ(power-effective two region join).在PTRJ中,首先利用基于域的分布式数据汇聚模型DDAM(distributed data aggregation model)把传感器网络按域划分来构建连通核,查询只需在连通核中寻径,因而能明显减少寻径时间复杂度并且具有更好的分布性.在区域连接算法中,借鉴分布式数据库中半连接的思想,只是把连接属性中的元组投送到路径中的某个区域进行匹配运算,并不需要把整个连接表在网络中进行发送,因而能够更好地节省能量.理论分析和实验表明该算法较传统算法在节省能量上有更好的表现.     

无线传感器网络多应用场景下的安全数据融合方案

针对无线传感器网络多应用场景下异构数据的安全融合问题,提出了一种轻量级的安全数据融合保护方案,该方案可同时保障数据的隐私性、完整性和新鲜性。首先,以当前融合轮数和节点预置密钥作为哈希函数的输入,为节点更新每个融合周期的密钥;其次,采用同态加密技术,使中间节点能够对密文直接执行融合操作;然后,采用同态消息认证码,使基站能够验证融合数据在传输过程中是否被篡改;进一步,对明文信息采用编码机制,以满足多应用场景下异构数据聚集的使用需求。理论分析和仿真结果表明,该算法具有较好的安全性、较低的通信开销和更高的融合精确度。     

Utilizing Voronoi Cells of Location Data Streams for Accurate Computation of Aggregate Functions in Sensor Networks

Sensor networks are unattended deeply distributed systems whose database schema can be conceptualized using the relational model. Aggregation queries on the data sampled at each sensor node are the main means to extract the abstract characteristics of the surrounding environment. However, the non-uniform distribution of the sensor nodes in the environment leads to inaccurate results generated by the aggregation queries. In this paper, we introduce “spatial aggregations” that take into consideration the spatial location of each measurement generated by the sensor nodes. We propose the use of spatial interpolation methods derived from the fields of spatial statistics and computational geometry to answer spatial aggregations. In particular, we study Spatial Moving Average (SMA), Voronoi Diagram and Triangulated Irregular Network (TIN). Investigating these methods for answering spatial average queries, we show that the average value on the data samples weighted by the area of the Voronoi cell of the corresponding sensor node, provides the best precision. Consequently, we introduce an algorithms to compute and maintain the accurate Voronoi cell at each sensor node while the location of the others arrive on data stream. We also propose AVC-SW, a novel algorithm to approximate this Voronoi cell over a sliding window that supports dynamism in the sensor network. To demonstrate the performance of in-network implementation of our aggregation operators, we have developed prototypes of two different approaches to distributed spatial aggregate processing. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. GIS'04, November 12–13, 2004, Washington DC, USA. Copyright 2004 ACM 1-58113-979-9/04/0011...$5.00.     

Experiential Sampling on Multiple Data Streams

Multimedia systems must deal with multiple data streams. Each data stream usually contains significant volume of redundant noisy data. In many real-time applications, it is essential to focus the computing resources on a relevant subset of data streams at any given time instant and use it to build the model of the environment. We formulate this problem as an experiential sampling problem and propose an approach to utilize computing resources efficiently on the most informative subset of data streams. In this paper, we generalize our experiential sampling framework to multiple data streams and provide an evaluation measure for this technique. We have successfully applied this framework to the problems of traffic monitoring, face detection and monologue detection.     

Retrieval of Spatial Join Pattern Instances from Sensor Networks

We study the continuous evaluation of spatial join queries and extensions thereof, defined by interesting combinations of sensor readings (events) that co-occur in a spatial neighborhood. An example of such a pattern is “a high temperature reading in the vicinity of at least four high-pressure readings”. We devise protocols for ‘in-network’ evaluation of this class of queries, aiming at the minimization of power consumption. In addition, we develop cost models that suggest the appropriateness of each protocol, based on various factors, including selectivity of query elements, energy requirements for sensing, and network topology. Finally, we experimentally compare the effectiveness of the proposed solutions on an experimental platform that emulates real sensor networks.

无线传感器网络中基于多属性决策的数据转发算法

如何在严格的能量约束下均衡传感器节点能耗、延长网络生存时间是无线传感器网络数据转发研究中的一个难题.利用多属性决策理论提出了一种基于多属性决策的数据转发(multiple attribute decision making based data forwarding, MadmDF)算法来解决该问题.MadmDF算法综合评价备选数据转发节点的属性信息,从中选择最优邻居节点进行数据转发,使网络数据流量得到了合理的分配,从而均衡了网络能耗,延长了网络生存时间.仿真结果表明该算法与同类数据转发算法相比具有一定优越性.     

一种基于多路径的传感器网络安全数据传输机制

本文针对传感器网络提出了一种基于多路径的安全数据传输方案,通过在多条路径上分发数据,达到增强机密性和鲁棒性的目的。针对数据机密性,设计基于异或计算的编码方式,使得攻击者解析任何数据片段的难度等同于攻占所有的K条路径。针对传输的鲁棒性,设计了数据分发算法以及备份与校验相结合的容错模式,实现了容忍多条路径失效的数据传输,并且具有适度的数据冗余、理想的路径利用率以及快速的数据恢复能力。     

PEJA: Progressive Energy-Efficient Join Processing for Sensor Networks

Sensor networks are widely used in many applications to collaboratively collect information from the physical environment. In these applications,the exploration of the relationship and linkage of sensing data within multiple regions can be naturally expressed by joining tuples in these regions. However,the highly distributed and resource-constraint nature of the network makes join a challenging query. In this paper,we address the problem of processing join query among different regions progressively and energy-efficiently in sensor networks. The proposed algorithm PEJA(Progressive Energy-efficient Join Algorithm) adopts an event-driven strategy to output the joining results as soon as possible,and alleviates the storage shortage problem in the in-network nodes. It also installs filters in the joining regions to prune unmatchable tuples in the early processing phase,saving lots of unnecessary transmissions. Extensive experiments on both synthetic and real world data sets indicate that the PEJA scheme outperforms other join algorithms,and it is effective in reducing the number of transmissions and the delay of query results during the join processing.     

数据流上基于扩展窗口模型的连接维护算法

随着数据流查询处理在越来越多的领域得到应用,现有的窗口模型和处理方法已无法满足复杂的需求,需要进行模型的改进和操作的优化.提出了一种扩展的窗口模型来表达更丰富的语义,并针对该模型利用元组位置信息对连接操作的批处理过程和结果维护进行了查询的优化.在此基础上,针对用户实时需求提出一种动态Hop调整策略.实验表明,该方法在时间和空间都获得了较好的性能.     

高维数据流的在线相关性分析

为了解决在资源受限的计算环境下快速检测高维数据流之间相关性的问题,提出一种新颖的在线典型相关性分析(CCA)算法QuickCCA, 针对传统CCA计算中的性能瓶颈, 首先采用不等概列采样技术约减流元组的数量,形成概要矩阵; 然后在概要矩阵的基础上增量地计算多维数据流之间的前k个典型相关系数.经理论分析和实验证明,QuickCCA能够在线精确地识别同步滑动窗口模式下多维数据流之间的相关性.与已有分析多数据流相关性的算法相比,QuickCCA显著地降低了计算复杂度,并且能够在精度和性能之间折中,可以作为通用的分析工具广泛应用于数据流挖掘领域.     

基于相关分析的多数据流聚类

提出基于相关分析的多数据流聚类算法.该算法将多数据流的原始数据快速压缩成一个统计概要.根据这些统计概要,可以增量式地计算相关系数来衡量数据间的相似度.提出了一种改进的k-平均算法来生成聚类结果.改进的k-平均算法可以动态、实时地调整聚类数目,并及时检测数据流的发展变化.还将算法应用到按照用户要求的聚类问题(COD),使得用户可以在任意的时间区间上查询聚类结果.提出了一种合理的时间片断划分机制,使得用户指定的任意时间区间都可以由这些时间片断组合而成.在模拟和真实数据上的实验结果都表明,该算法比其他方法具有更好的聚类质量、速度和稳定性,能够实时地反映数据流的变化.     

RFID数据流上多目标复杂事件检测

已有的RFID复杂事件处理技术主要关注于单个RFID对象的复杂事件检测和优化技术.实际上,很多RFID应用中往往需要同时检测多个同类型关联目标的复杂事件序列.研究了多个关联的RFID对象的复杂事件处理问题.通过扩展的事件语言和算子的语义以支持同类型多个RFID目标复杂事件查询的定义.通过模式的变换规则,将RFID应用中存在的各种非线性多目标复杂事件模式转换成线性模式,以便各种多目标模式在一个统一的框架下检测.提出了基于自动机NFA\\-{b2}的多目标复杂事件检测模型和多目标复杂事件检测算法.通过在多目标检测算法中使用关键节点下压和同位置约束置后优化策略,大大减少了单个类型上无用实例的数目和不同类型间模式匹配的搜索空间.与SASE算法的实验比较表明算法的正确性和高效性.     

无线传感器网络中的数据融合

在传感器网络中高效率的传感数据融合方式和使传感器网络工作更长的时间存在的一定的矛盾。因此在本文中我们使用能量和延迟度量并且我们提出了一种方案试图去平衡在数据融合时产生的能量消耗和延迟。     

无线传感器网络中的分频数据分发协议

从数据源到数据接收者的数据分发是无线传感器网络的重要功能．本文提出了分频数据分发协议，该协议通过多棵分发树对数据接收者进行数据分发，从而最大限度地重用数据传输路径．实验表明，在数据接收者较多的情况下，分频数据分发协议比现有最好的数据分发协议SEAD的加权路径长度要短15％左右，从而有效节省了分发数据的能量消耗，延长了系统生命期．     

无线传感器网络中的数据融合

在传感器网络中高效率的传感数据融合方式和使传感器网络工作更长的时间存在的一定的矛盾。因此在本文中我们使用能量和延迟度量并且我们提出了一种方案试图去平衡在数据融合时产生的能量消耗和延迟。