数据流滑动窗口连接查询降载策略研究

主要研究了在有限内存条件下数据流滑动窗口的近似连接查询,即数据流滑动窗口连接查询的降载问题。通过对连接属性域的划分,根据数据元组的连接属性值在属性域中的数据分布来决定每个数据元组进入参加连接运算的滑动窗口的概率,给出了一种面向数据流滑动窗口连接查询的语义降载策略。与已有的语义降载策略相比,文中给出的降载策略所需的数据统计信息较少,连接运算的结果数据元组便于进一步进行其它查询处理,并且对于各种倾斜(skew)参数的数据分布和不同程度的系统超载都有较好的适应性。理论分析和实验结果表明,该降载策略对数据流滑动窗口连接查询的降载处理具有较高的有效性和实用性。     

数据流管理系统TelegraphCQ的研究

数据流是近年来出现的一种新的数据形式,这类数据的特点是以连续的、实时的、无限的形式出现.针对传统的数据库的查询处理技术已经不适合数据流的问题,研究了数据流管理系统TelegraphCQ的开放源码,在此基础上详细阐述了TelegraphCQ的系统结构、TelegraphCQ的数据管理方案和查询处理技术,同时给出了建立TelegraphCQ的详细步骤及其使用方法.     

一种数据流块查询操作符的设计与实现

为了使块操作符和状态操作符有效处理连续到达的数据流元组,研究了基于Punctuation的数据流连续查询处理技术.描述了分组操作符Group-by和状态操作符Join的处理规则,设计了相关的数据结构,给出了基于Punctuation的块操作符Group-by和状态操作符Join的处理过程,并对执行结果进行了分析和测试.结果表明,使用基于Punctuation的查询处理技术有助于提高块操作符和状态操作符对数据流的查询处理性能.     

RFID数据流管理关键技术

新一代传感器和RFID（无线射频识别）技术为人们提供了强大的感知、理解并管理世界的能力,同时RFID数据具有不确定性、冗余性、蕴含时空性、需要在线处理等特点,也为数据管理提出了许多挑战.本文回顾了RFID数据管理的研究发展现状,从数据流连续查询、物化视图推导规则、复杂事件处理等角度分析了RFID数据管理涉及到的几种关键技术,最后介绍一种数据流驱动的RFID复杂事件处理系统（GodEye Event Processor）的设计思想,将RFID事件查询设计成复杂连续查询,能够有效捕捉并处理复杂RFID事件.     

一种基于数据流驱动的数据流连续查询模型

建立了基于数据流驱动的数据流连续查询模型,介绍了系统结构和解决方案,设计了一些通用的查询算子,并通过查询算子在查询链中的有序组合来构造出各种复杂的连续查询语句。实验表明,该模型可扩充性强,操作简单,适合小规模的数据流查询需要。     

基于频繁密度分布模式的不确定数据流查询方法

针对当前不确定数据流相似性查询问题中不确定对象建模不准确的问题,提出了一种面向不确定数据流的相似性查询方法 HB-UTS。利用非参数估计方法对不确定数据流中的对象建模,得到不确定对象的密度函数。通过谱聚类方法挖掘密度函数的频繁模式,将挖掘后的模式抽象为语义表示的不确定数据流序列。在相似性查询阶段,通过高阶Markov的状态转移矩阵模型构建不确定数据流的索引结构,它在记录不确定数据流存储地址的同时还记录序列元素的存储概率,可有效提高数据流的分步输入查询效率。本文进行了真实与仿真相结合的方法,通过在随机化处理后的真实数据集上的实验以及与其他相似性查询方法的比较,验证了HB-UTS在处理大规模不确定数据流时较好处理能力以及实施效果。     

一种基于变窗口的数据流连续查询方法

目前对数据流连续查询的研究工作大部分基于滑动窗口,窗口大小固定不变.本文从内存资源有限性与查询结果精确性角度出发,采用可变窗口技术,在缓存中加入窗口控制器,当数据到达缓存时,根据用户提出查询具体问题和数据流速情况,窗口分配算子对其进行窗口大小的划分.使得在内存资源有限的情况下,通过动态改变滑动窗口大小,充分利用系统资源,降低内存使用率的同时,使连续查询的查询结果都在允许的误差范围内,此方法经过验证是可行的.     

数据流窗口语义及查询引擎的实现

数据流窗口主要采用了基于时间、元组和分组的3种驱动形式,如果仅采用一种驱动形式难以正确表达数据流查询语义,因此,针对数据流查询语义的不完备性,从窗口的查询级、数据级和系统级定义了一个完整的窗口语义框架来解决语义差异,并提出了基于主存数据库的分组窗口驱动的实现,最后通过实验验证了该方法.     

基于聚类的数据流挖掘技术的分析与研究

随着数据采集和通信技术的发展,对时时变化的不同来源的信息即数据流,实施实时监控将成为可能.数据流是大量的连续变化的数据序列,传输速度快,传统的挖掘算法将被适合于挖掘量大、能自由出入的数据流的技术所代替.笔者提出了用聚类技术来改进数据流挖掘的问题.笔者对K-均值算法、基于网格的统计聚类算法、回归分析算法等适用于数据流挖掘的算法进行了研究和分析,并对它们进行了比较.     

星载SAR实时成像处理器的片上数据组织及访问策略

星载SAR成像需对大量输入数据进行实时成像处理,且功耗受限,设计高效率异构阵列处理器是满足功耗约束和实时性要求的有效方法,而片上数据组织结构和访问策略是设计的关键.在分析典型的CSA(chirp scaling algorithm) SAR成像算法的基础上,提取了SAR成像的数据流模型.提出了一种跨区域交叉放置和数据排...     

Load Shedding Strategy Based on Combined Feed-Forward Plus Feedback Control over Data Streams

In data stream management systems (DSMSs), how to maintain the quality of queries is a difficult problem because both the processing cost and data arrival rates are highly unpredictable. When the system is overloaded, quality degrades significantly and thus load shedding becomes necessary. Unlike processing overloading in the general way which is only by a feedback control (FB) loop to obtain a good and stable performance over data streams, a feedback plus feed-forward control (FFC) strategy is introduced in DSMSs, which have a good quality of service (QoS) in the aspects of miss ratio and processing delay. In this paper, a quality adaptation framework is proposed, in which the control-theory-based techniques are leveraged to adjust the application behavior with the considerations of the current system status. Compared to previous solutions, the FFC strategy achieves a good quality with a waste of fewer resources.     

基于多线程的不确定移动对象连续k近邻查询

针对不确定数据下的大规模连续k近邻查询请求,基于不确定移动对象连续k近邻查询的Rate方法,提出高效的基于多核多线程的并行查询处理框架.根据查询对象的运动速度与相对位置确定查询请求间是否采用查询复用,确定查询复用时的距离边界.提出密度网格扩展的多线程数据分发方法,解决了负载均衡问题,将空间位置相邻的查询请求划分到同一线程,提高查询复用率.通过多线程间的内存共享机制,对计算过的移动对象的预测区域实现计算复用.在大规模交通数据集上验证了所提算法的有效性与查询性能,相比传统的Rate方法,所提并行算法的加速比可达37.     

XML更新流的XQuery查询

针对在XML流上执行XQuery查询处理,精确输出查询结果的问题,给出了一种基于XML更新流的解决方案.在XML流中动态地插入更新事件,得到XML更新流,以达到获取连续精确的结果.XQuery查询语言在XPath路径查询的基础上使用FLWOR表达式实现XML数据流的复杂查询.将主Xpath式进行提取,分出绝对路径和相对路径,把有依赖关系的路径进行合并,重写FLWOR表达式,提高XQuery的查询效率.实验结果表明,提出的方法能够提高执行效率,得到精确的查询结果.     

伪连续导电模式Boost PFC变换器研究

分析工作于伪连续导电模式(PCCM)的Boost功率因数校正(PFC)变换器,设计电压环与电流环并行的控制环路。针对传统连续导电模式(CCM)和不连续导电模式(DCM)Boost PFC变换器负载功率范围受限的问题,研究以负载电流为基准量实时调整参考电流的控制策略,给出其网侧输入电流和功率因数的表达式。为了在宽输入电压范围内提高正弦参考电流控制三态PCCM Boost PFC变换器的功率因数(PF),提出非正弦参考电流控制算法。此外建立小信号模型给出其频域分析结果。最后通过实验结果验证了理论分析的正确性。     

数据流上基于遗传算法的并行查询优化技术

传统数据库中存储的是相对静态的记录集,这些记录没有预先定义的时间概念,除非时间属性被显示地加上去.虽然这个模型能够较好地表示商业数据库和个人信息存储库,然而它对快速变化的数据流进行在线分析的支持存在很多限制.因此,需要对已有技术进行扩展研究,构建出新的管理系统来管理数据流.数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理速度成为数据流管理系统（DSMS）的关键;本文主要讨论了DSMS的核心技术———查询优化;着重研究了在shared-nothing机群并行系统中,通过并行查询处理技术来提高数据流处理速度的新方法.     

Continuous query scheduler based on operators clustering

Data stream management system (DSMS) provides convenient solutions to the problem of processing continuous queries on data streams.Previous approaches for scheduling these queries and their operators assume that each operator runs in separate thread or all operators combine in one query plan and run in a single thread.Both approaches suffer from severe drawbacks concerning the thread overhead and the stalls due to expensive operators.To overcome these drawbacks,a novel approach called clustered operators sc...     

针对电力系统薄弱状态的自动攻击策略

针对目标电力系统发起的网络攻击能够以较少的攻击资源造成极大的破坏效果,从攻击者视角出发,提出一种针对电力系统薄弱状态的网络攻击策略。首先基于电网拓扑数据建立关联矩阵,通过线性规划模型计算不同信息获取量下攻击造成的减载量;然后提出以最大化攻击效果为目的的自动攻击策略。通过在不同场景下的仿真分析验证了该策略的有效性。