面向信息安全的高速数据流管理系统的设计与实现

随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS—DSMS（Data Stream Management System for Information Security）。系统利用了采样技术、概要技术、滑动窗口等技术对常用的五类聚合查询进行了优化。实验证明,系统具备千兆网络条件下实际使用的性能,可作为网络数据流实时查询和统计分析引擎,为入侵检测、网络监控等系统提供高速有效的支持。     

宿舍无线监控系统设计与实现

针对目前校园宿舍安全的需求和特点,设计了基于Zigbee的校园宿舍无线监控系统,系统采用TI公司的低功耗射频芯片CC2530作为通信模块。该文重点介绍了系统的整体方法及各模块的设计以及数据流图,通过传感器能够对宿舍的各个参数进行实时监控,有异常时能自动处理和报警。通过实验结果证明该系统能满足校园宿舍监控的需要。     

TSS数据流管理系统的设计与实现

当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求.研究针对信息安全应用的数据流管理系统,提供高效,灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义.设计并实现了TSS数据流管理系统,可以对高速的网络数据流进行实时的查询和统计分析,为各种应用提供高速有效的支持.此外,系统特别优化了网络应用中常用的5类聚合查询,使该系统性能可以满足千兆网络条件下的实际使用.     

基于ZigBee的仓库监控系统设计

为了对大型仓库的温湿度、光照、火警和安全情况进行监控,采用无线传感器网络,设计了一种基于ZigBee CC2530的多点数据采集、传输和处理的实时监控系统。该系统首先组成了ZigBee星形网络和ZigBee树形网络,然后在此局域网内,通过VB上位机监控软件和Web查询模式对仓库环境进行了控制和查询实验,实验表明,采用基于ZigBee技术的仓库管理是一个很好的尝试。     

基于数据流管理平台的网络安全事件监控系统

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件．数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型．本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型．在这个模型中，数据流管理平台有效地支持了对高速网络数据流的实时查询与分析，从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能．利用CQL作为接口语言，精确描述安全事件规则与各种监拉查询，具有很强的灵活性与完整性．另外，系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能，具有良好的可扩展性，     

面向流数据的数据管理系统的研究

传统关系数据库系统通常用来存储没有时间概念的相对静止的数据, 对于一些新的应用领域, 信息是以数据序列的形式产生并且需要实时地、持续地进行处理, 这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统, 它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构, 重点讨论基于流数据的数据模型和流查询。     

基于实时数据流分析的钢铁产品质量监测

针对钢铁企业生产过程中普遍存在的质量分析和监测问题,开展了基于实时数据流分析的产品质量监测的应用研究。结合实时数据库和关系数据库,设计了具有实时监控以及离线追踪的钢铁生产线实时监控系统。着重研究了实时数据采集和实时数据分析,并提出了基于实时数据流的产品质量监测方法,实现了企业对产品生产线的实时追踪和产品质量的全程跟踪管理。     

一种数据流上截止期敏感的滑动窗口处理策略

在数据流上定义了截止期作为连续查询的实时约束，并建立了基于截止期的滑动窗口处理模型；提出了一种基于预测的截止期敏感的滑动窗口处理策略；在多滑动窗口查询处理环境中，提出了一种（k,m ）截止期约束机制，在提高查询实时性的前提下，尽可能的满足不同查询对结果丢失率的不同约束。实验结果表明该处理策略能够有效提高数据流上滑动窗口查询的截止期满足率。     

基于.NET的挖掘机实时监测系统设计与实现

介绍了如何基于.NET实现对挖掘机的实时监控.该实时监控系统基于MVC模式和B/S模式.采用三层逻辑设计结构.利用.NET组件设计技术和ADO.NET数据访问技术,实现了对挖掘机名项工作数据的实时监测,同时提供了历史工作状况的查询.此系统不但方便了挖掘机的远程控制,而且为挖掘机的管理提供了科学和及时的数据.     

实时数据流管理技术研究

数据流技术是一种正在兴起的新型数据管理技术，在传感器网络、实时监控、实时监测分析等众多关键任务领域具有广泛的用途。本文讨论了实时数据流的特点和关键技术，综述了三个典型数据流系统，介绍了RealStream数据流管理系统的设计思想。     

不确定Skyline查询技术研究

当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务、移动对象管理网上购物和市场监控等各种实际应用中.不确定Skyline查询作为不确定数据管理的一个重要方面,由于其在决策制定、市场分析、环境监控和数据挖掘等方面的重要作用,近年来在数据库和网络计算领域受到广泛关注.首先,概述了各种不确定数据类型上的Skyline查询定义,包括离散、连续概率分布模型以及不完全数据上的Skyline查询定义;其次,分析了不确定Skyline查询的特点,并在此基础上综述了现有的各种不确定数据集上的集中式和分布式Skyline查询方法,重点分析了各种算法的原理和优缺点;再次,介绍了不确定数据流上的Skyline查询定义并综述了各种不确定数据流上的Skyline查询方法;最后,基于最新研究动态指出了未来不确定Skyline查询研究的趋势.     

基于Aurora系统的持续型查询语言设计与实现

随着新型数据应用的不断出现,针对流形态数据的数据流管理系统已经成为数据管理领域研究的新热点。针对目前通用数据流管理系统只支持基于操作符流图的查询表达方式这一不足,设计了一种新的持续型数据流查询语言,并在通用数据流处理系统Aurora上进行了实现。为验证新语言的表达能力,该系统使用新语言定义了数据流基准测试Linear Road Benchmark的查询集,在Aurora系统上部署运行。测试结果表明针对Linear Road Benchmark的测试用例,新语言具有较完备的语义和良好的表达能力。     

数据流系统中的一种查询调度及负载脱落模型

如何在资源有限的情况下,快速执行查询处理并最大限度地减少查询精度的损失是数据流查询处理的主要任务之一.从操作符的优化调度和负载脱落两个方面研究了这一问题.分析了影响操作符调度的主要因素,结合操作符对不同元组的不同处理特性以及系统运行状态,设计并实现了一个基于优先级的调度模型.其中采用人工神经元网络中的算法对影响操作符优先级的权重系数进行训练,实现了基于动态优先级的调度.使用负载脱落技术可以使系统在大量突发数据流元组进入系统而系统无法处理时及时脱落其中的部分数据,维持系统的正常运转,提高系统查询处理的可用性.针对存在两个数据流连接操作符的查询请求,研究了负载脱落和反脱落的时机、数量、位置、谓词等问题,设计并实现了一个基于语义的负载脱落模型.算法和模型的运行结果表明该模型在过载时系统能够及时降载,在欠载时能及时进行反脱落操作,减少了性能的损失.     

数据流持续查询中调度策略的适应性研究

处于高速网络环境中的许多应用所需要处理的数据是以数据流的形式存在的，数据到达可能是突发性的。数据到达速率是随着时间变化的，对数据流的实时查询处理要能适应数据流的特性和网络的波动环境。文章对数据流查询计划中调度策略的适应性进行分析，实现在降低运行时系统存储需求的同时保持较低的输出延迟，在一定程度上能够适应数据流到达速度的变化。     

传感器采样数据流查询技术

这里所讨论的数据不再是具有持久关系的数据集合,而是形成了瞬时的、多重的、持续的、迅速的、时间变化的数据流。由于具有了这些特性,数据流处理现状对数据管理的很多方面提出了新的研究方向。文章着重讨论数据流的查询技术和方法,特别提出了关于传感器采样数据流的查询。最后,介绍应用了数据流查询技术的管道煤气管网数据监测系统,进一步说明由传感器采样数据产生的数据流查询的设计思想和实现方案。     

优化处理并行数据库查询的并行数据流方法

本文使用并行数据流技术优化和处理并行数据库查询的方法,提出了一整套相关算法,并给出了一个基于并行数据流方法的并行数据库查询优化处理器的完整设计.这些算法和相应的查询优化处理器已经用于作者自行设计的并行数据库管理系统原型.实践证明,并行数据流方法不仅能够快速有效地实现并行数据库管理系统,也能够有效地进行并行数据库查询的优化处理.     

数据流技术及查询算法研究

数据流技术是一种正在兴起的新型数据形式,信息以数据序列的形式产生并且需要实时、持续地进行处理。数据流管理系统(DSMS)是面向数据流而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。本文从整体上介绍数据流的相关技术,重点分析了DSMS的特点以及相应的查询算法的分析。     

分布式流数据加载和查询技术优化

分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上。在Spark Streaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询。测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势。     

数据流管理系统中适应性查询机制的研究

介绍了数据流技术的发展现状,然后讨论了适应性查询在数据管理中的发展演变,特别是在数据流管理中的特殊性。最后,在此基础上,提出了一个支持适应性查询的数据流管理系统RealStream,并详细介绍了其适应性查询处理机制。     

数据流处理技术在电信网管系统中的应用

网络流量监测技术是电信运营商所关注的重点之一。随着网络传输带宽的不断增加,传统的基于磁盘的处理技术已经不能够满足运营管理的需要,数据流处理技术的出现为网络流量监测应用提供了一种新的解决方案。SMART[1,2]和RealMon[3]是将数据流处理技术应用于网络流量监测的两个应用系统。文中结合上海电信在骨干网流量监测上的应用需求,对这两个系统的设计与应用进行了介绍。SMART系统以数据流上的频繁项挖掘算法为基础,支持NetFlow数据流上长时间滑动窗口内的Top-K查询,实现了对网络流量分布的实时监测。RealMon系统采用数据流上的降维分析算法对SNMP数据流进行分析,通过监测网络链路上不同流量数据的相关性变化来发现异常流量。实验和在真实环境中的应用表明,SMART和RealMon系统能够满足骨干网流量监测应用的需要,并且极大地提高了监测系统的性能。