一种支持嵌入式实时应用的数据流管理系统

论文介绍了数据流技术研究、发展状况,而后讨论了数据流管理系统在嵌入式实时系统中的作用,在此基础上,给出了一个支持嵌入式实时应用的数据流管理系统RealStream,详细介绍了RealStream的体系结构及其基于触发器的多重动态查询优化机制。     

数据流管理技术

最近,人们已经广泛认识到：在某些新的应用领域中,把数据看作瞬时的数据流比看作持久的关系更为适合。本文首先分析了传统数据库管理系统处理数据流的局限性,然后分析了三个典型的数据流管理系统的基本实现技术,讨论了当前数据流管理技术的研究现状和今后的研究方向,最后,给出了一个数据流管理原型系统的体系结构。     

数据流管理系统中适应性查询机制的研究

介绍了数据流技术的发展现状,然后讨论了适应性查询在数据管理中的发展演变,特别是在数据流管理中的特殊性。最后,在此基础上,提出了一个支持适应性查询的数据流管理系统RealStream,并详细介绍了其适应性查询处理机制。     

数据流技术及查询算法研究

数据流技术是一种正在兴起的新型数据形式,信息以数据序列的形式产生并且需要实时、持续地进行处理。数据流管理系统(DSMS)是面向数据流而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。本文从整体上介绍数据流的相关技术,重点分析了DSMS的特点以及相应的查询算法的分析。     

数据流关键技术研究

处理无限的连续数据流的应用日益流行,传统数据库对快速变化的数据流进行在线分析的支持存在很多限制,需要对已存在的技术进行广泛的研究扩展,构建新的系统管理流数据。本文回顾近来数据流管理系统领域的相关工作和流项目的研究情况;分析了连续查询处理的新需求和挑战及数据流系统新颖之处;重点研究包括数据模式,系统结构,连续查询语言,调度方法,相关算法和查询评价等关键技术。并提出在数据流研究方面的一些新看法。     

数据流挖掘技术研究

在当今的网络监控、电信数据管理、传感器数据监控等应用中，数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式，对数据的访问也是多次和连续的，并要求即时的响应。数据流独特的特点，对传统数据的处理方法带来很大的挑战。数据流应用的出现，带动了相关技术的研究，其中包括数据流挖掘的研究。文中介绍了数据流的基本概念，讨论了数据流挖掘的研究现状及相关技术，包括数据流的介绍、流行的数据流处理技术和数据挖掘中的相关算法。     

传感器采样数据流查询技术

这里所讨论的数据不再是具有持久关系的数据集合,而是形成了瞬时的、多重的、持续的、迅速的、时间变化的数据流。由于具有了这些特性,数据流处理现状对数据管理的很多方面提出了新的研究方向。文章着重讨论数据流的查询技术和方法,特别提出了关于传感器采样数据流的查询。最后,介绍应用了数据流查询技术的管道煤气管网数据监测系统,进一步说明由传感器采样数据产生的数据流查询的设计思想和实现方案。     

一种新的基于数据流的数据模型

随着网络的发展和通讯设备的普及，一种新的数据密集型应用逐渐浮出水面，这主要包括：网络监控、电信数据管理、传感器数据监控等。在这些应用中数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式。同时，这些应用对数据的访问也是多次和连续的，并要求即时的响应，而传统的数据库技术对数据的假设和相应的查询处理技术已经无法适应这种新的应用的要求。因此，文中根据这种流式数据的特征设计了一种新的基于数据流的数据模型，并就今后如何进行数据流管理系统的研究提出一些新的看法。     

一种新的基于数据流的数据模型

随着网络的发展和通讯设备的普及,一种新的数据密集型应用逐渐浮出水面,这主要包括:网络监控、电信数据管理、传感器数据监控等。在这些应用中数据采取的是多维的、连续的、快速的、随时间变化的流式数据的形式。同时,这些应用对数据的访问也是多次和连续的,并要求即时的响应,而传统的数据库技术对数据的假设和相应的查询处理技术已经无法适应这种新的应用的要求。因此,文中根据这种流式数据的特征设计了一种新的基于数据流的数据模型,并就今后如何进行数据流管理系统的研究提出一些新的看法。     

数据流管理和挖掘技术探析

数据流管理和挖掘技术是数据库领域的新研究方向之一。概述了数据库技术的发展趋势以及数据流的概念、特点、体系结构、应用领域,分析了数据流概要数据结构的构造问题和数据流的连续近似查询技术,最后介绍了数据流挖掘技术。旨在描述数据流管理和挖掘技术的发展概况,为进一步的研究提供有益的借鉴。     

基于实时数据流分析的钢铁产品质量监测

针对钢铁企业生产过程中普遍存在的质量分析和监测问题,开展了基于实时数据流分析的产品质量监测的应用研究。结合实时数据库和关系数据库,设计了具有实时监控以及离线追踪的钢铁生产线实时监控系统。着重研究了实时数据采集和实时数据分析,并提出了基于实时数据流的产品质量监测方法,实现了企业对产品生产线的实时追踪和产品质量的全程跟踪管理。     

流系统的降载技术

流数据连续查询及优化研究已成为当前国际数据库研究领域的一个热点。数据流的到达速率经常是不可预测的且具有很高的突发性,数据流速这种不规则的变化会引起系统负载急剧的波动。当输入速率超过系统处理能力时,系统会发生过载并且导致系统性能的恶化,降载技术是解决此问题最有效的途径之一。对降载技术中系统负载估计、降载器的最佳的放置位置、降载量的大小、降载器合并等关键问题进行了讨论。     

一种流数据实时写入保障下的数据查询方法

各类流式传感数据的实时接收与处理是物联网智能应用的基本要求.针对某城市车辆实时监管系统暴露出的数据实时接收与高效数据查询互相制约的问题,提出一种适用于物联网数据管理的结构化数据查询优化方法,在保障流数据实时写入的同时提供高效的数据查询能力.该方法采用数据库集群应对数据并发访问时的性能需求;通过主从延迟复制技术减少数据查询对数据写入性能的影响;采用数据分区和数据缓存技术提升单数据节点的查询性能.实验结果表明,该方法能在一定程度上减少查询对数据写入的影响,提高数据的查询效率.     

一种实时数据库查询执行方法的设计

在深入分析实时数据库常用的查询执行方法---指针法缺点基础上,给出了一种新的实时数据库查询执行方法---D/S方法。该方法结合了指针法、实体化方法和流水线方法的优点,可有效地节省查询执行的内存需求,并扩展了实时数据库查询优化的空间。     

模糊数据流实时任务调度算法

针对数据流系统中实时查询任务的特点,提出了基于模糊综合评判的动态优先级调度算法。用语言模糊集描述任务的不确定性因素和不同的优先等级,利用最大隶属度原理确定任务的优先等级。算法充分考虑了任务的持续周期性、任务之间存在依赖关系与共享滑动窗口的特点对任务优先级的影响。从累积实现价值率、差分截止期保证率和CPU切换频率3个方面测试了算法的性能,实验表明所提出算法相对于HVF算法、LSF算法、模糊动态抢占调度算法都有很大的改进。     

一种分布式数据流查询重用算法研究*

提出了一种基于查询树匹配的查询重用算法.首先,系统中原有查询树与新生成的查询树进行匹配并计算对新查询树的重用收益;然后根据重用收益来实现重叠的查询操作的重用.实验结果表明,该算法能够有效地减少连续查询的执行代价总量.     

数据流多连续查询优化技术

根据数据流连续达到、大小无界和实时性强的特点,引出数据流多连续查询的基本概念.针对多连续查询的特点和用户的需求,将多连续查询优化技术分为单流多查询和多流多查询.详细论述了单流过滤型多连续查询优化技术和基于共享的多流多连续查询优化技术,通过全面系统地分析每种优化算法的基本思想,得出每种查询技术的优缺点及适用场合.     

基于下推自动机的XML数据流递归查询研究

针对具有子孙轴(//)和谓词([])结构特征的XPath对具有不同递归深度的XML数据流进行递归查询处理问题,提出了基于下推自动机技术的处理方法,通过将XPath各类置步转化成相对应的处理模块,由算法将各类处理模块组合起来,建立了自上而下的树状查询模型.由于查询过程中将会发生多重匹配,从而会产生大量的匹配模式,该模型通过有效的匹配策略和缓存操作,对匹配模式进行保存及检验,成功地实现XML数据流递归查询.实验结果表明,该算法在性能上要优于传统方法.     

多格式气象报文数据实时解析研究与应用

气象实时数据不仅是气象短时预报的基础,也是对气象灾害进行有效监控、预报、预警、评估的主要数据.气象报文种类多且报文格式各不相同,气象报文数据解析、清理及筛选非常复杂且灵活性差,实时查询非常慢.为此研究报文统一解析技术和数据流处理技术设计,并实现一个实际中安全的、可行的、快速的、灵活的气象实时数据采集系统.     

面向大数据流式计算的任务管理技术综述

流式计算是大数据的一种重要计算模式,大数据流式计算已成为研究热点。任务管理是大数据流式计算的核心功能之一,负责对流式计算的任务进行资源调度及全生命周期管理。目前对于大数据流式计算的技术调研工作主要集中于流式计算应用需求、体系结构及整体技术,缺乏对大数据流式计算任务管理技术的精细化调研分析。首先给出流式计算任务管理的抽象功能模型,其次基于该模型对任务管理的关键技术进行了分类和综述,最后对既有主流的大数据流式计算系统对上述关键技术的应用、集成和优化进行了调研分析。