大数据实时交互式分析

实时交互式分析针对多目标和多角度的分析任务,通过多轮次的用户-数据库交互过程,逐步明确分析任务与分析目标,全方位地了解相关领域信息,最终得到科学的、全面的分析结果.相比传统数据库"提交查询-返回结果"的单轮次交互查询方式,实时交互式分析更强调交互的实时性与查询结果的时效性.对实时交互式分析的研究已成为近几年研究的热点.针对当前实时交互式分析面临的若干关键问题,对现有的实时交互式分析研究的理论基础、数据模型与系统构架进行了综述.     

基于网络的数据查询与生产监控系统

介绍了一种基于网络的数据查询和生产监控系统,描述了系统的软硬件和实现方法。重点讨论了实时数据的动态刷新问题,并提出了圆满的解决方案。     

基于关系数据库的实时XML数据查询处理

力图用成熟的关系数据库查询机制处理符合DTD的XML文档。提出了一整套数据模型、转换规则和算法描述,可以将XML文档转换为关系元组,从而达到用XML实现基于关系数据库的实时数据一致性查询处理的目的。     

数据广播环境下实时查询处理

现有的实时数据广播研究中,只考虑了具有截止期约束的单个数据请求的调度问题,而支持实时查询处理的数据广播技术尚未得到足够的关注。该文研究在on-demand数据广播环境下,如何有效地处理实时查询问题,提出一种新的数据调度算法(QSA)。通过仿真实验与目前最为有效的数据请求调度算法SIN进行了比较,结果显示QSA具有更低的错过截止期比率,在最好的情况下,QSA比SIN降低了17.45%。     

一种数据集市系统跨主题数据查询方案

数据集市作为新兴的数据管理技术,与数据仓库相比具有很多优势,被广泛采用在各种应用系统中。但目前的数据集市系统尚不具备跨主题的信息查询能力,无法为用户同时提供多个领域的信息或全局性的数据。本文针对这一问题,提出了数据集市指标映射方法,并给出采用这种方法的数据市系统的结构描述以及相应的联机分析算法,为问题的解决提供了一种可行方案。     

On-Demand数据广播环境下实时有序查询处理

在On-Demand数据广播环境下,广播服务器基于用户发送的数据请求等信息进行调度决策来满足用户的数据访问需求。在很多实际应用中,用户的数据请求需要在一定时间段内得到满足,即数据请求是有截止期的。现有研究只考虑了具有截止期约束的单个数据请求的调度问题,而实时查询处理即用户以查询为单位依次发送多个数据请求的研究尚未得到足够的关注。本文重点研究了On-Demand数据广播环境下如何有效地处理实时有序查询这一问题。基于对该问题的分析,定义了一类新的调度问题ROBS并证明了ROBS的Off-Line版本是NP-Hard的;提出了一种新的考虑查询语义的On-Line调度算法OL-ROBS,该算法通过综合考虑数据请求个数、查询截止期和查询剩余数据请求个数来确定待广播数据项的优先级;为提高OL-ROBS的执行效率,设计了一种裁减算法,用以减少调度决策的搜索空间。模拟实验将OL-ROBS与目前最为有效的实时数据请求调度算法Sinθ-进行了比较,结果显示OL-ROBS具有更低的错过截止期比率。     

基于JDO查询语言的数据查询

介绍了JDO查询语言的必需组成部分和Query接口中的核心方法。通过一个应用实例讨论了JDO查询的过程以及Query接口中方法的应用,该实例包括一个简单查询和一个复杂查询。特别分析了JDO查询过滤器语义与Java语义在方法调用等方面的区别。最后概述了新的JDO规范在提高JDOQL效率方面所做的改进。     

基于大数据支持的军事决策系统构建研究

本文首先系统回顾了大数据决策由来及发展现状;接着论述了大数据决策分析在军事决策领域的需求,并根据需求构建了由数据获取层、数据处理层及数据应用层三个层面组成的大数据军事决策系统;最后探讨了构建基于大数据支持的军事决策系统所需使用的关键技术,主要有数据提取与存储技术、大数据查询和分析技术、数据表示与数据整合技术。     

ASP进行动态和交互式数据查询

详细介绍了一种交互式、动态生成SQL语句的参数化数据查询方法、有一定的参考价值。     

基于Web的实时数据监测系统的研究与实践

针对目前各类工业生产监测系统要求实时性强、不受区域范围限制、维护方便等的需要,提出一种基于Web的,以Ajax、SVG为核心技术的实时数据监测系统设计方案.该方案应用Ajax开源框架DWR提高了实时监测数据获取的速度,并利用SVG可动态显示图形以及支持用户交互的特点解决了在web上实时显示监测数据变化趋势曲线、单击数据点获取数据值以及数据变化趋势曲线历史回放等关键问题.基于该方案设计开发的金属腐蚀监测系统的应用结果表明该方案可提高基于Web的实时数据监测系统的实时性与灵活性.     

一种流数据实时写入保障下的数据查询方法

各类流式传感数据的实时接收与处理是物联网智能应用的基本要求.针对某城市车辆实时监管系统暴露出的数据实时接收与高效数据查询互相制约的问题,提出一种适用于物联网数据管理的结构化数据查询优化方法,在保障流数据实时写入的同时提供高效的数据查询能力.该方法采用数据库集群应对数据并发访问时的性能需求;通过主从延迟复制技术减少数据查询对数据写入性能的影响;采用数据分区和数据缓存技术提升单数据节点的查询性能.实验结果表明,该方法能在一定程度上减少查询对数据写入的影响,提高数据的查询效率.     

基于MS Analysis Services多维查询分析系统的研究与实现

文中总结的介绍了OLAP技术及其有关基本概念，并对MS Analysis Services中的多维据集的建立和访问技术作了讨论，提出了多维分析系统设计与实现的方法，在此基础上给出了一个从OLAP数据源结构设计到应用程序设计的实例。     

一种基于实时数据采集系统的数据处理方法

给出了产时数据采集系统的一种数据存储格式,并讨论了基于此格式的一般数据处理方法。     

基于概率的大数据查询系统——Probery

针对大数据环境下完整性查询时间代价消耗过高的问题,提出了一种采用近似完整性查询方法的系统——Probery。Probery所采用的近似完整性查询方法不同于传统的近似查询,其近似性主要体现为数据查全的可能性,是一种新型的数据查询方法。Probery首先将存入系统的数据划分为多个数据分段;然后,根据概率放置模型将各个数据分段的数据存储在分布式文件系统中;最后,对于给定的查询条件,Probery采用一种启发式查询方法进行概率查询。通过与其他主流的非关系型数据管理系统的查询性能进行比较,对Probery进行验证,Probery在损失8%查询完整性的情形下,查询时间较HBase相比节约了51%,较Cassandra相比节约了23%,较MongoDB相比节约了12%,较Hive相比节约了3%。实验结果表明,Probery可以适当地损失查询完整性来提高数据的查询性能,具有较好的通用性、适应性和可扩展性。     

数据库应用系统性能与数据查询优化

数据库查询的效率是数据库应用系统性能的重要指标，本文好数据查询优化的几种方式，并以实例说明查询优化的过程及其在数据库应用系统中的应用。     

大规模数据密集型系统中的去重查询优化

针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升.     

大数据查询综述

大数据具有传统数据所不具有的数量大、种类多、速度快、真实性等特点,传统的数据查询技术满足不了日益增长的大数据查询需求,大数据查询技术应运而生并迅速发展。从大数据查询的角度出发,着重分析大数据存储技术、大数据处理平台以及大数据查询引擎等。分别对比介绍传统关系型数据库、NoSQL、NewSQL和它们在大数据查询处理上的应用,介绍当前流行的大数据处理平台以及在这些平台上运行的大数据查询引擎,对其优缺点进行了综合阐述。      

一个实时采集和查询的大型数据库系统的组织策略

本文提出了分布式的集群信息服务器概念，采用分布式应用软件系统中最前沿的结构方式N-级结构，组织一个大型的数据库管理系统，用于实时采集和查询。实践证明，这样的结构具有很大的灵活性和有效性。     

基于实时同步的分页缓存及分区存贮的海量数据查询优化研究

随着海量数据的集中出现,对数据中心的海量数据的组织、查询和存取日益成为影响其性能的关键因素。传统的数据库优化技术只能实现降低查询处理时间或减少存储以及维护开销中的某一个或者某几个,无法达到同时优化的效果。提出一种基于实时同步的分页缓存及分区存贮（DBMS-Cache-DCS）的海量数据查询优化方法,实验结果表明,通过该方法可以同时降低访问处理时间。     

基于USB和多线程的实时数据采集系统

说明基于USB技术的实时数据采集系统的硬件、软件实现；重点介绍PDIUSBDl2带并行总线的USB接口器件以及基于多线程思想设计应用程序的方法。