基于Impala构建实时大数据查询系统实践

Impala是Cloudera公司研发的新型准实时大数据查询系统,用于交互式数据查询和分析,提供快速即席查询的功能,便于快速获取数据和决策支持。     

数据广播环境下实时查询处理

现有的实时数据广播研究中,只考虑了具有截止期约束的单个数据请求的调度问题,而支持实时查询处理的数据广播技术尚未得到足够的关注。该文研究在on-demand数据广播环境下,如何有效地处理实时查询问题,提出一种新的数据调度算法(QSA)。通过仿真实验与目前最为有效的数据请求调度算法SIN进行了比较,结果显示QSA具有更低的错过截止期比率,在最好的情况下,QSA比SIN降低了17.45%。     

交互式数据探索综述

大规模数据集已经超过TB和PB级,现有的技术可以收集和存储大量的信息。虽然数据库管理系统一直在不断提高提供复杂的多种数据管理的能力,但是管理查询工具并不能满足大数据的需求,如何精准理解和探索这些大规模数据集仍然是一个巨大的挑战。交互式数据探索(interactive data exploration,IDE)的关注点是强调交互、探索和发现,能让用户从海量的数据中用最小的代价更精确地找到他们需要的信息。首先对交互式数据探索及其应用背景进行了介绍,总结了通用的探索模型和IDE的特点,分析了交互式数据探索中的查询推荐技术和查询结果优化技术的现状;随后分别对IDE原型系统进行了分析和比较;最后给出了关于交互式数据探索技术的总结和展望。     

基于大数据实时洞察客户感知

本文讨论了实时洞察电信运营商客户感知的指标及其意义,并基于大数据及相关技术,提出了大数据实时洞察客户感知平台构建思路,并依托该平台开展客户感知实时监控和优化。     

ASP进行动态和交互式数据查询

详细介绍了一种交互式、动态生成SQL语句的参数化数据查询方法、有一定的参考价值。     

基于关系数据库的实时XML数据查询处理

力图用成熟的关系数据库查询机制处理符合DTD的XML文档。提出了一整套数据模型、转换规则和算法描述,可以将XML文档转换为关系元组,从而达到用XML实现基于关系数据库的实时数据一致性查询处理的目的。     

On-Demand数据广播环境下实时有序查询处理

在On-Demand数据广播环境下,广播服务器基于用户发送的数据请求等信息进行调度决策来满足用户的数据访问需求。在很多实际应用中,用户的数据请求需要在一定时间段内得到满足,即数据请求是有截止期的。现有研究只考虑了具有截止期约束的单个数据请求的调度问题,而实时查询处理即用户以查询为单位依次发送多个数据请求的研究尚未得到足够的关注。本文重点研究了On-Demand数据广播环境下如何有效地处理实时有序查询这一问题。基于对该问题的分析,定义了一类新的调度问题ROBS并证明了ROBS的Off-Line版本是NP-Hard的;提出了一种新的考虑查询语义的On-Line调度算法OL-ROBS,该算法通过综合考虑数据请求个数、查询截止期和查询剩余数据请求个数来确定待广播数据项的优先级;为提高OL-ROBS的执行效率,设计了一种裁减算法,用以减少调度决策的搜索空间。模拟实验将OL-ROBS与目前最为有效的实时数据请求调度算法Sinθ-进行了比较,结果显示OL-ROBS具有更低的错过截止期比率。     

交互式实时虚拟内窥镜系统的关键技术

在分析虚拟内窥镜和体数据可视化方法的基础上，提出了一种基于透视投影体绘制的交互式实时虚拟内窥镜算法，在微机平台上实现的基于体绘制的虚拟内窥镜系统，验证了该算法的实时性和所生成图像的质量。     

大数据智能算法的交互式教学策略探讨

随着我国信息技术的不断发展,大数据技术在各个行业中得到了较好的应用,对于提升行业竞争力具有重要作用。高校作为我国人才培养的最高学府,担任着重要的人才培养任务。在高校学科教学中应用智能算法的交互式教学策略,能够为学生专业核心素养的提升提供支撑,也能为培养智能化、信息化思维人才奠定基础。基于此,本文从大数据的角度出发,以高职院校工科专业学科为基础,探讨在工科专业人才培养中智能算法的交互式教学策略,以帮助工科专业学生能够高效应用智能算法,更好地解决各类实际数据问题。     

无须附加空间的数据立方体联机聚集

以往在数据立方体上实现的联机聚集往往需要附加空间来存储联机聚集估算所需要的信息,极大地影响了数据立方体的存储和维护性能.提出了基于QC-Tree的用于范围查询处理的联机聚集PE(progressively estimate)算法以及它与简单聚集算法相结合的混合聚集算法HPE(hybrid progressively estimate);还提出了一种能够同时处理多个范围查询的联机聚集算法MPE(multiple progressively estimate).与以往联机聚集算法不同,这些算法不需要任何附加空间,而是利用QC-Tree自身保存的聚集数据和语义关系来估算聚集结果.由于QC-Tree是一种极为高效的数据立方体存储结构,因此能够以较理想的性能实现数据立方体上的联机聚集.对算法的分析和实验结果表明,所提出的算法具有较好的性能.     

数据流的核心技术与应用发展研究综述

在数据流基本概念的基础上,综述了数据流领域中主要的流模型、构造概要数据结构的算法、连续查询处理和优化技术等热点问题,以及数据流的应用发展。     

Key—value数据库在时序数据及互动信息处理中的分析应用

Key-value数据库在web2．0之后有了很大的发展。针对目前web2．0应用中关系型数据库存在的问题,通过对用户互动信息（例如,用户评论,打分,实时消息传递,微博数据等）的性能,可扩展性,高可用性上的特点的分析,提出了Key—value数据库在互动信息处理,时序数据处理方面的解决方案。     

大数据时代数据分析与信息安全

大数据的价值不仅仅局限于它的初始收集目的,而在于收集后可以用于其他用途并可重复使用。目前,包括美国在内的许多国家,都将大数据分析管理上升到国家战略层面,从国家层面通盘考虑其发展战略。     

基于数据流的近似查询计算及其应用研究

通过分析基于实化聚集视图的查询重写方法，将相关的查询计算理论与数据流的查询相结合，针对数据流的特征，给出了一种具有广泛应用前景的基于数据流的近似查询计算方案。     

热电厂分布式生产实时监测系统数据处理技术研究

该文以一个工程实例为背景,深入剖析了热电厂生产运行数据一般处理方案,并认为热电厂分布式生产实时监测系统在数据处理上可概括为测点表建立、数据的提取与转储、数据的存储组织、数据的信息表达四个主要部分。最后分析了数据处理中应用的ADO和DAO数据访问技术、VBA技术、信号量互斥机制等关键技术。     

基于Authorware的交互功能分析

Authorware是一个以图标为基础、流程图为结构的多媒体著作工具,交互技术是其核心技术,也是多媒体课件创作的核心功能。本文对Authorware交互的基本特性、结构、类型、使用规则等几个方面进行了详细的分析。     

大数据探讨

大数据的重大意义正逐步被人们认识到。简要介绍大数据,从技术和工具、解决方案和应用案例等方面对大数据进行研究。并对大数据给计算机科学带来的若干问题进行探讨。     

基于动态镜像的实时数据仓库存取预处理技术研究

实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响了查询分析的精度和效率,还降低了数据仓库的性能。提出了一种在数据仓库外部构建动态存储区域的方法,它采用动态镜像技术,有效地缓解查询竞争问题。同时,为了提高实时OLAP上的查询分析操作的性能,提出了蝇量级物化方法及蝇量级物化下的表连接算法FWMJoin(Fly-Weight Materialization Join)。基于TPC-H基准的实时数据仓库测试系统,针对动态镜像技术下的动态存储区域的OLAP性能进行分析与评估,并对实验结果进行总结。     

基于单向HFC网的交互式数据广播关键技术研究

针对目前DVB应用技术研究的空白点，在各种DVB数据广播方式简要对比分析的基础上，重点阐述了基于单向HFC网的交互式数据广播技术实现原理。在系统结构、传输与控制、生成与提取等方面，给出了具体的技术解决方案，并描述了该技术在多业务IP／DVB网关系统中的应用。     

数据流管理和挖掘技术探析

数据流管理和挖掘技术是数据库领域的新研究方向之一。概述了数据库技术的发展趋势以及数据流的概念、特点、体系结构、应用领域,分析了数据流概要数据结构的构造问题和数据流的连续近似查询技术,最后介绍了数据流挖掘技术。旨在描述数据流管理和挖掘技术的发展概况,为进一步的研究提供有益的借鉴。