基于ImpaIa的大数据查询分析计算性能研究

分析了 Cloudera 公司推出的 Impala 实时查询引擎原理与架构,并深入比较 Impala 与传统 MapReduce 的性能与特点,针对 Impala 进行复杂大数据处理方面的不足,提出了 MapReduce 与 Impala 结合的大数据处理方法,通过使用 MapReduce 对 Impala 的输入数据进行预处理,利用 MapReduce 在复杂作业处理方面的长处弥补了Impala 在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于 MapReduce 与 Impala 结合的大数据处理速度比传统 MapReduce 快了一倍。特别地,在迭代查询实验中,基于 MapReduce 与 Impala 结合的处理方法超过传统 MapReduce 方法八倍以上。基于 MapReduce与 Impala 结合的处理方法在单次查询中的效率仍然高于传统 MapReduce;而在迭代查询中,MapReduce 与 Impala结合的处理方法远远地超过了 MapReduce。因此,MapReduce 与 Impala 结合的处理方法能够发挥 Impala 和 Ha-doop 各自的优点,让处理效率远超传统 MapReduce,对于复杂的大数据处理的能力高于 Impala。     

水利大数据应用初探

面对"节水优先、空间均衡、系统治理、两手发力"的治水新思路,新一届水利部党组提出"水利工程补短板、水利行业强监管"的水利改革发展总基调,由此带来的一系列传统水利信息采集、处理和服务不适应问题越来越突出,传统水利信息工作模式已无法满足当前水利工作改革发展需要,二者之间甚至产生不可调和的矛盾。为此,只有采用新一代信息技术,尤其是大数据技术才能有效解决这一矛盾。通过对水利工作面临的主要问题,大数据及其应用特点,以及将两者结合形成13种可行的水利大数据典型应用的介绍,从利用大数据快速处理、综合和关联分析的能力解决传统方式难以解决的水利工作面临的主要问题方面,对大数据在水利中的应用进行初步探讨和研究。     

遥感大数据在水利中的应用及发展

首先回顾国内外遥感技术的发展历史;其次总结遥感数据在水利中的应用,尤其是在洪涝灾害监测评估中水体的动态监测、旱情灾害监测中土壤含水量监测、地表水源监测中水体边界和面积的提取及水土保持监测中植被覆盖度等环境因子的提取中的应用;最后结合现代信息技术手段,展望遥感大数据在水利应用中的前景,即形成由水利大数据到知识库,再到知识图谱,最终利用可视化应用服务水利行业的整体应用框架,利用微观宏观知识的融合,可服务于水利科学机理揭示,并提升水利管理的实时性、精准性、科学性和智能性,符合水利信息化的新时代要求。     

一种数据集市系统跨主题数据查询方案

数据集市作为新兴的数据管理技术,与数据仓库相比具有很多优势,被广泛采用在各种应用系统中。但目前的数据集市系统尚不具备跨主题的信息查询能力,无法为用户同时提供多个领域的信息或全局性的数据。本文针对这一问题,提出了数据集市指标映射方法,并给出采用这种方法的数据市系统的结构描述以及相应的联机分析算法,为问题的解决提供了一种可行方案。     

大数据技术在环境信息中的应用

在“辽河流域水环境管理技术综合示范”项目中,随着时间的累积,环境监测数据处理系统采集到的数据量越来越大.然而目前辽宁省环境监测数据处理系统无法有效处理日益增长的海量数据.研究运用大数据技术,改进环境监测数据处理系统中的数据中心.利用HDFS强大的数据存储、管理功能,以应对数据量的增长,利用MapReduce及Hadoop其他相关工具,快速处理海量数据,降低数据规模,最后将数据存储到数据库中.     

大数据时代下数据挖掘技术在企业中的应用

本文针对大数据时代背景下,数据挖掘技术在企业中的实际应用进行研究。通过中国五矿管理与决策平台及全面风险管理系统的实践,建立了可灵活配置的基于统计分析方法的风险计量模型,并对模型的计量结果进行回测检验,可依据检验结果对模型进行调整优化。实现了对企业各类风险的量化监控、自动预警,并对未来一段时间市场潜在的风险进行预测分析,以提高企业经营决策能力和风险前防范水平。此外,本文对大数据的分析模式及分析的关键领域进行了深入研究,并对未来大数据在企业中的应用进行了展望。     

学习分析技术在大数据环境中的应用

学习分析是大数据在教育应用中的焦点,本文对学习分析的核心环节进行技术剖析,梳理主要的学习分析工具,以实证研究的方式,从课程建设者、教学管理者和辅导教师这3种不同用户视角展示学习分析技术的应用过程。研究以某课程平台的学习行为数据作为研究样本,应用统计、可视化、聚类、关联规则等方法,采用Excel,SPSS,Weka等工具,分析课程模块访问频次,了解不同教学组对学生登录周数的影响,刻画学生的分类特征,发现隐含的内在规律。研究表明,学习分析技术充分发挥了教育大数据的价值,使数据成为教学干预、实施决策的重要依据。     

物化查询表和多维群集在大数据查询中的应用

随着互联网与信息技术的发展,企业使用的数据库的数据量呈现了爆炸式的增长,大部分企业的数据都已进入海量的时代,如何对海量的数据进行查询优化越来越受到企业的重视。通过对烟草行业使用的数据库DB2进行分析,将物化查询表以及多维群集技术应用到企业数据库中,优化数据查询,提高企业的竞争力。     

水利舆情大数据监测应用研究

随着社交媒体的发展,水利网络舆情事件的发生次数呈上升趋势,监测分析难度日益加大.为解决水利网络舆情监测问题,开发建设水利舆情大数据监测分析平台十分必要.通过对基础设施、数据资源、舆情智能分析、舆情大数据可视化4个模块的构建,水利舆情大数据监测分析平台初步实现舆情大数据监测分析能力,形成较完善的水利行业舆情大数据工作机制...     

水利大数据建设思路探讨

随着信息化技术的不断演进和发展,"互联网+"、大数据、云计算、物联网等先进信息技术正成为水利信息化发展的新引擎和新动力。从水利大数据体系建设、分析平台搭建和应用方向3个方面探讨大数据技术在水利管理领域中的应用,提出水利大数据体系建设需要整合的内外部及互联网数据、利用主流大数据组件搭建大数据分析平台的方法、结合水利管理业务进行大数据分析场景设计的思路,为水利大数据分析提供数据体系、分析平台、水利业务应用等层面的建设思路。     

安徽省水利大数据中心建设探讨

为解决安徽省水利信息化建设现有数据资源分散、标准不一致、共享困难、开发利用效率不高等问题,基于前期建设已有成果,通过数据资源整合、数据资源管理系统开发、应用服务支撑建设、大数据分析试点应用、云计算平台建设、技术规范和管理制度编制等一系列水利大数据中心建设内容,厘清水利对象关系,实现数据汇集交换和有序共享,提供应用系统基...     

水利舆情大数据分析平台设计及应用

针对水利舆情及业务工作对互联网舆情大数据的需求,研究利用大数据、自然语言处理等技术,基于多模态智能分析架构,采用知识图谱、信息萃取、价值识别等手段,开展信息价值点、敏感点、关键点、发酵点的发现及标引和提取,建设水利舆情大数据分析平台.平台运行有效地推动舆情工作及水利业务工作的融合,扩大水利舆情工作的深度和广度,验证水利业务系统利用互联网维度数据途径的可行性,打开互联网维度数据与水利业务数据叠加的发展空间,提升舆情大数据的价值密度,可为水利部门户网站、河(湖)长制管理、水资源管理、水资源大数据分析等业务系统,提供业务数据支持和分析决策支撑.     

大数据技术研究

大数据技术是继物联网、云计算技术之后IT业界又一次技术浪潮。为了全面深入地理解大数据技术的内涵,从大数据的定义及4V特征、关键技术及主要应用领域等四个方面进行阐述。介绍了大数据的基本概念、特征,总结了大数据的热门应用领域并用典型案例进行佐证,重点剖析了云计算、Hadoop、数据备份等三大核心技术及关键策略,最后对大数据应用中滋生的信息安全隐患提出了相应的对策。     

区块链技术在水利行业应用场景的分析

作为新一代信息技术,区块链技术的应用潜力受到政府和企业的高度重视。区块链主要包括 P2P 分布式网络和传播、非对称加密、共识机制和智能合约等技术,具有去中心化、公开透明、难以篡改、可追溯和安全可靠等特点,有望解决数据共享、证照管理、档案管理、水利监督、取用水监管、水质监测和水权交易等水利业务的痛点,加快智慧水利发展,为实现水治理体系和能力现代化提供强力支撑和驱动,具有广泛的应用前景。     

Diversification on big data in query processing

Recently, in the area of big data, some popular applications such as web search engines and recommendation systems, face the problem to diversify results during query processing. In this sense, it is both significant and essential to propose methods to deal with big data in order to increase the diversity of the result set. In this paper, we firstly define the diversity of a set and the ability of an element to improve the overall diversity. Based on these definitions, we propose a diversification framework which has good performance in terms of effectiveness and efficiency. Also, this framework has theoretical guarantee on probability of success. Secondly, we design implementation algorithms based on this framework for both numerical and string data. Thirdly, for numerical and string data respectively, we carry out extensive experiments on real data to verify the performance of our proposed framework, and also perform scalability experiments on synthetic data.     

基于概率的大数据查询系统——Probery

针对大数据环境下完整性查询时间代价消耗过高的问题,提出了一种采用近似完整性查询方法的系统——Probery。Probery所采用的近似完整性查询方法不同于传统的近似查询,其近似性主要体现为数据查全的可能性,是一种新型的数据查询方法。Probery首先将存入系统的数据划分为多个数据分段;然后,根据概率放置模型将各个数据分段的数据存储在分布式文件系统中;最后,对于给定的查询条件,Probery采用一种启发式查询方法进行概率查询。通过与其他主流的非关系型数据管理系统的查询性能进行比较,对Probery进行验证,Probery在损失8%查询完整性的情形下,查询时间较HBase相比节约了51%,较Cassandra相比节约了23%,较MongoDB相比节约了12%,较Hive相比节约了3%。实验结果表明,Probery可以适当地损失查询完整性来提高数据的查询性能,具有较好的通用性、适应性和可扩展性。     

大数据上函数查询解答的复杂度分析

函数查询是大数据应用中重要的操作,查询解答问题一直是数据库理论中的核心问题。为了分析大数据上函数查询解答问题的复杂度,首先,使用映射归约方法将函数查询语言归约到已知的可判定语言,证明了函数查询解答问题的可计算性;其次,使用一阶语言描述函数查询,并分析了一阶语言的复杂度;在此基础上,使用NC-factor归约方法将函数查询类归约到已知的\mathrm{\Pi }{\mathrm{{\rm T}}}_Q-complete类中。证明函数查询解答问题经过PTIME（多项式时间）预处理后,可以在NC（并行多项式-对数）时间内求解。通过以上证明可以推出,函数查询解答问题在大数据上是可处理的。