Presto在美团的应用实践

Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。但随着数据越来越多,Hive很难满足交互式查询的需求,而比Hive更快的工具又无法操作Facebook庞大的数据仓库,所以Facebook研发了交互式查询引擎Presto,并称其性能要比Hive好10倍。本文分享了这一利器在美团的应用实践情况。     

数据查询模式研究及在PowerBuilder中的实现

查询是数据库管理系统中不可缺少的功能,所研究的数据查询模式包括组合查询及模糊查询两种。该技术充分利用了PowerBuilder中数据窗口的功能,从根本上解决了传统数据查询方式的弊端,提高了开发效率,方便了用户的使用,并且在实际项目中得到了很好的应用。     

数据查询模式研究及在PowerBuilder中的实现

查询是数据库管理系统中不可缺少的功能，所研究的数据查询模式包括组合查询及模糊查询两种。该技术充分利用了PowerBuilde，中数据窗口的功能，从根本上解决了传统数据查询方式的弊端，提高了开发效率，方便了用户的使用．并且在实际项目中得到了很好的应用。     

带有不完整信息的XML树在提高查询效率中的应用

如何提高查询效率，是每个搜索引擎都关心的问题。在数字图书馆项目中，通过一种充分利用用户先前查询结果的方法提高了查询效率。该方法利用带有不完整信息的XML树记录用户先前的查询结果，在用户下次提出查询请求的时候，利用这个结果来直接得到要查询的结果，并且每次查询后，根据新的查询结果修改XML树。     

汇总型多表连接查询的一种优化方法

通过对影响多表连接查询效率因素的分析 ,在通常的临时关系法的基础上 ,提出了一种针对汇总型多表连接查询的优化方法 ,充分利用这种方法能提高汇总型查询的执行效率。     

基于模糊数据模型的智能查询优化算法

为实现对数据库信息查询时使用自然语言与计算机交流,提出了一种智能查询优化算法-IIOP算法;首创提出将模糊查询与相似查询结合的思想,其中模糊匹配查询更符合人脑思维特性,更合理有效;为提高查询效率,在进行查询时首先对原始数据序列提取能反映数据变化趋势的特征极值点,然后仅对特征极值点进行相似查询,极大减少了数据存储量,提高了查询计算速度。该算法经实验验证切实有效可行,相对其它算法能明显提高查询速度和准确率。     

数据库嵌套查询技术的应用

查询是对数据库中的记录进行选择和投影运算,得到满足条件的记录,是对数据库进行数据检索最常用的方法。如何简化查询语句的编写,提高数据查询效率是我们关心的问题,嵌套查询是解决复杂查询并实现高效查询的有效方法。     

基于TPU-tree的Skyline分支定界查询算法(英文)

提出了一种新的限定性skyline查询理念,并给出了高效的处理技术。分支定界方法是当前skyline查询处理效率较高的技术之一,在一种不确定移动对象的索引策略TPU-tree之上,基于分支定界方法提出了B2CPS可限定性skyline查询处理算法。实验结果表明,提出的基于TPU-tree的B2CPS算法可以很大程度地提高限定性skyline查询的效率,在移动对象频繁更新的情况下亦能保持较高的查询性能,因此具有较好的实用价值。     

XQuery语言查询优化策略研究

XQuery查询语言在XPath路径查询的基础上使用FLWR等表达式实现XML数据的复杂查询或重构。查询优化是查询处理中重要的组成部分。文章提出了两个优化策略：路径的关联优化和FLWOR查询的重写,XMark实验表明能有效提高XQuery查询的执行效率。     

存在完整性约束时最小化树模式查询的算法

树模式是查询树型结构数据如XML和LDAP的天然模型。在一个给定的数据库上进行查询,查询的效率很大程度上依赖于查询的大小。因此,在查询前删除查询中的冗余分支,使查询最小化是非常重要的。在树型结构数据库中,存在孩子必需、后代必需和子类3种完整性约束是十分普遍的。针对存在这3种完整性约束的情况,基于扩展的模拟概念提出了一种复杂度为O（n^2）的最小化树模式查询算法（n为树模式查询的节点数）。分析结果表明这个算法的效率要远高于同类算法。     

一种自底向上的静态语义查询优化算法

演绎数据库语义查询优化是运用数据库中的语义知识，即完整性约束条件，将用户提交的一种查询转换为能有效执行，并与原查询等价的查询的一种优化方法．至今在这一领域已有了许多的算法，但大多是基于自顶向下的查询计算模式．而本文提出的静态语义查询优化算法及其改进算法是在优化“并”和“连接”操作的过程中进行自底向上的查询计算，因此相对自顶向下的计算方式更有效地提高了查询执行效率．     

一种基于聚簇和分表技术的查询统计优化方法的设计与实现

针对查询统计的自身特点,通过在文件组织时把需要统计的相关项的记录聚簇存储在块中,同时把数据量非常大的统计表按一定规则分成若干小表,并在小表上建立索引,这样不仅能减少物理磁盘I/O次数,还能减少扫描时间达到优化目的。这种方法能够提高查询统计效率,并在具体的项目中获得了成功。     

二维空间中基于约束关系的RNN查询算法

反最近邻(RNN)查询问题是空间数据库中的研究热点问题,但传统算法主要集中在对整个数据集的查询。该文把约束关系的概念引入到了RNN查询中,给出在约束关系下如何利用索引结构进行查询的方法,并根据NN查询和RNN查询问题的内在联系给出相应求解CRNN问题的算法。实验表明该算法比传统算法更能提高查询效率。     

基于物候观测的藜麦适宜性种植研究平台设计

康保县引种藜麦气象指标研究,是精准扶贫项目,也是河北省气象局科研开发项目。由于该项目是基于两年物候观测数据基础上的一项研究,所以观测数据的处理便成了课题研究的重中之重。针对项目大量数据的数理统计需求,笔者应用Microsoft Visual Studio2010开发了藜麦适宜性种植研究平台。平台设计的主要功能有:康保气候背景查询、观测数据查询、康保藜麦各生育期查询等。经过近半年时间的调试,目前各项预期功能基本实现。     

基于拼音的汉字模糊查询技术的探讨

信息检索是MIS的重要功能。汉字的查询不同于字母和数字的查询,汉字的查询要比字母查询复杂得多,为了提高汉字的检索效率,本文探讨了基于汉字拼音的查询方法,阐述了基于同音和首字母的查询方法,给出了支持中文首字母简拼检索的数据字段设计方法。     

基于位置范围的道路网skyline查询

随着无线通信和定位技术的发展,道路网skyline查询在基于位置的服务等方面越来越重要。考虑到现今道路网中位置隐私保护和定位设备的精度问题,用户在道路网上的位置通常用一个范围来表示。但是,已有的道路网skyline研究都是基于单一查询点。针对这一问题,研究了一种新的查询——基于位置范围的道路网skyline查询(RNS),提出了一种基于边界点替换的有效查询处理算法。另外,针对已有的道路网skyline查询中复杂的道路网距离计算对查询效率的影响问题,通过计算兴趣点在道路网上的有效skyline路段,将其与道路网信息融合,建立了道路网skyline模型。基于该模型设计了一种能有效支持RNS查询的道路网skyline索引SSR-tree,提出了基于索引的RNS查询处理算法。通过大量实验验证了所提方法的有效性,并比较了基于索引的算法在查询效率和精度上的提高。     

并行查询下查询执行计划的选择

查询是数据库系统的主要负载,其效率决定了数据库性能的好坏。一个查询存在多种执行计划,当前,查询优化器只能按照数据库系统的配置参数,静态地为查询选择一个较优的执行计划。并行查询间存在复杂多变的资源争用,很难通过配置参数准确反映,而且同一执行计划在不同情景下的效率并不一致。并行查询下执行计划的选择需考虑查询间的相互影响——查询交互。基于此,提出了一种在并行查询下度量查询受查询交互影响大小的标准QIs。针对并行查询下查询执行计划的选择,还提出了一种动态地为查询选择执行计划的方法TRating,该方法通过比较查询组合中按不同执行计划执行的查询受查询交互影响的大小,选择受查询交互影响较小的执行计划作为该查询的较优执行计划。实验结果表明,TRating方法为查询选择较优执行计划的准确率达61%,相比查询优化器提高了25%;而且在为查询选择次优执行计划时,其准确率也高达69%。     

基于贪婪策略的分布式数据库查询优化研究

针对分布式数据库系统复杂的多连接查询问题,分析了查询系统的目标要求,研究了查询优化的代价模型.结合具体实例,通过问题简化,构造出代价模型的查询图,提出了利用贪婪算法实现数据库查询的迭代方案.采用多步决策,按照一定的算法依次优化查询图,使得每一步优化都能得到最小的查询中间代价,从而确保了全局查询的最优.分析比较结果表明,该算法能以最小的代价实现对数据库的查询优化,缩短查询时间,提高查询效率.     

基于MySql的查询优化技术研究

查询优化研究是数据库设计与应用中重点考虑问题,在研究MySql数据库查询优化技术基础上,对配置参数中的数据缓存区和日志缓存区的参数进行优化设置,提高查询效率。针对MySql查询重用技术的特点及存在不规范化sql语言等重用性不高问题,通过设计相关模块改进查询重用功能;增加查询缓冲区的查询执行计划模块来解决查询缓存区大数据量结果集存储问题,并通过实验进行验证,从而改进查询优化效率。     

Cbase数据库查询重写模块的设计与实现

本文详细讨论了重写模块的设计思想与实现技术，并讨论了利用执行引擎特点引入的一组基于等价谓调的简单语句直写规则．测试结果表明，增加重写模块的查询优化器能显著提高系统的查询效率．