机器学习在数据查询优化中的研究进展

随着大数据时代的到来,数据查询迎来了巨大的挑战。首先,单个数据查询任务应具有更快的处理速度,以应对数据量的爆炸式增长;其次,数据查询的复杂性增加,导致DBA人工调整方法以及自动配置工具都无法保证配置的有效性和及时性。传统数据查询过程中,不考虑数据的潜在分布特征。机器学习技术可构建数据依赖型模型,使得数据查询的速度和空间利用率均优于传统方法。本文对将机器学习技术使用于数据查询优化的研究工作进行总结和归纳,主要包括索引结构优化、查询过程优化和学习型数据库系统调优。在对已有技术分析基础上,指出机器学习在数据查询的未来研究方向和可能面临的挑战。     

一种多通道NAND Flash阵列的坏块管理方案

针对多通道NAND Flash阵列对可靠性的要求,提出一种坏块管理方案,优化坏块信息的存储和查询方法,把坏块和替换块地址映射表存储在FRAM中。测试数据证明,方案可以实现多通道NAND Flash阵列的坏块管理,保证了存储的可靠性。优化的坏块表及查询方法缩短了坏块查询时间,FRAM节省了有效块地址映射时间, 同时FRAM的铁电效应,进一步提高了数据存储的可靠性。     

Oracle数据库中大型表查询优化的研究

对海量数据进行访问查询时，常常遇到系统响应时间过长，占用系统资源过多的问题．本文结合实例着重对Oracle数据库中的查询优化进行了研究，潮试结果表明采用的方法是很有效的，大大缩短了测试用例表的响应时间，最后对海量数据的优化方法提出了实用性的建议。     

数据仓库的查询优化研究

数据仓库中存贮着大量的历史数据,主要供企业决策分析之用,所涉及的数据操作主要是数据查询。因此,提升数据仓库的查询效率,优化查询方法是提升数据仓库应用的关键问题之一。本文主要介绍了数据仓库的查询性能问题,介绍目前主流的查询优化方法,并重点介绍了索引技术和分区优化方法。     

大规模知识图谱的多查询优化问题研究

多查询优化问题是从一组查询中找出公共子结构,将其结果缓存起来,每个查询可以利用缓存结果构建自己的结果.由于知识图谱上的多查询优化是NP-hard问题,现有方法无法在大量查询同时到达时高效地查找公共子结构,也无法保证优化后查询时间一定减少.因此,本文提出了一个新的分布式,基于内存的RDF查询引擎Leon来处理多查询优化问题.Leon使用了基于特征集合的索引和划分方法,具有简单高效、空间占用小的特点.针对现有检测查询之间公共子结构检测算法时间复杂度高的特点,本文提出了一个新颖的多查询优化算法:利用特征集合快速过滤没必要优化的查询,在剩下来的查询中精确、高效地查找公共子结构.实验结果证明:引入多查询优化情形下,时间是基准方法的1/10.     

OLAP性能分析及优化

数据仓库存储大量历史数据,OLAP应用涉及到对大面积历史数据的复杂查询,查询优化是提高OLAP响应速度的关键。目前最有效的方法是增加综合数据存储及查询方式的优化,但存储空间的有限限制了综合数据的存储量。常规优化数据库的方法不能满足OLAP的要求,针对以上出现的问题分别从数据仓库存储优化、OLAP实现方式的选择等工作出发,基于OLAP性能优化的查询优化策略等多角度实现对OLAP响应速度及提高查询优化。对这个问题进行了深入的研究。     

云计算环境中的数据查询处理方法研究

当前,网络技术发展迅猛,数据信息越来越庞大,而在如今的互联网时代,几乎所有的应用查询都与数据息息相关,通常总是通过查询相关数据以获取想要的结果。因此,云计算环境下的数据查询处理方法作为一种新型的互联网应用模式,受到了工业界和学术界人士的密切关注。人们可以通过终端设备便捷地获取云端服务,并以按需使用的方式获得需要的存储资源。现有的查询处理技术在应用于海量数据时已经显现出种种不足,这是因为当数据的量达到一定数量和级别,且查询的用户过多时,查询数据就需要花费很多时间,严重的甚至会造成数据库系统的性能减弱甚至崩溃,因此,这就需要进一步优化已有的数据处理方法。     

无人机航行数据库中经纬度数据查询模型研究

无人机航行数据库中经纬度数据的高效查询,对无人机的飞行性能至关重要.提出基于人工免疫算法优化的无人机航行数据库经纬度数据优化查询模型.模型设置飞行数据的初始簇中心,对海量经纬度数据属性特征进行选取,计算不同的经纬度数据属性特征的相似性,并对上述特征进行实时聚类分析,每查询一次,完成数据属性特征的筛选,使得经纬度数据的特征永远是最新的,实现经纬度数据的高效查询.实验结果表明,利用该方法进行无人机航行数据库的经纬度数据查询,能够降低查询误差,对无人机性能的进一步提高有着重要的指导意义.     

一种标签劣质XML数据上的twig查询处理的优化

XML数据中的不正确数据、不一致数据、不精确数据等劣质数据给XML.数据上的有效查询处理带来了挑战.专注于研究标签劣质的XML数据上twig查询处理的优化方法,文中分别给出了优化方法的原理、伪代码、正确性证明和复杂度分析,并通过例子加以解释.通过实验验证了优化方法的效率.     

基于k-means特征的适应性近似最近邻搜索算法

在基于倒排索引和HNSW索引结构的最近邻搜索算法中,由于所有查询点使用固定的终止条件进行近似最近邻搜索,从而导致某些查询点在搜索路径上访问了不必要的数据点。因此,本文针对十亿规模数据集,在IVF-HNSW算法的基础上,根据数据点的k-means特征和真实最小访问点,建立神经网络回归模型。通过模型,动态预测每个查询点在HNSW索引中找到最近邻所需要搜索的质心个数,以及在IVF中需要搜索的倒排列表的个数,最终每个查询点能够通过适应性搜索,减少需要访问的数据库向量的个数,进而降低总体搜索所需要的查询时间。实验结果表明,优化后的自适应搜索算法与原始IVF-HNSW算法相比,在最高召回率下,平均查询时间最多可降低27%。     

一种标签劣质XML数据上的twig查询处理的优化

XML数据中的不正确数据、不一致数据、不精确数据等劣质教据给XML数据上的有效查询处理带来了挑战。专注于研究标签劣质的XML数据上twig查询处理的优化方法,文中分别给出了优化方法的原理、伪代码、正确性证明和复杂度分析,并通过例子加以解释。通过实验验证了优化方法的效率。     

Sybase海量数据分页查询优化算法

通过分析用户的分页查询使用习惯,对Sybase数据库的常用分页查询算法进行优化,并通过实验证明改进算法确实能够大幅提升数据查询效率,并且拥有数据量越大优化效果越明显的优点。     

网络环境下海洋标量场数据三维可视化研究

为了实现多种海洋标量数据在网络环境下的三维可视化,设计基于开源三维地球框架Cesium的海洋标量场数据可视化系统,三维数据可视化系统采用B/S架构。文中对系统整体架构和功能设计进行详细阐述:系统采用瓦片思想,运用层次细节和数据动态调度方法优化数据可视化效果;系统实现数据的时间过程动态可视化、要素点属性查询和点过程曲线查询等功能。实验结果表明,该系统框架方法具有可行性,可在海洋环境分析中起到一定辅助作用。     

基于物化视图的查询重写系统设计与实现

随着XML文档大量涌现,如何有效地管理和查询XML数据已经成为亟待解决的问题。结合数据库发展的需要,研究了在关系数据库中利用物化视图和查询重写技术存储和查询XML文档。基于视图的查询重写技术是查询优化的一个重要技术,利用缓存的视图结果回答新查询不需要访问源数据库进行查询,能够节省查询处理时间。通过对物化视图、视图缓存、查询重写等技术进行研究,讨论如何利用关系数据库中缓存的物化视图来回答查询的问题,并实现了基于物化视图的XML数据查询系统原型。系统中使用扩展的模式匹配算法实现对多分支路径的模式匹配,解决了重写是否存在的问题,并通过模式匹配算法的匹配结果,来判断是否可以构造补偿表达式。通过构造补偿表达式算法得到重写结果,进而通过数据库中缓存的视图完成查询。     

异构信息集成系统中查询处理的优化研究

异构信息集成系统是一个较复杂的问题,以减少数据流量、减少通信代价、提高查询效率为目的,分析研究了异构信息集成系统中的查询处理以及查询优化的操作,在此基础上对查询语句进行优化研究,采用更为合理的查询策略和语法,对准确、高效地完成查询任务,提高系统性能有很大的帮助.     

云计算环境中多维数据集的查询与分布策略研究

针对多维数据集的特点,首先定义了查询等价集等概念,并结合云计算环境提出了多维数据集的查询算法.根据算法过程中各类因素的影响,提出了一种云计算环境中多维数据集的数据分布策略.理论分析与实验结果均表明,将本文提出查询与分布策略应用于云计算环境中的多维数据集,能有效的优化数据分布,提高数据查询的效率.     

基于智能语义自相关特征的数据库实体识别查询

为有效解决Deep Web数据库中数据纠错、消重和整合问题,优化Deep Web数据库实体查询性能.提出一种基于智能语义自相关特征的Deep Web数据库优化识别查询模型.模型由文本匹配模型、语义自相关特征分析模型和分组统计模型构成,设计语义自相关特征提取算法,定义语义信息约束规则,优化逼近数据库实体识别结果,使用语义自相关特征建立表象关联知识库,实现数据查询过程中的纠错、消重、整合.最后用数学推导证明了算法的稳定性.仿真模拟实验表明,算法能综合考虑文本特征、语义自相关特征和约束规则,数据库查询识别结果不断精化,数据查询准确性和有效完备性提高显著.     

关于SQL索引建立规则与优化的探讨

随着数据库系统的不断升级和优化,数据库的功能越来越完善。数据查询速度是数据库的核心,就目前来讲,建立索引是加快数据查询速度的首要措施。     

一种基于 MapReduce 的 XML 查询的优化方法

基于 MapReduce 的 XML 查询逐渐成为研究热点,如何提高 XML 文档查询的效率是关键问题之一.在保障查询结果正确和 XML 数据分块一致的前提下,采用 XPath 投影的方法对 XML 数据分块预处理,使得 XML 分块中仅包含与查询有关的数据.实验表明,该方法有效缩小了数据分块的规模、缩短了 XML 数据服务的查询处理时间.     

基于智能盘点的电力企业固定资产分类查询

传统固定资产分类查询技术在应用过程中，易出现通信冗余问题，导致分类查询计算开销较大。因此，设计基于智能盘点平台的电力企业固定资产分类查询方法。优化RFID标签数据存储格式，规范RFID标签数据，建立无线接收器和数据通信网络结构，优化查询通信方式，减少冗余。结合SVM分类和K近邻算法，对不同的资产分类情况选择不同算法，计算K近邻算法中的欧氏距离，实现固定资产分类查询。实验结果表明：分类维度偏大时，所设计的分类查询技术在智能盘点平台和用户端的计算开销均小于传统方法。