基于多核处理器的VTD-XML节点查询执行性能优化

针对目前主流的多核处理器,研究了基于VTD-XML的节点查询执行性能优化,即基于预读策略从多线程并发执行和提高线程内存访问性能两个方面优化XML节点查询的性能。实验结果表明,提出的多线程XML文档解析框架可以充分利用多核处理器的计算资源,并有效地提高线程的内存访问性能,大大提高了XML节点查询的性能。     

基于多核优化的网络协议解析类系统应用研究

针对网络流量监测系统传输数据速度过快时存在的数据丢包、传输停止、响应错误等性能问题,提出了一套针对网络流量监测系统的评价指标,其将系统的吞吐量作为核心指标,通过评价指标来对系统的优化性能进行评估;选取了网络协议解析类系统进行多核优化研究,以GTP-AS系统作为具体目标进行优化之后,根据系统的性能瓶颈提出了一套多核平台优化策略,并且通过实验证明,当核心处理器的计算核心数量增加到7个时,多核优化的网络协议解析系统的吞吐量能够达到优化之前的391.73%,有效提高了系统性能。     

基于MapReduce的GML并行查询

针对应用地理标记语言(Geography Markup Language,GML)表示的海量空间数据查询问题,提出一种基于MapReduce的GML并行查询方法。通过提取GML空间特征集合,实现GML文档查询到GML空间特征集合查询的查询转化,并利用MapReduce实现空间特征并行查询。     

多核平台上Top-k查询的性能优化

随着Web搜索引擎等实际应用的发展,Top-k查询的实时性能日益受人关注.为了提升Top-k查询在高性能计算机上的实时性能,本文针对领域中具有代表性的No Radom Access(NRA)程序进行性能分析,根据多核处理器的结构特点,采用分层的优化方法对NRA程序进行并行优化.通过使用数据结构调整,任务调度等方法优化,优化后程序在实验数据集上获得了59%的串行性能提升,并具有接近线性的加速比.     

基于GCC实现飞腾处理器向量处理单元的编译器后端

编译器后端是针对特定目标机器的编译器实现,不同的指令集体系结构需要实现不同的编译器后端。面向飞腾处理器中向量处理单元(FT-VPU)的体系结构和指令集,基于GCC编译器实现了编译器后端,使GCC能够正确编译面向FT-VPU的SIMD指令的内嵌函数。从四路双精度SIMD指令的机器描述出发,总结了在GCC后端所做的实现工作。其对基于GCC编译器实现面向特定目标机器的编译器后端有较大的参考价值。     

一种面向嵌入式系统总线的低功耗优化方法

为了解决嵌入式系统设备总线的功耗问题,从软件方面的功耗优化入手,提出一种面向嵌入式系统总线的低功耗优化方法,即在编译阶段,分别对指令地址总线和数据总线进行优化,以减少总线的翻转次数,降低其功耗。具体方法为:针对指令地址总线,采用改进后的遗传算法进行函数段调用优化,然后结合T0编码,减少总线翻转次数,从而降低其功耗。针对指令数据总线,采用粒子群算法进行指令调度优化,然后结合0-1翻转编码,减少总线翻转次数,从而降低其功耗。为了验证上述方法的正确性和有效性,以HR6P系列微处理器为平台展开实验,实验结果表明,总线功耗的优化效率达到25%左右。该方法明显减少了总线的翻转次数,提高了系统的整体性能。     

基于任务抢占与数据分区的XML多核查询优化

在XML查询处理中,目前普遍的算法仍然使用传统的串行处理模式,无法充分利用多核资源的优势.针对此问题,设计了一种基于任务抢占与数据分区的XML多核优化策略(Imp-NBPP),它对XML文档进行数据分区,以达到负载平衡,让各个线程独立处理分区内的数据,减少了线程之间同步与通信带来的开销.同时还探讨了任务抢占在多核查询中的应用.实验表明,对于不同大小的XML文档,基于节点数(NBP),基于文档大小(SBP)与本文所提策略,这三种策略与单核查询相比均能有效的节约查询时间;使用Imp-NBPP策略时,在节约查询时间和负载平衡方面均优于NBP、SBP策略.     

基于LDA主题模型的文本相似度计算

LDA(Latent Dirichlet Allocation)模型是近年来提出的一种具有文本表示能力的非监督学习模型。提出了一种基于LDA主题模型的文本相似度计算方法,该方法利用LDA为语料库建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,挖掘隐藏在文本内的不同主题与词之间的关系,得到文本的主题分布,并以此分布来计算文本之间的相似度,最后对文本相似度矩阵进行聚类实验来评估聚类效果。实验结果表明,该方法能够明显提高文本相似度计算的准确率和文本聚类效果。     

基于潜在语义分析的Deep Web查询接口聚类研究

集成查询接口的生成是Deep Web数据集成的重要组成环节。如何对不同领域的查询接口进行有效的聚类是生成集成查询接口时需要解决的核心问题之一。针对传统的向量空间模型在Deep Web查询接口聚类时单纯依赖关键词匹配的缺点,引入潜在语义分析(LSA)的方法来发掘查询接口之间的语义关系,并给出了基于潜在语义分析的Deep Web查询接口聚类算法,最后采用UIUC的Web集成资源库提供的数据进行了实验。结果表明,潜在语义分析的方法提高了同一领域查询接口之间的相似度,明显改善了Deep Web查询接口聚类的质量。     

基于丛生树的片段式并行查询优化技术研究

该文以丛生树模型为基础,提出了一种片段式查询执行计划。该执行计划将查询树划分成多个按流水线方式执行的片段,各片段依次执行。该执行计划可以减少中间结果的Ｉ／０次数,更充分地利用内存资源。文中还举例说明了计划的执行过程。     

一种基于共享执行策略的间隔查询优化技术

间隔查询作为重要的查询类型,广泛应用在社交网络、信息检索和数据库领域.为了支持高效的间隔查询,涌现出多种优化技术.尽管已有方法能够快速响应单个间隔查询,然而当查询负载超过服务器的处理能力时,70%的查询均不能在期望时间内得到响应.针对这一问题,提出采用共享执行策略优化间隔查询的方法SESIQ（shared execution strategy for interval queries）.SESIQ对间隔查询进行批处理,分析一组间隔查询间可共享的操作,减少重复数据的访问,从而降低磁盘I/O和网络传输代价,提高检索性能.理论分析并实验验证了SESIQ的可行性,基于两种真实数据集的大量实验结果表明,SESIQ是有效的,间隔查询的检索性能可提升数十倍.     

Accomplishing Deterministic XML Query Optimization

As the popularity of XML (extensible Markup Language) keeps growing rapidly, the management of XML compliant structured-document databases has become a very interesting and compelling research area. Query optimization for XML structured-documents stands out as one of the most challenging research issues in this area because of the much enlarged optimization (search) space, which is a consequence of the intrinsic complexity of the underlying data model of XML data. We therefore propose to apply deterministic transformations on query expressions to most aggressively prune the search space and fast achieve a sufficiently improved alternative (if not the optimal) for each incoming query expression. This idea is not just exciting but practically attainable. This paper first provides an overview of our optimization strategy, and then focuses on the key implementation issues of our rule-based transformation system for XML query optimization in a database environment. The performance results we obtained from experimentation show that our approach is a valid and effective one.     

基于XPath的XML查询优化

随着XML作为Internet上数据表示和交换的标准,如何高效地进行XML数据的查询己经变得越来越重要,许多XML查询语言也随之出现。这些查询语言虽然种类繁多,但都有个共同特征：使用基于XPath数据模型下规则路径表示来查询XML数据。研究表明,当前的关系数据库技术在处理规则路径表示的查询时通常效率不高。 文章在介绍了传统的基于遍历树的方法的基础上重点讨论了基于路径分解的查询处理算法,并对选择连接顺序算法提出了基于动态规划思想的改进,     

基于XPath的XML查询优化

随着XML作为Internet上数据表示和交换的标准,如何高效地进行XML数据的查询己经变得越来越重要,许多XML查询语言也随之出现。这些查询语言虽然种类繁多,但都有个共同特征:使用基于XPath数据模型下规则路径表示来查询XML数据。研究表明,当前的关系数据库技术在处理规则路径表示的查询时通常效率不高。文章在介绍了传统的基于遍历树的方法的基础上重点讨论了基于路径分解的查询处理算法,并对选择连接顺序算法提出了基于动态规划思想的改进。     

一种改进的数据库查询优化算法

数据库查询优化技术对提高数据库的查询效率,增强数据库性能有重要作用。针对大型数据库中多表连接查询效率低的问题,提出了一种基于粒子群算法的改进查询优化算法。针对多表连接查询的特征,对粒子采用树形编码的方式,并提出了一种计算数据库查询执行代价的模型。实验表明,使用粒子群算法优化后的查询策略比原始查询策略的查询执行代价低,有效提高了系统的查询效率。     

SQL Server查询优化器原理与优化实例分析

查询是数据库的核心操作,随着数据库技术的发展以及数据量急剧增加,对查询性能的要求越来越高,查询优化成为数据库管理系统亟待解决的重要问题。文中针对应用最广泛的SQL Server数据库的查询优化器进行研究。通过图形研究查询优化器的工作原理,并深人分析提交SQL语句、解析、代数化、查询优化、编译、执行、结果等查询优化器的工作步骤;进行实例分析,运用图形表示了逻辑树和经过优化后得到的查询执行计划。结果表明,SQL语句是查询优化的基础,实际应用时需要写出符合查询优化器规则的SQL语句。     

Load Balancing for Parallel Query Execution on NUMA Multiprocessors

To scale up to high-end configurations, shared-memory multiprocessors are evolving towards Non Uniform Memory Access (NUMA) architectures. In this paper, we address the central problem of load balancing during parallel query execution in NUMA multiprocessors. We first show that an execution model for NUMA should not use data partitioning (as shared-nothing systems do) but should strive to exploit efficient shared-memory strategies like Synchronous Pipelining (SP). However, SP has problems in NUMA, especially with skewed data. Thus, we propose a new execution strategy which solves these problems. The basic idea is to allow partial materialization of intermediate results and to make them progressivly public, i.e., able to be processed by any processor, as needed to avoid processor idle times. Hence, we call this strategy Progressive Sharing (PS). We conducted a performance comparison using an implementation of SP and PS on a 72-processor KSR1 computer, with many queries and large relations. With no skew, SP and PS have both linear speed-up. However, the impact of skew is very severe on SP performance while it is insignificant on PS. Finally, we show that, in NUMA, PS can also be beneficial in executing several pipeline chains concurrently.     

Query optimization in XML structured-document databases

While the information published in the form of XML-compliant documents keeps fast mounting up, efficient and effective query processing and optimization for XML have now become more important than ever. This article reports our recent advances in XML structured-document query optimization. In this article, we elaborate on a novel approach and the techniques developed for XML query optimization. Our approach performs heuristic-based algebraic transformations on XPath queries, represented as PAT algebraic expressions, to achieve query optimization. This article first presents a comprehensive set of general equivalences with regard to XML documents and XML queries. Based on these equivalences, we developed a large set of deterministic algebraic transformation rules for XML query optimization. Our approach is unique, in that it performs exclusively deterministic transformations on queries for fast optimization. The deterministic nature of the proposed approach straightforwardly renders high optimization efficiency and simplicity in implementation. Our approach is a logical-level one, which is independent of any particular storage model. Therefore, the optimizers developed based on our approach can be easily adapted to a broad range of XML data/information servers to achieve fast query optimization. Experimental study confirms the validity and effectiveness of the proposed approach.