试飞数据平台数据架构设计与应用

试飞数据是民机飞行试验的重要产物,具有测量参数数量大,数据体量大,飞行试验数据与试飞任务信息关联性强等特征,支撑飞机型号取证与设计优化等任务。试飞数据平台数据架构对多源异构数据集成接入、多类形态数据存储管理、多种层次数据处理分析等技术进行了研究,采用湖仓一体的关键技术和方法打造试飞数据全集。试飞数据接入采用流批一体的数据处理技术,融合Spark和Flink主流数据处理引擎,具备试飞数据快速入库能力。提出按秒聚合方法,具备PB级多维度试飞数据压缩存储功能,存储性能提升近10倍;采用以秒为索引条件支持快速检索,强化数据湖查询能力。研究数据仓库技术,设计试飞数据多层数据模型,具备多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成等功能,并成功应用在某型国产民机的飞行试验数据管理中,服务于试飞数据用户,提高了试飞数据管理效率与试飞数据应用价值。     

Web数据引擎的查询表达

当前Web的发展越来越快,Web上的信息也越来越丰富。如何能够快速准确地查找到有价值的信息成为一个人们普遍关心的问题,虽然目前有一些工具,例如各种搜索引擎,可以解决这个问题,但是结果都不太令人满意。另外,在数据库领域中,数据库技术可以支持复杂的查询请求,并且能够返回精确的查询结果。可否将数据库技术应用到Web上呢?从模型化的观点来看,在Web的某个局部的特定领域当中,数据库技术与搜索引擎技术有望结合起来实现更加精确的查询。为此,作者展开了相关的研究,设计并实现了一个原型系统WebView。论文主要介绍了该系统的查询表达部分的设计方法,通过采用三层模式框架和概念复合技术,使得用户可以很方便地表达比较复杂的查询请求。     

基于Drools规则引擎的物联网数据查询方法设计

物联网(IoT)数据具有数据量大和实时性好的特点。通过复杂事件处理技术处理物联网数据时需要设置复杂的规则,但规则往往会随着业务的变化而变化。Drools规则引擎可以通过分离的配置文件设置规则,在不修改设备数据或管理平台代码的情况下,筛选到匹配规则的数据或事物。为解决DRL规则文件架构和决策表文件架构筛选数据产生的重复匹配的冗余问题,设计了一种修正数据库的数据查询方法。在不同数据量、不同规则数的查询环境下,对DRL规则文件架构、决策表文件架构和修正数据库架构进行了数据查询性能分析。实验结果表明：修正数据库架构在大数据量查询时时间损耗更少,可有效减少冗余。     

多源异构数据融合与高性能图数据库查询引擎设计

文章针对多源异构数据整合及高性能图数据库查询引擎设计问题,提出创新技术解决方案。通过深度融合实现数据整合与高效存储,并引入先进图数据库技术,以快速响应复杂查询请求。实验证明,该系统在多源异构数据融合和图数据库查询方面具有明显的性能优势,为实际应用提供了可行解决方案。     

企业信息集成中XQuery引擎的查询优化

通过分析研究已有的XQuery引擎和XQuery查询优化的方法,从减少编译时间和执行时间角度出发,提出了一种基于XQuery语句自身优化的新型综合性优化方法,经过XQuery中某常见查询进行仿真实验,可以说明该新型综合优化方法有较强的优势,可以大大地提高XQuery引擎的查询效率。     

基于TEZ引擎和LLAP技术的Hive数据查询能力研究

分布式计算框架（HadoopMapReduce）解决了大数据分布式计算和并发计算问题,具有良好的扩展性和容错性,非常适合超大规模数据处理和分析。Hive基于HadoopMapReduce构建数据仓库分析系统,提供丰富的结构化查询语言（Structured Query Language,SQL）查询能力,可将SQL语句转变成MapReduce任务执行分析数据。但是,MapReduce本身的特点（Map阶段和Reduce阶段）使得其在多表关联和复杂SQL场景时运行较慢。因此,基于真实场景打造了一套通过TEZ引擎和LLAP(Live Long and Process)技术结合来提升Hive查询能力的系统,面对复杂的多表关联查询、使用频率较高的复杂查询时能够快速高效率执行,缩短了用户等待时间。     

数据集成中XML数据查询语义重写

查询重写是数据库研究的一个基本问题，它和查询优化，数据仓库，数据集成，语义缓存等数据库问题密切相关，为提高集成系统的查询效率，系统选择提交频率较高的XML查询物化为中间层视图，用户提交查询后，系统尽可能利用中间视图层中视图，而不是访问数据源来回答查询，这个问题实际可以归结为半结构化查询重写问题，考虑到中间视图层空间的有限性，已有视图应当尽可能回答更多的查询，传统查询重写方法有考虑半结构化数据之间的约束，而根据约束可以等价变换查询，从而提高中间视图层中的表达能力，提出了一种新的半结构化查询重写的方法，该方法在保证算法正确性和完备性的基础上，利用上半结构化数据中的约束，尤其是XML文件中的路径依赖，来增强中间层物化视图的表达能力，理论分析和初步原型实验证明方法的有效性。     

一种面向非公经济的数据查询优化方法研究

全国工商联在进行相关业务数据处理时,需要处理来自不同地域、不同领域的非公企业金融、信用等经济数据,目的是横向统筹单一或多个组织在一个或多个领域相关的指标数据,为后续非公经济发展提供决策依据；此外,需判断全国工商联接入各省市工商联数据资源的情况,以对全国非公经济数据进行分析研判。本文提出一种数据虚拟化应用方法,并基于此方法连接使用跨域数据资源。将工商联接入的多源异构非公经济数据进行逻辑虚拟化,构造数据的逻辑空间,通过分簇算法优化元数据查询,并提出了基于SparkSQL分布式查询的优化方法,实施Catalyst自动缓存策略、使用中间数据结构等方式提高数据查询效率与读取性能,在保证数据准确性的同时提高工商联数据资源的利用率,促进工商联数据资产有效利用。     

大数据查询综述

大数据具有传统数据所不具有的数量大、种类多、速度快、真实性等特点,传统的数据查询技术满足不了日益增长的大数据查询需求,大数据查询技术应运而生并迅速发展。从大数据查询的角度出发,着重分析大数据存储技术、大数据处理平台以及大数据查询引擎等。分别对比介绍传统关系型数据库、NoSQL、NewSQL和它们在大数据查询处理上的应用,介绍当前流行的大数据处理平台以及在这些平台上运行的大数据查询引擎,对其优缺点进行了综合阐述。      

基于XQuery的数据集成系统中的查询分解算法

XQucry查询语言使用XML作为抽象数据模型。可以对基于XML的数据源作查询，无论这些数据源是真正的XML文件或者是中间件提供的XML视图。本文研究了以XQuery作为查询语言的数据集成系统中的查询分解算法。在XQucry语言的层次，利用它的语言特点实现了多数据源的查询分解算法。     

融合多类特征的Web查询意图识别

识别搜索引擎用户的查询意图在信息检索领域是备受关注的研究内容。文中提出一种融合多类特征识别Web查询意图的方法。将Web查询意图识别作为一个分类问题,并从不同类型的资源包括查询文本、搜索引擎返回内容及Web查询日志中抽取出有效的分类特征。在人工标注的真实Web查询语料上采用文中方法进行查询意图识别实验,实验结果显示文中采用的各类特征对于提高查询意图识别的效果皆有一定帮助,综合使用这些特征进行查询意图识别,88。5%的测试查询获得准确的意图识别结果。     

面向查询意图的搜索引擎设计与实现

搜索引擎存在很多问题，原因在于引擎不能准确地理解用户的查询意图。提出面向查询意图的搜索系统，该系统允许用户采用自然语言输入查询要求，然后系统展开语义联想，理解出用户的真实意图，并提交用户确认或修改，进而根据确认的真实意图构造查询实例，提交到各个Web搜索引擎搜索，并将返回结果根据用户意排序。同时系统还从用户对查询结果的交互中学习理解用户意图的知识。     

并行数据仓库Para Ware系统的查询优化

1.引言数据仓库作为支持OLAP应用的系统,它所面对的数据往往都具有很大的规模。如何快速地得到查询结果,一直是人们研究的一个重要方向。在已有的研究中,已经相继提出了使用实体化视图和各种有效的索引技术来提高查询响应性能。使用实体化视图是通过数据的冗余存储,对于常用的聚集数据进行预计算,使用预计算结果响应用户查询。而索引技术也主要是应用在存储层上的,如在文[4]中提到在存储层中使用bitmap索引提取相关数据的方法。而在查询处理逻辑层次上的优化技术目前研究得还比较少。在文[3]中提到了使用缓存技术,减少磁盘I/O及通信代价,提高查询效率的方法,这个     

WWW搜索引擎的数据采集技术

该文主要研究了WEB搜索引擎中的数据采集技术和WEB搜索引擎数据采集机器人的关键技术和设计时应考虑的问题及相应的解决方法,并结合专题型搜索引擎的特点提出了一些搜索引擎的数据采集策略。     

昆虫吊飞数据采集与处理新技术的研究

本文介绍了如何改制计算机键盘用于昆虫飞行磨数据的采集和处理,使计算机在昆虫飞行研究上的应用更方便实用;同时介绍了QuickBasic语言编制的软件及使用方法,为计算机在昆虫飞行磨数据采集科研上的应用探索出一条新的途径。     

飞参记录数据计算机处理的有关问题研究

飞参记录仪因电子系统的工作特点,会产生一些数据失真、丢失等非正常数据情况.用计算机进行飞参数据批量自动处理时,必须要准确判断、去伪存真,才能保证飞参数据的真实可靠.通过分析大量飞参数据,总结出用计算机编程进行非真实数据处理的一些有效的判断条件及处理方法,探讨了对不同采样率参数进行数据补充的处理方法.以实际飞行数据为基础,比较了不同采样率载荷数据对疲劳损伤计算结果的影响,为飞参记录仪的设计、改进及地面处理提供依据.研究表明,疲劳损伤计算结果随载荷采样率增大而增大,为保证疲劳损伤计算结果的真实可靠,法向过载采样率应该大于4.     

基于本体的搜索引擎研究

由于目前搜索引擎的查全率和准确率太低,提出了一种基于本体的搜索引擎概念模型;这种搜索引擎不仅仅基于关键词检索,而且机器能够理解Web页面的内容,并进行逻辑推理来完成复杂的查询任务,最终返回精确的结果。     

一种基于站内的机器人综合式元搜索引擎的设计

本文针对传统搜索引擎在搜索引擎的查全率和查准率方面的弱点,分析了站内搜索的重要性,提出了一种基于网站站内的机器人搜索引擎,并具体阐述了基于机器人综合式搜索引擎的网站站内搜索引擎的技术实现方式.该搜索引擎能够快速查找用户所需的信息,最大程度地满足用户需求.     

基于Web数据挖掘的个性化搜索引擎研究综述

Web数据挖掘是将教据挖掘技术和理论应用于对WWW资源进行挖掘的一个新兴的研究领域.论述Web数据挖掘的发展现状、发展趋势以及将来可能的研究方向,并简单介绍个性化搜索引擎的一些情况,论述web教据挖掘在个性化搜索引擎中的应用.     

异构数据源集成应用模型及其查询处理方法

异构数据源联合使用的目的是屏蔽数据源的异构性，提供给用户一个使用多种数据源的统一接口，在实现联合使用的系统中的难点是用户查询的重写和分解。该文介绍了基于半结构化数据模型的异构数据源联合使用的实现，描述了其中的查询重写和查询分解的方法。