网格环境下基于XML的异构数据集成系统

分析地震、地质行业的数据资源特点,在数据网格中间件OGSA-DAI基础上提出一种基于XML的分布异构数据访问与集成框架,实现数据的透明访问和联合查询。系统以XML作为公共数据模型,使用三层模式集成机制,以XQuery同时作为XML模式之间的映射语言及全局查询语言,简化全局视图的构造和系统的查询处理。     

基于OGSA-DQP的分布式数据资源查询研究与应用

网格环境下的对数据的查询越来越成为一个关注的热点。该文介绍了OGSA-DQP的功能和体系结构,并详细介绍了OG SA-DQP分布式数据资源查询过程,并实现了在不同地理位置上的数据资源的查询访问。     

基于iRODS的分布式文件管理共享系统GDocument

随着科学数据库中的资源迅速增加,对这些资源的共享使用和管理提出了新的要求。iRODS（i Rule Oriented Data Systems）是美国圣地亚哥超算中心（SDSC）开发的一个数据网格中间件及其相关的工具系统,介绍了iRODS的体系结构和主要特点,并基于iRODS设计开发了一个分布式文件管理与共享系统GDocument,它能有效管理分布式异构数据,并提供统一的访问和集成共享。     

基于数据网格面向服务的查询算法

面向服务的框架（SOA）为用户的服务提供了一个标准的平台，实现服务的提供、发现、配置和集成，以帮助用户查询和处理信息．数据网格是面向服务的架构，为用户进行分布式远程数据查询服务提供了保障．对网格环境下Hidden Web数据库的研究与开发逐渐成为人们关注的焦点问题．要回答用户的查询，数据集成系统需要解决网格上的需求语义分析和关键字查询、建立数据查询模型．将数据库抽象为无向图，节点对应数据库中的元组，边对应“主-外码”的关系．查询的结果是与元组连接的答案树，它与查询的关键字相匹配．针对以上这些问题提出了一个新的查询算法，将改进的动态规划算法用于查询模型，保证Top-1答案树最优，Top-K答案树近似最优；给出了实验测试和评估结果．     

基于数据网格环境的k近邻查询

提出一种在网格环境下的k近邻查询方法——GkNN．到目前为止，尚未有文献提出数据网格环境下的k近邻查询算法．当用户在查询节点提交一个查询向量和k，首先以一个较小的查询半径。在数据节点进行基于双重距离尺度的向量缩减，然后将缩减后的向量按照向量“打包”传输的方式发送到执行节点，在执行节点并行地对这些候选向量进行距离（求精）运算．最终将结果向量返回到查询节点．当返回的向量个数小于k时，扩大半径值，继续循环直到得到k个最近邻向量为止．理论分析和实验证明该方法在减少网络通信开销、增加I／O和CPU并行、降低-向应时间方面具有较好的性能，非常适合海量高维数据的查询．     

Delphi数据库编程经验

１查询日期显示及输入１）模糊查询用Ｄｅｌｐｈｉ实现字段数据的模糊查询,有些报刊上介绍的办法是将查询的范围控制在姓名大于‘查询字符串＋ｃｈｒ（０）’与小于‘查询字符串＋ｃｈｒ（＄ｆｆ）之间（《电脑报》９８年１２月７日第４７期《Ｄｅｌｐｈｉ实用编程经验二则》）。这固然不失为一种办法,但是我们不应该忘记Ｄｅｌｐｈｉ对ＳＱＬ编程的支持,而在ＳＱＬ中就有现成的模糊查询的功能子句,关键在于灵活运用。现举例说明如下：如对“姓名”字段进行查询,当输入“王”时,能自动地将王姓的所有记录列出来。则用如下ＳＱＬ语句即…     

网格环境下基于服务的分布式查询处理机制研究

OGSA-DQP是一种用于网格环境、基于服务的分布式查询处理系统,实现了运行在不同平台的分布式数据密集型应用的高级数据访问与集成服务方法,为用户提供一致的虚拟关系数据视图和分布式数据查询支持。文章描述了其体系结构、分析了其查询和优化机制,并在不同条件下测试了查询性能,为寻找系统查询性能瓶颈、提高系统查询响应时间提供依据。     

学习索引:现状与研究展望

索引是数据库系统中用于提升数据存取性能的主要技术之一.在大数据时代，随着数据量的不断增长，传统索引（如B+树）的问题日益突出：（1）空间代价过高.例如，B+树索引需要借助O（n）规模的额外空间来索引原始的数据，这对于大数据环境而言是难以容忍的.（2）每次查询需要多次的间接搜索.例如，B+树中的每次查询都需要访问从树根到叶节点路径上的所有节点，这使得B+树的查找性能受限于数据规模.自2018年来，人工智能与数据库领域的结合催生了“学习索引”这一新的研究方向.学习索引利用机器学习技术学习数据分布和查询负载特征，并用基于数据分布拟合函数的直接式查找代替传统的间接式索引查找，从而降低索引的空间代价并提升查询性能.首先对学习索引技术的现有工作进行了系统梳理和分类;然后，介绍了各种学习索引技术的研究动机与关键技术，对比分析了各种索引结构的优劣;最后，对学习索引的未来研究方向进行了展望.     

基于PM-chord算法的数据网格副本定位方法

提出一种数据网格环境下的分布式副本定位算法PM—chord,以完成对所需数据副本的快速定位,降低存储和更新开销。PM—chord取逆时针方向为chord环的正方向,对节点和数据编码后按前缀匹配的原则查询数据,同时增加前继副本机制。分析及实验表明,该算法具有很高的副本定位效率,能够有效解决网格中的查询“热点”问题,具有良好的可靠性和可行性。     

网格环境下动态访问控制模型的研究与实现

网格为我们整合异构、分布的资源提供便利的同时,也带来了使用资源时访问控制的问题。网格环境下并没有形成一个成熟、完善的访问控制模型,而传统的基于角色的访问控制模型（RBAC）也并不完全适合于动态、异构的网格环境。我们结合了“科学数据网格”系统中访问控制的研究,提出了一个扩展RBAC的动态访问控制模型。最后介绍了这个动态访问控制模型系统的实现。     

科技数据网格中基于事件驱动的异步消息传输模型

典型数据网格实例在异构节点之间的数据传输效率低效。为了克服其缺点，提出了一个基于事件驱动的异步消息传输模型，给出了相关定义，论述了该模型的体系结构，并应用于科学数据网格中数据访问中间件当中。初步应用表明，该文提出的基于事件驱动的异步传输模型方案，对于具有数据海量性的科学数据网格具有重要意义。     

基于时延SDG和ICA的多工况过程故障预测方法

针对多工况生产过程,提出基于时延符号有向图(SDG)和独立成分分析(ICA)的在线故障预测方法.时延符号有向图描述了过程变量间信息传递的方向和时延大小;在有向图模型基础上,对过程数据进行信息同步校正;ICA方法应用于校正后的过程数据,使得基于ICA的性能监测方法具有良好的故障预测能力.在空分设备中的应用结果表明,该方法...     

大型数据仓库实现技术的研究

大型数据仓库是实现海量数据存储的有效途径，但在大型数据仓库的实现中存在很多问题。在分析问题的基础上，对大型数据仓库的实现问题提出了一定的解决策略，对其中的几个关键技术即数据立方体的有效计算、增量式更新维护、索引优化、故障恢复、模式设计和查询优化的代价模型及元数据的定义和管理等作了研究。     

基于数据网格的分布式查询优化模型

智能交通系统（ITS）中多个异构的、地理位置分散的数据源能使用像数据网格这样的分布式计算技术进行集成,这种集成所面临的真正挑战是分布式查询处理引擎的设计和开发。一般而言,分布式查询优化按照以下三个阶段进行：查询所涉及节点的确定,并行执行方案的生成,执行查询的最佳节点选择。由于这三个阶段的相互隔离可能会导致得到的查询方案并不是最佳的,提出了一个新的分布式查询优化模型,该模型集成了查询优化的三个阶段,综合考虑了查询优化各个阶段所涉及的参数,如节点的有效内存、处理速度、数据传输容错能力等。     

SDG建模及其应用的进展

符号有向图SDG(signed directed graph)是描述大规模复杂系统的一种有效方式,通过节点和有向支路表示了系统变量或局部之间的因果影响关系.近年来,关于SDG的研究已经成为热点并已取得许多成果,特别是在安全分析领域得到了重要的应用.本文在概述了SDG方法的产生背景与发展近况的基础上,主要综述了SDG研究中的若干重要问题,包括SDG模型的数学描述和基于数学模型、流程图和经验知识的三种建模方法,以及SDG在安全评价和故障诊断领域研究和应用的相关成果,总结了相关方法的优缺点,其中的核心问题是推理方法及其效率.最后对SDG技术的发展方向做出了展望,定量信息引入、推理方法、计算机建模等方面都有待于进一步研究.     

电信闭环决策支持系统的研究与实现*

针对电信数据的特点,提出了基于数据仓库的电信闭环决策支持系统的实现方案;确定了电信领域的决策分析主题及相关的模型,阐述了采用基于数据仓库的四层结构的电信闭环决策支持系统的系统架构和功能。系统以数据仓库为基础,运用联机分析处理、数据挖掘等分析决策手段实现了对电信数据多角度、多层次的查询、分析及决策功能。     

基于概率的大数据查询系统——Probery

针对大数据环境下完整性查询时间代价消耗过高的问题,提出了一种采用近似完整性查询方法的系统——Probery。Probery所采用的近似完整性查询方法不同于传统的近似查询,其近似性主要体现为数据查全的可能性,是一种新型的数据查询方法。Probery首先将存入系统的数据划分为多个数据分段;然后,根据概率放置模型将各个数据分段的数据存储在分布式文件系统中;最后,对于给定的查询条件,Probery采用一种启发式查询方法进行概率查询。通过与其他主流的非关系型数据管理系统的查询性能进行比较,对Probery进行验证,Probery在损失8%查询完整性的情形下,查询时间较HBase相比节约了51%,较Cassandra相比节约了23%,较MongoDB相比节约了12%,较Hive相比节约了3%。实验结果表明,Probery可以适当地损失查询完整性来提高数据的查询性能,具有较好的通用性、适应性和可扩展性。     

一种空间数据挖掘查询索引的研究及应用

从数据库技术角度出发,对空间数据挖掘查询的数据库支持技术和空间数据挖掘系统与GIS数据库的集成技术进行了研究;首先介绍了空间数据挖掘与GIS的关系,及目前在该领域存在的一些问题和缺陷;然后提出了一种支持空间数据挖掘查询的索引和数据访问方法——距离方向连接索引(Distance-Direction associated Join Indices,DDJI),并给出了基于这种索引技术的空间数据挖掘算法及实现技术,研究了基于DDJI的各种空间数据挖掘算法的统一实现技术;实验研究证明,与传统方法相比,DDJI的实现方法在性能上具有较大优势。     

Integration Framework and Key Technology of Big Earth Datafor SDGs and Beautiful China Evaluation

Construction of UN Sustainable Development Goals(SDGs) and Beautiful Chinashare the same meaning.Both of them endeavor to achieve national and regional social,environment and economy sustainable development.Accurate,reliable,timely and well classified data is the key for accurate evaluation of sustainable development.In order to address issues such as single data source,poor timeliness,lack of high accuracy and evaluation results unreliable,we puts forward the integration framework and standardization of the bigearth data which includes big network data,big remote sensing data,and big socioeconomic data facing to the evaluation of SDGs and Beautiful China.Then,the key technologies of network data acquisition and analysis,remote sensing data information intelligent extraction and socioeconomic data spatialization are analyzed from different perspectives.Taking the water contamination accident of SDG 6,forest information extraction of SDG 15,population spatialization of common requirements in SDGs as examples,the application of technological routes in supporting sustainable development evaluation based on big earth data are studied consequently.