基于MapReduce模式的多表联查算法

多表关联查询是进行数据挖掘与分析的有效技术手段。随着大数据时代的到来,当前的数据分析技术在进行海量数据多表联查操作时存在明显的性能瓶颈,为此提出一种基于Map Reduce计算模型的多表联查算法UGS用以提升多表关联查询效率。实验表明,在海量数据背景下,该算法的查询效率明显优于大数据领域的Spark SQL,Hive及关系型数据库的My SQL。     

基于BLOB的图像查询系统应用研究

随着图像信息处理方面应用领域的不断扩大,对如何有效地组织图像数据库地研究也越来越深入。本文介绍了一个集图像处理、热点查询和数据库于一体的面向图像的信息管理系统,该系统以BLOB为基础,采用扩充的关系数据库模式并引入图像数据库技术,使用多个小的图像数据表和图像数据索引表,解决了系统中图像数据的录入检索以及图像热点操作问题。结果表明,基于BLOB的图像查询系统既保证系统的安全性和数据的完整性,也满足了系统要求的速度和效率,是进行图像数据在数据库系统中处理与使用的有效方法。     

线程池在批量搜业务中的实际应用

在日常业务功能开发时,客户经常会提出批量查询数据的功能,而解决的方案通常都是根据客户的查询需求,先制定一个批量的查询模板,这个模块包含了查询的录入条件,而这个条件通常是多个的,而且可能是多类型的,比如查询QQ号,或者查询手机号,这样的查询录入条件都是可以在模板中录入的。客户上传查询模板,根据业务系统的逻辑要求,将模板中的查询条件一一查询出来。得到的结果通常都是将结果放置在一个新生成的文件中,生成的文件通常是多个的,客户想要得到这一批查询数据,就可以打包下载这一批文件了;又或者将得到的数据放置在一个或多个数据库表中,之后将数据中导出来放置在文件中给客户。无论是哪一个方式,在执行批量搜的过程中,为了提高执行效率,使用线程池是很好的选择。下面探讨下线程池在批量搜查询功能中用法。     

基于物化视图的查询重写系统设计与实现

随着XML文档大量涌现,如何有效地管理和查询XML数据已经成为亟待解决的问题。结合数据库发展的需要,研究了在关系数据库中利用物化视图和查询重写技术存储和查询XML文档。基于视图的查询重写技术是查询优化的一个重要技术,利用缓存的视图结果回答新查询不需要访问源数据库进行查询,能够节省查询处理时间。通过对物化视图、视图缓存、查询重写等技术进行研究,讨论如何利用关系数据库中缓存的物化视图来回答查询的问题,并实现了基于物化视图的XML数据查询系统原型。系统中使用扩展的模式匹配算法实现对多分支路径的模式匹配,解决了重写是否存在的问题,并通过模式匹配算法的匹配结果,来判断是否可以构造补偿表达式。通过构造补偿表达式算法得到重写结果,进而通过数据库中缓存的视图完成查询。     

在AutoCAD ADS编程中使用数据库接口——ASE

AutoCAD因其具有支持的平台及外设多、价格低、易学易用、具有开放的体系结构等优点,所以在各行各业中得到了广泛的应用。但在用ADS扩展访问数据库的功能时却很不方便,笔者将就此问题与读者共同探讨。 一、ASE的机制 ASE(即Auto CAD结构化查询语言扩展)是AutoCAD提供的数据库接口。它允许存取外部数据库中的非图形数据,如材料表、零件明细表、机器型号表等,可直接在AutoCAD内部对上述数据进行各种处理,并在图中实体与数据库之间建立一种连接。ASE的机制主要由以下三部分组成:     

表分区技术在公共信用基础数据库中的应用

<正>表分区是数据库管理系统的关键技术之一，它是一种逻辑存储技术，通过将一个大表的存储文件拆分成若干个独立的物理分区文件，从而提高数据库的I/O性能。本文结合公共信用基础数据库业务特点，为记录数超过千万级别的大表选择了合适的分区策略，提高了数据库的查询性能。公共信用信息基础数据库是社会信用体系建设的基础工程，是支撑公共信用信息归集和应用的基础。随着时间的推移，公共信用信息基础数据库中积累了大量数据，记录数超过千万级别的表日益增多，数据地增长速度也越来越快，这不仅影响了数据库的运行效率，也加大了数据库运维的难度。     

海量数据处理系统设计的几点探讨

文中针对海量数据的处理,结合Oracle数据库设计的实践,就数据库设计中的表设计、数据装载、查询,资源优化等内容进行了探索,在提高大型数据库运行效率方面提出了比较切实可行的思路和方法。     

多数据库集成环境下查询优化研究

在多数据库集成系统中，用户查询由中介系统转换为对各局部数据库的内部操作及局部数据库之间的数据传递。搜索一条访问相互连接数据源的路径以获得综合开销最小的查询策略，是多数据库集成环境向查询优化提出的新的挑战。文章设计了一个新的中介系统，将查询优化问题分为两个阶段，并在此基础上通过化简策略空间、有效的代价估算和策略搜索算法，以提高多数据库环境下查询优化器的工作效率。     

产品之窗

美国Sybase公司开发的SybaseData Workbench是交互式、直观的数据库存取和管理软件工具.它可方便地构造和测试SQL语句,用标准的SQL命令管理数据库模式和数据字典,使用Sybase Transaction-SQL命令构造数据库表、权限、对象、规则、索引、视图、触发器以及存储过程,进行数据管理.该工具的主要功能包括:生成报表;浏览任意Sybase数据库字典;基于表格进行查询、插入、删除和更新数据;用直观和交互式查询语言查询数据库;在数据库间快速批量拷贝表格方式;将文件输入/输出信息送到数据库表格中以及自动检查数据库物理和逻辑的一致性.     

基于C/S模式的体育事业统计年鉴信息系统设计与实现

本文以历年《中国体育事业统计年鉴》中的积累数据为研究对象,通过对各类统计数据表的分析,运用数据库技术和软件工程方法,确定表的结构,建立年鉴数据库;研究运用c#语言设计开发基于网络的c/s模式前端客户端,对数据库进行添加、删除、修改、查询、导出等相关操作,实现对《中国体育事业统计年鉴》数据的网络化管理。     

实现Web数据库关联查询的几种方法

简述了几种常用的Web数据库连接技术，并对其进行了分析和比较；给出了实现Web数据库关联查询的关系数据库方法和Delphi方法，其中在后一种方法中又给出了连接Paradox和dBASE进行异库关联查询和MS Access多表关联查询两种方法；每种方法都给出了查询实例。     

ASP+TXT通用型查询系统的设计

随着信息技术的快速发展和Internet应用水平的逐步提高,在企业信息化应用中对数据的查询应用涉及面很广,而且存在迫切的应用需求,目前企业信息化系统软件中的数据库存在多样化和不统一等问题,所以用户要想获取数据库信息,需要简单、实用、统一的系统来实现数据的查询工作。为了提高工作效率、实现数据查询的通用性,使信息化软件的数据得到方便快捷的读取,那么研究信息高效率查询是企业信息化建设的迫切要求。所以如何让数据通用,使用户方便快捷获取信息是本文研究的重点,本文采用的ASP是面向对象的编程技术和TXT文本数据库;可使复杂数据库查询简单化,发挥其实用性,该系统可广泛应用到工资查询、证书查询、物业费查询、成绩查询等诸多信息查询领域。     

Delphi开发实用技巧

现在,越来越多的人开始使用Delphi来开发应用程序。下面是利用Delphi编写程序时较为有用的若干技巧,仅供参考。 1、如何解决TQuery部件输出结果集中仅含一条记录的问题 TQuery部件在数据库应用中是一种使用频率很高的部件之一,查用它来查询和修改数据库表。在使用过程中常常出现数据库表中有多条记录,而通过TQuery得到的结果集中仅含一条记录,令程序员非常费解。笔者发现,在     

基于时序数据库的海洋装备监控数据存储系统

目前在海洋装备上通常使用关系数据库存储海量监控数据,存在空间占用大、查询性能差的问题。文章提出了基于时序数据库的海洋装备监控数据存储解决方案,并基于国产数据库TDEngine完成了系统工程实现,实现了监控数据的自动建表、自动存储以及快速可视化。经测试表明,该系统的数据压缩和查询性能相比于传统关系型数据库具有明显优势,为解决海洋装备海量监控数据存储的难题提供了良好的解决方法。     

防疫站的数据管理系统设计

介绍了用Microsoft公司Office97办公系统软件中的Access97数据库设计并构建了防疫站的数据管理系统，实现创建表、数据查询、数据输入界面及各种报表输出。     

多目表上对多个单目进行排序与查找的方法

在多目表上，常需根据不同需求针对不同表目（字段）进行快带查询。为满足响应时间的要求，常用的方法是将原始多目表依照排序表来。鉴于内存的容量，这常常是不可行的。为能只在内存中进行多单目的快速查询，本文在单目的表排序算法的基础上，试做改进，给出针对多单目表的表排序算法。和在其上进行快速查询与增添、删除数据记录的算法。本算法一方面确保了查询的快速性，另一方面又节省了大量的内存空间，从而可避免使用严重降低运     

Web数据库分页浏览方法性能分析

随着互联网的发展,Web数据库的应用越来越多,在Web页面中实现数据库记录的分页显示是一项复杂而又实用的技术。Web数据库分页有基于ADO的分页和存储过程分页2种方法。从Web数据查询特点出发,对这2种方法的性能进行了分析,并且着重介绍了存储过程分页的实现方法以及表变量在存储过程中的应用,最后对这2种Web数据库分页浏览的方法进行了测试和比较。结果表明,利用存储过程分页可以有效地提高Web数据访问的效率。     

基于位编码的联机分析处理及数据挖掘算法

联机分析处理系统（OLAP）中的查询问题或决策支持系统中的查询非常复杂,如何处理大维度的海量数据是一个挑战。提出了一种用于OLAP多维数据库及相关数据挖掘的并行体系结构;提出了一种改进的适用于完整或部分数据立方体的并行计算调度优化方法;实现了一个大尺度的多维数据库引擎,适用于在多维度、海量数据的OLAP或SSDB中进行维度分析。     

计费数据云存储:实践“数据集中化”的核心关键

运营商如果想实现计费的全国集中,首先需要解决的问题是实现计费数据的云存储和云计算。目前,计费数据大多采用省集中存储、数据库表结构的存储模式,这种简单的表数据存储和存放方式给大用户量和大话单量数据的插入、查询和更新操作带来了巨大的系统开销,应用系统的性能瓶颈往往表现在数据库操作的性能瓶颈上。     

数据库优化查询架构的设计与仿真

针对当前数据库查询过程中,在处理海量数据的时候,使用的常规查询方法不仅浪费数据库资源,多次重复无用操作,而且可能使数据库负担过重而崩溃,使得查询数据库非常费时费力的问题.本文提出了构造XML文档来模拟数据库,将数据库的查询转化为对XML的查询.在使用上提出了一种更加便捷的查询解决的方案.仿真实验证明,该模型能够大幅提高数据的查询速度,取得很好的效果.