自适应数据库中基于特征向量的聚类算法

负载自适应数据库系统中,负载特征化部件要实时对各种数据库的访问负载分类,根据分类的情况预测负载对数据库资源需求。是对常规聚类算法的一个改进,提出基于特征向量的聚类算法和基于特征向量的增量聚类算法。使用该算法后负载分类速度和准确性有明显提高。     

基于分支混淆算法的隐私数据库自适应加密方法

为有效降低隐私数据库中数据泄露的可能性,进一步提高数据安全性,本文设计一种基于分支混淆算法的隐私数据库自适应加密方法。在收集应用程序对数据库的请求内容的基础上,利用分支混淆算法对隐私数据库内数据的特征进行分类,并选取朴素贝叶斯分类器对数据库内混淆点实施分类,从而确定数据库中数据的字段类型,基于此,针对不同字段类型数据选取相应加密算法。其中,数值类型数据采用保序加密算法,等值比较类型数据采用等值加密算法,文本类型数据采用分词辅助索引加密算法。在加密数值型、时间类型、字符型字段的同时,保留偏序特性和可检索特性。实验结果表明提出的方法可实现对隐私数据库内不同字段类型数据的有效加密,且加密所需的时间开销较小,安全性高。     

基于数据库技术应用分类算法的比较分析

数据库是一个庞大的系统,在数据挖掘过程中,对数据处理的算法有多种方式,但每种方式都有其优优势和不足,本文基于数据库技术应用的特点,分析了数据库技术数据处理中的决策树算法、贝叶斯分类方法、关联规则分类方法、以及基于数据库本身技术方法等几种算法分类,通过比较分析得出每种方法存在的利弊,旨在帮助提高数据库技术算法的有效性,也为使用者选择算法或改进算法提供了一定依据.     

内存列存储数据库中优化的混合自适应索引

分析型数据库在现代企业中得到广泛应用,在使用过程中对查询处理速度的要求逐渐提高。大数据环境下,分析型数据库面临一系列新的挑战:首先,数据复杂性与日俱增,使得数据库系统的初始配置任务更加繁重,例如索引创建等;其次,在分析过程中,由于查询负载模式无法预知,需要对某些属性反复构建索引,以满足查询的时间要求。显然,传统的索引构建维护技术不能完全满足新的应用环境。数据库分裂技术提出了一种不同的策略去解决这些问题。使用数据库分裂技术,DBA不需要对数据库进行细粒度的系统配置。在查询执行过程中,数据库能自动调整以适应查询负载;随着查询负载的变化,系统自动调整索引。近年来,一系列数据库分裂算法被提出,但已有的算法都各有优缺点。因此给出了一个cache conscious的数据库分裂代价模型,并基于该模型构建了一个新的自适应索引,其可以综合不同数据库分裂算法的优势。通过大量实验验证了这种新自适应索引技术的有效性。     

基于改进决策树算法的Web数据库查询结果自动分类方法

为了解决Web数据库多查询结果问题,提出了一种基于改进决策树算法的Web数据库查询结果自动分类方法.该方法在离线阶段分析系统中所有用户的查询历史并聚合语义上相似的查询,根据聚合的查询将原始数据划分成多个元组聚类,每个元组聚类对应一种类型的用户偏好.当查询到来时,基于离线阶段划分的元组聚类,利用改进的决策树算法在查询结果集上自动构建一个带标签的分层分类树,使得用户能够通过检查标签的方式快速选择和定位其所需信息.实验结果表明,提出的分类方法具有较低的搜索代价和较好的分类效果,能够有效地满足不同类型用户的个性化查询需求.     

OLAM体系结构和算法的研究及应用

联机分析挖掘(0LAM)把0LAP(联机分析处理技术)和DM(数据挖掘)统一起来,从而在数据库或数据仓库的不同层次进行挖掘.为了提高联机分析挖掘的效率.论文给出了基于OLAP和DM的0LAM系统的一体化模型,并且通过研究数据挖掘方法和联机分析处理技术各操作的特点,对传统的DM算法进行了一定的改进,提出了更有效的基于0LAP的关联规则挖掘算法.     

基于数据库抽样的海量数据分类算法研究

本文对目前比较优秀的各种分类方法进行了介绍、分析和比较.在此基础上,借鉴决策树方法的快速分类特性,提出了一种基于数据库抽样的海量数据分类算法,给出了算法的设计思想和实现原理,并对多处理环境下的优化进行了探讨.实验研究表明,该算法可以明显提高海量数据库的分类效率.     

三级存储系统中一种高效的连接算法

第3级存储器的联机使用为海量数据管理提供了一种廉价可行的方案.为了使数据库管理系统能够联机使用第3级存储设备,第3级存储设备上的关系操作算法,特别是连接操作算法是必须解决的关键问题之一.提出一种高效的连接算法.实验结果表明,该算法无论在性能方面还是在扩展性方面都优于以往算法,极大地减少了I/O代价.当数据量较大时,算法的性能不低于基于磁盘的连接算法.结果表明,第3级存储器可以像磁盘一样在海量数据库系统中联机使用,解决海量数据库存储和联机查询等关键问题.     

一种基于泛化的在线分类规则挖掘算法

分类规则挖掘是数据挖掘中一项重要的挖掘任务,现存的分类算法对小数据集非常有效,但如果直接作用于大型的现实数据库,效率不能令人满意,研究了一种基于泛化的分类算法,能够对数据库进行直接的在线分类规则挖掘。     

基于LVS的数据库集群负载均衡性能测试与分析

Linux虚拟服务器(Linux Virtual Server,LVS)技术是一种广泛应用于企业集群中的负载均衡技术,目前关于LVS的研究主要是基于Web服务器集群负载均衡性能方面。在一些实际应用场景中,LVS可以直接与数据库集群相结合。将LVS与数据库集群结合,提出一种对LVS架构下数据库集群性能进行测试的方案,并利用HP LoadRunner对负载均衡算法的数据库集群进行负载测试实验,通过数据分析比较,得出LVS提供的算法中较适合数据库集群的调度算法。     

MOLAP带层次的维聚集实现

随着数据库技术的广泛应用和发展,产生了数据仓库、联机分析处理等一系列新技术,并且在实践中得以逐步应用.对于不同类型的联机分析处理技术的研究应用,以关系型的居多,而多维型的研究应用相对较少.通过对多维联机分析处理进行的研究可知,维聚集的实现是一个重点,而带层次的维聚集的实现是一个难点.探讨了多维联机分析处理带层次的维聚集的实现,在进行了分析的基础上,给出了类的设计,之后根据算法用代码予以实现,通过实例进行了验证.     

基于MVC的网上学习系统数据库的开发

针对网上学习系统具有互动性、实时性、并发性等特点,采用MVC分层设计模式,使其能适应未来不断变化的需求和扩展。独立设置Web服务器处理页面HTTP请求,FMS服务器处理视频文件的媒体流转换,既可减轻单台服务器的数据处理压力,也使大数据量的视频传输不影响用户的网页浏览。重点分析数据库开发中数据库设计原则、数据库开发流程,以及数据库建表、数据表关联、数据库连接等实现方法。最后对系统进行功能和压力测试,结果表明,系统能支持大用户量和高并发在线学习和即时交流。系统功能完备、实用性强,推广应用将对包括干部培训在内的网络教育的教学和管理起到积极的示范作用。     

联机分析处理数据立方体代数

数据立方体是多维数据库和以多维分析为基础的联机分析处理技术的核心机制.文章提出了一个支持多维数据库和多维分析的关于数据立方体的代数,从而为数据仓库及联机分析处理的语义描述提供了理论基础.同时,文章还论述了数据立方体的一些应用,以证明该工具所具有的强大功能.     

基于WAMP的藏汉英互译在线词典的设计与实现

根据目前在线藏汉英词典使用的实际需求, 青海师范大学藏文信息处理省部共建教育部重点实验室设计实现了一种基于WAMP平台的藏汉英互译在线词典,并给出了词典数据库和查询页面的具体设计方法和关键代码。经测试,该在线词典根据用户的需要,输入单字和词就可以在藏汉英三语间交互查询并快速检索到对应的译词。词典采用B/S结构,它的实现有助于藏汉英三语间的交流和学习。     

冷轧带钢表面缺陷在线检测软件体系结构设计

为解决带钢表面缺陷在线检测系统的信息支持和后续处理的问题,遵循软件工程的设计思想,提出了一套完整的冷轧带钢表面缺陷在线检测系统的软件体系结构设计方案,建立了系统的层次结构模型、功能结构模型及其后台数据库,通过可视化程序设计和关系数据库实现了检测软件的系统功能.该系统不仅能够识别分类各种缺陷,而且可通过数据库保存各类数据信息,便于对各类信息数据进行查询和管理,并解决了系统算法更新的问题.该体系结构的设计为在线检测缺陷分类识别的进一步研究奠定了基础,具有一定的实用价值.     

基于ASP的网上购物系统的分析和实现

随着信息技术的高速发展,网上购物越来越受到人们的青睐,不同语言开发的网上购物系统遍布各大购物网站。文章讨论了一个基于ASP网上购物系统的技术基础及实现方式。系统基于ASP技术和Access数据库技术进行开发,然后运用图像处理软件对页面进行美化。本次设计主要把系统分为前台系统和后台系统两个模块。     

水文预报业务非结构化数据库选型探索

如何更加高效地存储和处理海量非结构化数据,已成为水利行业信息化建设亟待解决的难题,水文预报业务作为水利行业的核心业务,选择合适的数据库是首要任务。对目前国产主流数据库进行梳理,将非结构化数据库分为数据库结合 NAS、数据库大字段、多模数据库 3 种类型,针对每种类型,分析原理、特点、数据处理时效性、支持的数据量、数据查询效率等多个方面,对部分类型进行压力测试,获取量化性能指标,使选型者可以结合自身应用场景进行比较分析选择合适类型,并基于水文预报业务数据库选型经验,提出水利非结构化数据库选型建议。通过分析认为不同的业务需求适合不同的数据库类型,对于水文预报业务这类海量非结构化数据存储管理、且数据处理能力要求高的场景建议选用数据库大字段或多模数据库。     

云原生数据库综述

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据库系统直接部署到云上虚拟机环境中,具备低成本、易运维、高可靠的优势.在此基础上,云原生数据库充分利用云基础设施弹性伸缩的特点,采用计算存储分离的架构,实现了计算资源和存储资源的独立伸缩,进一步提升数据库性价比.然而计算存储分离的架构为数据库系统设计带来了新的挑战.深入分析云原生数据库系统的架构和技术.首先将云原生OLTP和云原生OLAP的数据库架构按照资源分离模式的差异分别进行归类分析,并对比各类架构的优势与局限.其次,基于计算存储分离的架构,按照各个功能模块深入探讨云原生数据库的关键技术:主要包括云原生OLTP关键技术(数据组织、副本一致性、主备同步、故障恢复以及混合负载处理)和云原生OLAP关键技术(存储管理、查询处理、无服务器感知计算、数据保护以及机器学习优化).最后,总结现有云原生数据库的技术挑战并展望未来研究方向.     

Performance evaluation of a parallel cascade semijoin algorithm for computing path expressions in object database systems

With the emerging of new applications,especially in Web,Such as E-Commerce,Digital Library and DNA Bank,object database systems show their stronger funcitons than other kinds of database systems due to their powerful representation ability on complex semantics and relationshiop.One distinguished feature of object database systems is path expression,and most queries on an object database ar based on path expression because it is the most natural and convenient way to access the object databse,for example,to navigate the hyper-links in a web-based database,The execution of path expression is usually extremely expensive on a very large database.Therefore,the improvement of path expression eecution efficiency is critical for the performance ofobject databases.As an importan approach realizing high-performance query processing ,the parallel processing of path expression on distributed object databases is explored in this paper.Up to now,some algorithms about how to compute path expressions and how to optimize path expression processing have been proposed for centralizedenvironments.But,few approaches have been presented for computing path expressions in parallel.In this paper,a new paralle algorithm for computing path expression named Parallel Cascade Semijoin(PCSJ)is proposed.Moreover,a new scheduling strategy called right-deep zigzag tree is designed to further improve the performance of the PCSJ algorithm.The exper-iments have been implemented in an NOW distributed and parallel environment.The results show that the PCSJ algorithm outperforms the other two parallel algorithms(the parallel version of forward pointer chasing algorithm(PFPC)and the index splitting parallel algorithm(IndexSplit) when computing path expressions with restrictive predicates and that the right-deep zigzage tree scheduling strategy has better performance than the right-deep tree scheduling strategy.     

基于时间戳的并行实时事务调度策略

传统并行事务处理方法不适用于实时数据库，对几种相关事务调度策略进行比较，提出一种基于时间戳的并行实时事务调度策略TS-PRTTS(Timestamp based Parallel Real-Time Transaction Scheduling)，采用M／G／1队列模型，利用时间戳控制子事务同步．实验证明，该策略能较好协调同步控制与通信代价矛盾，在系统负荷较重以及数据倾斜、访问倾斜问题较突出时具有良好的性能。