基于人工免疫原理的数据流聚类算法研究

外包数据库中的连接查询比范围查询更困难,因为客户端需要验证连接结果的一致性,而传统的对单个表的签名不能有效地支持对连接查询结果的直接验证。提出了使用哈希连接保证数据一致性的2种算法,它们分别通过在服务器端和客户端计算哈希函数来实现连接查询。给出了这2种算法的详细描述,证明了它们满足一致性要求,而且分析了算法在通信量、服务器端和客户端执行的代价。最后在实验中通过设置不同的参数对它们在服务器端和客户端的运行时间进行了比较,总结了它们在实际应用中的优缺点。     

一致性哈希算法在分布式系统中的应用

随着互联网技术的迅猛发展,分布式系统逐渐成为重要的技术之一。阐述了一致性哈希算法的原理,详细介绍了一致性哈希算法在分布式系统中的应用,并总结了一致性哈希算法的优点。     

DDBS中实现分割数据库重构的一致性算法

如何使分割后的ＤＤＢＳ保持多复本之间的数据一致性，是ＤＤＢＳ中的一个重要问题。     

外包数据库模型中的完整性检测方案

外包数据库模型中完整性保护的目标是防止数据库服务提供商篡改数据库内容,完整性检测方案的作用是让查询方能够验证查询结果是真实的、未被篡改的.在现有的基于验证数据结构方法的基础上进行改进,提出了一种以带掩码的验证树作为核心数据结构的完整性检测方案,给出了数据结构的形式化定义并证明了其安全性.该方案将数据结构中共同的计算信息抽取到两个掩码向量中,通过避免使用大量幂指数运算,降低了查询验证过程的计算代价,减少了查询验证的时间.其特有的验证数据结构增量更新的优点能够提高数据库更新的执行效率.实验表明,该方案在查询验证时间上略优于现有的同类型方案,在数据更新性能上较同类方案具有明显优势.     

基于MH树的外包数据库查询验证方法

分析Merkle Hash(MH)树的结构特征,针对MH树的验证对象大、验证过程存在冗余、安全性低等不足,提出一种新的外包数据查询认证方法,使用部分物化中间节点的签名方法进行优化。分析结果表明,该方法具有网络附加负载小、验证快、安全性较高、能迅速实现篡改定位等优点。     

基于一致性哈希算法和Ckafka技术的IMS电话实时录音系统

基于电路交换的传统电话录音系统因其结构复杂,存储的不便捷和非实时性的特点,已经无法满足新时代行政办公对高效,即时的通话录音需求,因此,提出一种基于电力IMS的电话实时录音系统.首先分析了电力IMS交换网中电话终端实时录音的业务需求;其次介绍了系统的实现流程,阐明了系统的关键技术:利用录音服务器对其镜像端口的SIP报文进行解析获得媒体流并解码、采用一致性哈希算法的内存数据库作为解码数据的缓存机制、利用Ckafka技术在两者之间构建实时数据通道;最后就响应时间、吞吐量、容错能力和推送的最大时延这四项指标对录音服务器进行性能分析,结果表明该系统的实时性强,吞吐量大,具备一定的容错能力,并能实现多服务器之间的负载均衡.     

Native XML数据库哈希路径索引技术

借鉴并结合了已有的Native XML数据库索引技术和传统关系数据库的索引技术,在此基础上提出了一种基于哈希路径(path hshing)的索引技术,解决了哈希码的生成,索引结构的建立、更新,讨论了如何用哈希路径索引进行查找,最后讨论了对该索引技术的进一步改进.     

基于非一致性数据库的概率查询策略与算法

完整性约束是保证关系型数据库中数据确定性的重要条件,现实中存在大量不确定、不满足完整约束条件,但仍具有使用价值。结合概率数据库理论,提出了一种新的针对非一致性数据库的查询策略,利用并、交、差、选择、投影、连接等约束方法,对非一致性数据进行修复,四元组概率计算方法和概率查询重写技术弥补了非一致性数据库查询的不足,减少了数据冲突的发生机率。     

结合哈希过滤的一种改进多连接查询优化算法

多连接查询优化是提高数据库性能的关键问题之一。Chiang Lee提出了一种启发式多连接查询优化算法MVP,分析发现该算法并没有考虑减小执行计划的计算代价。该文结合哈希过滤的特点提出一种改进的多连接查询优化算法,与MVP算法相比该算法降低了执行计划的计算代从,从而使查询响应时间更短。     

外包数据库系统安全机制研究

在外包数据库系统模式下,组织将数据库业务外包给外部数据库服务器运行,外包服务提供者为数据拥有者及数据库用户提供远程的数据库创建、存储、更新与查询服务。由于外包服务器本身并非完全可信,外包数据库系统带来了一系列安全问题。本文讨论了数据库安全体系的分类,探讨了外包数据库的基本结构,综述了外包数据库在数据加密、密文查询策略、隐私保护、数据完整性验证及基于数据库水印技术的数据库版权保护等安全机制方面的研究现状,介绍了其研究进展,并展望了安全外包数据库系统的发展方向。研究认为,整合多种安全机制,兼顾安全性和可用性两方面的合理需求,是构建外包数据库系统的技术关键。     

阵列众核结构上的一种多层分区Hash连接算法

连接是数据查询处理中最耗时、使用最频繁的操作之一,对提高连接操作的速率具有重要意义。阵列众核处理器是一类重要的众核处理器,具有强大的并行能力,可用来加速并行计算。基于阵列众核处理器的结构,设计和优化了一种高效的多层分区Hash连接算法。该算法通过多层划分的策略大大降低了主存访问次数,通过分区重排方法有效消除了数据倾斜的影响,获得了很高的性能。在异构融合阵列众核处理器DFMC(Deeply-Fused Many Core)原型系统上的实验结果表明,DFMC上多层分区Hash连接算法的性能是CPU-GPU耦合结构上最快的连接算法的8.0倍,表明利用阵列众核处理器加速数据查询应用具有优势。     

基于列存储的MapReduce分布式Hash连接算法

大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化、软件系统开源化的特点。传统关系型数据库在对大数据进行操作时存在系统性能严重下降、计算效率提升有限以及可扩展性差等问题,因此引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce分布式Hash连接算法。首先,设计面向大数据的分布式计算模型,在设计的分片聚集并行连接的基础上,利用Hash连接以及动态探测方法优化了数据并行连接处理效率;然后,针对该算法开发了基于Hadoop的原型系统。通过实验证明,在大数据分析处理中,所提算法在执行时间和负载能力上都有很好的性能表现,也能提供良好的可扩展性。     

空间数据库中连接运算的处理与优化

空间数据库的性能问题严重制约了它的应用与发展 .由于空间连接运算是空间数据库中最复杂、最耗时的基本操作 ,因此其处理效率在很大程度上决定了空间数据库的整体性能 .尽管目前已经有许多空间连接算法 ,但空间连接运算的代价估计和查询优化仍然有待进一步研究 .众所周知 ,大部分空间连接算法都是基于 R树索引实现的 ,如果参与空间连接运算的关系上没有索引或只有部分索引 ,那么就需要使用特殊的算法来处理 .另外 ,各种算法的代价评估模型需要一个相对统一的计算方法 ,实践证明 ,根据空间数据库的实际情况 ,使用 I/ O代价来估计算法的复杂性较为合理 .在此基础上 ,针对复杂的空间查询中可能出现多个关系参与空间连接运算的情况 ,故还需要合理地应用动态编程算法来找出代价最优的连接顺序 ,以便最终形成一个通用的算法框架 .通过对该算法框架的复杂性分析可以看出 ,在此基础上实现的空间数据库查询优化系统将具有较高的时空效率 ,并且能够处理非常复杂的空间查询     

基于信息隐藏的外包数据库版权保护系统

在外包数据库运行模式下,由第三方提供的数据库服务器处于非信任域,存在数据文件盗版、数据内容篡改等安全风险。构建了一个基于信息隐藏技术的外包数据库版权保护系统,综合运用数字水印、PKI机制与数字证书、数字签名及可信硬件模块USB Key等技术,设计相应的水印协议,实现对外包数据库的版权保护。与传统的以数据加密、数字签名等方法为主要技术手段的解决方案相比,它具有冗余存储量及网络附加流量小、隐蔽性好、验证信息难以删除等优点。     

面向多核处理器平台的并行Hash JOIN算法设计与实现

利用多核处理器提供的强大计算能力提升数据库系统性能是当前国内外数据库研究的重要问题.利用基于多核处理器上的并行编程模型MSI和Intel处理器上的SIMD(单指令流多数据流)指令有效地加速了数据库查询的Join操作,与串行实现相比其最大加速可以达13倍.同时,还对比不同数据分块大小情况下对算法的影响,找到了优化的数据分块方法.     

数据库加密技术中散列函数的应用

介绍了散列函数的基本原理及设计要求，结合公开密钥加密方法中的数字证书及数字签名技术，探讨了散列函数在诸如口令保护、用户访问权限鉴别和数据加密等数据库加密技术中的应用，并提出了实施这些技术的构想。     

基于数据流的k-近邻连接算法

k-近邻连接查询是空间数据库中一种常用的操作,该查询处理过程涉及连接和最近邻查询两个复杂操作.传统的集中式k-近邻连接查询算法已不能适应当前呈爆炸式增长的数据规模,设计分布式k-近邻连接查询算法成为了目前亟需解决的问题.现有的分布式k-近邻连接查询算法都包括了多轮串行的MapReduce任务,而每个MapReduce任务均需要读写分布式文件系统,导致MapReduce不能有效表达多个任务之间的依赖关系,因此算法效率低下.首先提出了一种基于数据流的计算框架,该框架建立在MapReduce之上,将数据处理过程按照数据流图建模.在该框架基础上,提出了一种高效的k-近邻连接算法,它利用空间填充曲线将多维数据映射为一维数据,从而将k-近邻连接查询转化为一维范围查询.实验结果表明,该算法的可扩展性较高,且效率比现有算法更优.