外包数据库中的哈希连接一致性算法

外包数据库中的连接查询比范围查询更困难,因为客户端需要验证连接结果的一致性,而传统的对单个表的 签名不能有效地支持对连接查询结果的直接验证。提出了使用哈希连接保证数据一致性的2种算法,它们分别通过 在服务器端和客户端计算哈希函数来实现连接查询。给出了这2种算法的详细描述,证明了它们满足一致性要求,而 且分析了算法在通信量、服务器端和客户端执行的代价。最后在实验中通过设置不同的参数对它们在服务器端和客 户端的运行时间进行了比较,总结了它们在实际应用中的优缺点。     

基于Hadoop 的高效连接查询处理算法CHMJ

提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的数据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍.     

移动计算环境中基于Agent技术的语义缓存一致性验证方法

回调算法是一种由服务器驱动的缓存管理算法,存在"写延迟"和终端断接重连时需重新验证缓存的问题,为此提出利用代理技术验证缓存一致性的方法。首先,给出Client/MSS/Server结构,设计并说明各层代理的功能;其次,从客户端的数据访问操作和服务器端的写操作两方面讨论缓存一致性验证方法。利用代理管理客户端缓存和转发失效数据,既可满足终端断连的需要,也不致产生服务端的写延迟,并能够保持数据的强一致性。实验表明,所提方法使终端断接重连的查询响应时间更快,并能弥补回调算法的不足,更加适用于终端频繁移动、断接的无线网络环境。     

基于移动设备的地图显示系统的设计

利用J2ME网络API接口javax.microedition.io.HttpConnection来建立HTTP连接实现与服务器通信进行数据传递,服务器端利用Servlet来响应用户查询请求,使用Mapxtremeforjava专有类和方法进行地图数据处理。设计出适合客户端(CLDC)地图的显示算法。客户端具有以用户查询的点为中心显示地图以及计算两点距离的功能。     

无线广播环境下的空间范围查询处理

为实现无线广播环境下快速且低能耗的空间范围查询,提出了一种基于网格空间索引的范围查询处理算法(RQGSI)。该算法在服务器端对空间数据对象建立网格空间索引以缩短调谐时间,并按Hilbert曲线填充顺序对划分后的网格进行调度以优化访问时间;在客户端设计了查询处理算法对数据对象进行过滤和剪枝;最后,通过模拟实验验证了RQGSI算法的性能。实验结果表明,RQGSI算法比基于R树的索引(RI)算法在调谐时间上降低约10%,在访问时间上降低约8%,RQGSI算法可以实现更快且更低能耗的范围查询。     

基于移动设备的地图显示系统的设计

利用J2ME网络API接口javax．microedition．io．Http Connecfion来建立HTTP连接实现与服务器通信进行数据传递．服务器端利用Servlet来响应用户查询请求．．使用Mapxtremeforjava专有类和方法进行地图数据处理。设计出适合客户端（CLDC）地图的显示算法。客户端具有以用户查询的点为中心显示地图以及计算两点距离的功能．     

基于有序哈希链的文件数据同步方法

针对现有文件数据同步传输方法效率低、局部更新困难的问题,提出一种哈希链构建及文件数据同步方法。将C/S架构中服务器端文件或目录的变化作为一系列哈希节点,根据时间先后顺序,通过哈希函数迭代文件或目录的哈希值,形成能够记录文件库所有操作状态的有序哈希链。客户端只需根据哈希链节点执行相同文件操作并进行同步更新,而不需要对每个文件数据进行同步认证,确保文件库的完整性、不可抵赖性、可溯源性和防篡改性。采用有序哈希链的同步方法对不同终端进行文件数据差异监视和一致性检测,以快速获取文件变化并进行逻辑同步。实验结果表明,该方法在文件库未变动模式下的平均同步加速比为94.85%,在文件库变动的模式下,相较于“quick check”策略和常规策略的Rsync算法,平均同步加速比分别为6.5%和69.99%。有效地减少了同步过程中时间和资源的消耗。     

结合哈希过滤的一种改进多连接查询优化算法

多连接查询优化是提高数据库性能的关键问题之一。Chiang Lee提出了一种启发式多连接查询优化算法MVP，分析发现该算法并没有考虑减小执行计划的计算代价。该文结合哈希过滤的特点提出一种改进的多连接查询优化算法，与MVP算法相比该算法降低了执行计划的计算代从，从而使查询响应时间更短。     

一致性哈希算法在分布式系统中的应用

随着互联网技术的迅猛发展,分布式系统逐渐成为重要的技术之一。阐述了一致性哈希算法的原理,详细介绍了一致性哈希算法在分布式系统中的应用,并总结了一致性哈希算法的优点。     

一种基于实时语义维层次链的OLAP查询算法

目前,P2P环境下的OLAP查询策略都是基于从客户端获取查询结果集,如DSCD算法和DQDC算法等主要是研究怎样快速地从客户端获取查询结果集,由于客户端的Data Cube的实时数据更新效率低,易导致查询结果失真,从而影响OLAP的查询效率。为了提高P2P网络中OLAP的实时查询效率,提出了一种RTOS（Real-time Semantic OLAP Search,实时语义的OLAP查询）算法,并结合查询速度和失真率两方面的实验证明,该算法能有效地提高P2P环境下OLAP的决策分析性能。     

基于有向哈希树的认证跳表算法

作为一种重要的认证数据结构,认证跳表在数据认证机制中有着广泛的应用。由于哈希模式对认证跳表的代价有显著的影响,因此提出哈希模式和数据存储模式分离的思想,设计了一种新的认证哈希模式—有向哈希树,并在其基础上设计了新的认证跳表算法。应用分层数据处理、概率分析等数学方法对所提出算法的代价进行了理论分析,并与已有的认证跳表算法做了性能比较。结果表明,本算法在时间、通信和存储代价方面有了较大的改进。     

阵列众核结构上的一种多层分区Hash连接算法

连接是数据查询处理中最耗时、使用最频繁的操作之一,对提高连接操作的速率具有重要意义。阵列众核处理器是一类重要的众核处理器,具有强大的并行能力,可用来加速并行计算。基于阵列众核处理器的结构,设计和优化了一种高效的多层分区Hash连接算法。该算法通过多层划分的策略大大降低了主存访问次数,通过分区重排方法有效消除了数据倾斜的影响,获得了很高的性能。在异构融合阵列众核处理器DFMC(Deeply-Fused Many Core)原型系统上的实验结果表明,DFMC上多层分区Hash连接算法的性能是CPU-GPU耦合结构上最快的连接算法的8.0倍,表明利用阵列众核处理器加速数据查询应用具有优势。     

基于并行B+-树的并行Join算法的设计、分析与实现

Ｂ＾＋－树是一种有效的数据库存储结构，被普遍应用于各种关系数据库系统。把Ｂ＾＋－树并行化，使之用于并行数据库系统显然是一项很有意义的重要工作。本文研究了适用于并行数据库的并行Ｂ＾＋－树存储结构，提出两类基于并行Ｂ＾＋－树工并行Ｊｏｉｎ算法。理论和实验结果表明，这些算法效率高基其它并行Ｊｏｉｎ算法。     

基于矢量图的动态Web方法与客户端的交互技术

基于矢量图的动态Web方法与客户端的交互技术是目前研究的热点之一。文章提出了一种较好的解决方案。它运用数据绑定和远程数据服务技术,将服务器端库表中的矢量数据缓存到前端,使用户在浏览器端就能完成缩放、平移等图形操作。该方法利用COM组件替代了传统的Socket编程及回传图形文件进行解释的方法,编程更为简单、交互更方便迅速、可靠性也大大提高。文中还给出了一个实例加以说明。     

基于回调函数和VML的数据实时显示在Web中的应用

应用.NET的回调函数实现客户端脚本函数和服务器端异步调用,Web页不需要刷新整个页面,这样可以维护客户端的状态信息,并可实时显示服务器端处理的数据。客户端JavaScript脚本函数向服务器发送请求,服务器端处理请求,并返回处理结果。根据回传的数据结果使用VML语言可在浏览器上绘制丰富的的数据图表。本文阐述回调函数的调用机理和VML语言在客户端的绘图过程,并通过详细实例分析其实现过程。     

一种避免数据偏斜的动态Hash连接方法

本文提出了一种新的动态Hash连接方法──DHJ（dynamichash　join），以解决并行数据库连接操作中的数据偏斜现象.为避免目前某些算法提出的预处理中隐含的高额费用，该方法在划分阶段通过增添附加桶的方法来平衡输出，然后依据计算确认哪些附加桶被映射到处理器上并确定处理器分配，在最后阶段完成连接.本文最后给出了该算法的性能分析.     

PaMeCo join: A parallel main memory compact hash join

This paper presents a memory-constrained hash join algorithm (PaMeCo Join) designed to operate with main-memory column-store database systems. Whilst RAM has become more affordable and the popularity of main-memory database systems continues to grow, we recognize that RAM is a finite resource and that database systems rarely have an excess of memory available to them. Therefore, we design PaMeCo to operate within an arbitrary memory limitation by processing the input relations by parts, and by using a compact hash table that represents the contained tuples in a compact format. Coupled with a radix-clustering system that lowers memory latencies, we find that PaMeCo can offer competitive performance levels to other contemporary hash join algorithms in an unconstrained environment, while being up to three times faster than a high-performing hash join when memory constraints are applied.     

Criss-cross hash joins: design and analysis

Join processing in relational database systems continues to be a difficult and challenging problem. In this research, we propose a criss-cross hash join strategy that draws from both hashing and indexing techniques, inheriting the advantages of each. To facilitate the criss-cross hash join, a simple data structure, termed page map, is introduced. The page maps aid in reducing the hashing effort incurred in the current hash based join methods. Furthermore, the page maps implicitly capture and exploit the possible inherent order among tuples in the relations, however partial it may be, to achieve superior performance. As the proposed methodology relies on the hashing scheme, the page maps are simpler, more compact, and easier to maintain than the traditional data structures associated with index based join methods. We develop the ideas intuitively first, followed by a formal development of the concepts and the algorithms. A detailed probabilistic analysis of the algorithms is presented and their performance is assessed through extensive empirical investigations. The empirical analysis suggests significant performance improvements over the current state-of-the-art hybrid hash method, especially in the presence of possible inherent order     

基于ASP＋Access网络考试管理系统

系统是基于B/S模式,采用ASP＋Access技术进行设计与实现的网络考试管理系统,服务器端对数据库进行管理,客户端通过浏览器登录网络考场。