分布式存储系统的哈希算法研究

针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。     

DartCache：一个基于哈希表的分布式Cache系统

随着现代企业应用开发的规模越来越大，系统的性能与可伸缩性对系统的成败起着越来越重要的作用。在整个分层的企业级应用架构中，数据库层的访问速度通常会成为整个系统的瓶颈。采用Cache技术将已访问的数据缓存在应用层，从而减少数据库访问的负载量，可以使系统的性能与可伸缩性得到根本性的提高。在吸取了前人Cache开发经验的基础上，我们设计了DartCache，它是一套基于哈希表的分布式Cache系统。经实验证明，DartCache使系统的性能与可伸缩性都得到了根本性的提高。     

Dual-Chord:一种更加有效的分布式哈希表

在基于分布式哈希表构造的对等网中，关键字的搜索效率一直是一个非常重要的指标．Chord提出在Chord环上构建结构化的分布式哈希表．Chord协议中查找的过程是单一的顺时针方向．Dual—Chord通过对路由表的扩展，使得系统的查找策略可以根据关键字在Chord环上位置离当前节点的远近来确定查找的方向，这样大大的提高了在对等网中的查找效率．同时，Dual-Chord综合考虑了网络延时对查找的影响．在设计中也根据节点间的网络延时来优化查找的性能．实验表明，在对等网中Dual—Chord协议定义的查找算法效率比Chord定义的查找算法要高．     

利用分布式哈希表构建带副本的检查点

利用分布式哈希表构建了一种带副本的检查点文件共享机制,可以使因特网上的计算资源共享平台由于节点异常退出时恢复或重新启动任务的执行.所有关于该检查点文件的操作都是在非集中式的分布式哈希表中完成,可以很好的跟踪、共享、回收在存储点上的检查点文件,很少需要后台服务器的参入与合作.把检查点保存在其相应的存储点上,通过哈希表中的标准函数来访问指向存储点的指针,最终完成检查点文件的基本操作.仿真结果表明:本文的检查点机制比传统的检查点策略具有比较快的任务通信轮回时间,同时计算平台也可以获得比较好的任务吞吐量,减少通信的负载.     

分布式存储中的一种数据放置策略

研究了动态网络环境下基于分布式存储系统的数据放置策略,分析了现有的数据放置策略,提出了一种基于Gossip算法的数据放置策略。该策略在一定程度上避免了服务端结点故障造成的数据丢失,提高了系统的容错能力,保证了数据的可靠性。     

物联网大数据场景下的分布式哈希表适用条件分析

针对"新基建"带来的物联网大数据管理真实应用场景中的挑战,本文对当前最优实践所用的大规模数据管理系统的核心——分布式哈希表(Distributed Hash Table,DHT),第一次基于极高写入负载和数据流量两个要素,进行了适用条件的理论推导分析.面向存储空间、带宽和时间三方面的限制关系,从理论上分析了写入负载和联...     

基于局部性的分布式哈希表资源定位技术

提出了一种基于局部性的分布式哈希表资源定位技术,将非结构化对等网络引入Chord中,充分利用节点在物理网络上的邻近性和节点间兴趣的局部性。模拟测试表明,该技术在路径长度和访问延迟方面的性能优于原Chord。     

一种基于分布式哈希表的混合对等发现算法

使用分布式哈希表(distributed hash table,简称DHT)的应用系统必须在O(1)发现算法和O(logN)发现算法系列中选择适应的DHT协议.但是,不同网络波动程度的应用场景要求理想的DHT协议根据网络波动率能够自适应地调整.提出一种发现算法ROAD(routing on active and demand),在延时和波动率之间自适应地调整以提供更好的性能.设计ROAD的关键挑战是构建路由表和降低延时的算法.通过构建加速路由表,加快发现服务的速度,降低消息转发的延时,并通过幂次序组播算法     

一种基于分布式哈希表的Web服务目录系统

分析了集中式UDDI注册中心存在的缺点。结合P2P技术,基于分布式哈希表提供的高效的数据定位功能,提出了一种分布式Web服务目录系统,讨论了该系统下Web服务的发布与发现过程以及目录系统的维护。在该服务目录系统中,服务的描述信息分布在各个节点上,能够克服集中式UDDI注册中心的缺陷。     

基于B+树的分布式哈希表路由结构

在基于分布式哈希表构造的对等网络中,路由表的结构影响关键字的查询效率。B+树是一种有效查找的树型索引结构。考虑便于管理网络中众多的节点路由信息,提出一种基于B+树的路由结构,它通过为节点的路由信息建立索引,不仅提高了查询效率,将查找长度控制在树的高度内,而且使每个节点维护的路由信息尽可能少,减少了存储开销。     

基于数据关联性聚类的数据布局算法

现代信息系统的突出特征是基于海量数据的分布式应用集群。优化海量数据的存储布局,以提升存储资源的利用率和应用执行的速度,是一个重要研究课题。由于数据与数据之间存在关联性,只考虑负载均衡的布局算法缺乏实用性,需要进一步考虑数据与数据的关联性以提高应用执行速度。建立了数据和数据的关联矩阵,基于关联矩阵进行聚类,再将数据分配到各个数据中心中,计算执行应用时的数据迁移量,并与一致hash算法进行了比较,结果表明数据迁移量大大低于一致hash算法。     

一种基于纠删码的数据放置容错算法

在基于纠删码技术的云存储系统中,如何选择合适的存储节点来放置经编码生成的多个冗余数据块、有效保证数据的容错性是云存储系统面临的一大挑战.提出的CHGDPS (consistent hash and greedy data placement algorithm based on sets)算法在基于划分集合的思想上,将一致性hash方法与贪婪算法相结合,极大地减少了数据传输时间.实验结果表明,该算法具有更短的总体平均访问时间和更长的平均无故障时间,提高了数据的容错性.     

一种改进的分布式数据流查询操作放置算法

在分布式数据流管理系统中,需要将查询操作放置到不同的处理结点执行。因此,如何放置查询操作成为分布式数据流管理研究的核心问题。Peter等人提出一种基于时延空间和弹簧张弛技术的查询操作放置算法,但是该算法假设查询操作之间数据流的流速不变,没有考虑数据流的流速与数据流查询操作之间的相关性。为此,通过分析不同的数据流查询操作与其输出的数据流的流速之间的关系,对Peter等人提出的算法加以改进,实验结果表明,改进后的算法可以有效地应用于分布式数据流管理系统。     

一种基于跳跃hash的对象分布算法

如何有效地将海量数据分布到存储节点是存储系统首要解决的问题.本文提出的MJHAR（Matrix-basedJump Hash Algorithm for Replication data）对象分布算法简洁高效,支持权值和数据冗余机制.本算法创造性的将节点映射到二维矩阵,对象的分布、定位只需从矩阵的行内、行间计算目标节点的行号和列号即可.理论证明本算法满足公平性、自适应性、紧凑性、节点变化对象迁移量较小的特点,同时实验结果表明本算法的计算时间比一致性hash算法快40%,比跳跃hash算法快23%.极大降低了计算时间,并且比一致性hash算法对象分布更加均匀.     

分布式信息融合系统的性能评估方法

针对分布式信息融合系统的特点,讨论了一种适用于分布式信息融合系统的性能评估方法.提出了一个具有4个一级指标的性能评估体系,每个一级指标下面又有若干个二级指标.以一个分布式舰载多传感器信息融合系统作为仿真平台进行仿真实验,讨论了实验步骤,给出了实验结果.仿真结果表明,本评估体系能对分布式信息融合系统的各个方面作比较全面、准确的评估.     

基于分布式遗传算法的水质传感器布置优化研究

水质传感器优化布置是指在城镇配水管网中最优位置布置水质传感器对污染物进行检测,从而达到监测预警的目的,其本质是一类大规模离散组合优化问题。首先从数学上对该问题进行分析,论证了其具有NP-Complete特性;然后针对该问题计算开销大等特点,提出了基于Spark云计算模型的分布式遗传算法;最后以一个典型的复杂配水管网为对象进行实验,仿真结果表明,所提出的算法不仅具有搜索速度快、精度高等优点,而且还具有较好的线性加速比。     

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。     

基于追踪部署的着色包标记算法的研究 *

基于追踪部署的相关理论和着色包标记算法,针对当前危害很大的分布式拒绝服务攻击,提出一种基于追踪部署的IP回溯算法。该算法是以贪心算法为基础,利用K-剪枝算法在网络拓扑图中找出一些关键的路由器,利用这些路由器也就是只让tracers对过往的数据包按照着色包标记算法进行标记,这样不但减少了重构路径所需的数据包数,降低了路径误报率,提高了追踪到攻击者的速度,而且大大减轻了路由器标记的负担,从而能够迅速准确地找到攻击源。     

基于追踪部署的着色包标记算法的研究 *

基于追踪部署的相关理论和着色包标记算法 ,针对当前危害很大的分布式拒绝服务攻击 ,提出一种基于追踪部署的 IP回溯算法。该算法是以贪心算法为基础 ,利用 K-剪枝算法在网络拓扑图中找出一些关键的路由器 ,利用这些路由器也就是只让 tracers对过往的数据包按照着色包标记算法进行标记 ,这样不但减少了重构路径所需的数据包数 ,降低了路径误报率 ,提高了追踪到攻击者的速度 ,而且大大减轻了路由器标记的负担 ,从而能够迅速准确地找到攻击源。