一种改进的一致性哈希算法

一致性哈希算法常用于分布式系统的负载均衡,常见的算法存在一些弊端,如传统的带虚拟节点的一致性哈希算法在工程应用中节点负载不完全均衡,谷歌跳跃一致性哈希和腾讯PaxosStore存储系统的一致性哈希算法只能从后往前删除节点,同时难以应用于异构系统。针对上述问题,文章提出了一种改进的一致性哈希算法,优化了虚拟节点的分配,在同构系统中通过初始化时均匀分配虚拟节点、添加删除节点时从盈余向不足迁移虚拟节点的方法,保证了算法的一致性,并且当虚拟节点数远大于实节点数时系统可实现接近完全的均衡,增删节点也不受位置的限制。在异构系统中,算法通过按节点性能比例分配和迁移虚拟节点的方法,实现了对负载和流量的精准分配。对初始的虚拟节点数(N值)也进行了讨论,可以根据系统均衡性要求配置N值,并给出了重新均衡系统时分裂虚拟节点和扩大N值的算法。     

基于一致性哈希算法的电力企业分布式数据存储研究

由于电力企业存储数据量比较大,传统方法在电力企业分布式数据存储应用中无法保证电力企业数据的完整性和有效性,存在数据丢失量较大的问题,并且数据存储延迟时间比较长,存储速度比较慢,为此提出基于一致性哈希算法的电力企业分布式数据存储研究。将电力企业数据相应的时间标签当做是分布式数据存储的一个核心属性,根据数据时间标签对数据进行等价线序划分;利用一致性哈希算法计算数据哈希值和节点计算能力,将其作为依据将电力企业数据分组到相应节点上;利用存储模块构建电力企业分布式数据存储组织结构,并设计分布式数据存储逻辑结构,利用电力企业元信息表、参数元信息表以及索引表对电力企业数据进行分布式存储,以此实现了基于一致性哈希算法的电力企业分布式数据存储。经实验证明,设计方法存储数据延迟时间小于传统方法,而且数据丢失量小于传统方法,能够有效确保电力企业数据的完整性。     

基于动态反馈的一致性哈希负载均衡算法

负载均衡一直是分布式网络的一个研究重点.近年来随着网络视频监控系统的广泛应用,负载均衡也逐步应用到该领域,以满足分布式视频监控的需要.本文针对分布式系统的视频服务器集群提出了一种新的负载均衡方案,将动态反馈机制与一致性哈希算法相结合,并根据其业务特性进行了优化和改进,增加了系统的可靠性和抗冲击性,提高了负载均衡的总体效果.     

一种面向移动终端的云存储方法研究

在分析HDFS和Dynamo架构的基础上,引入数据库技术以及动态一致性哈希算法分类处理不同对象组的方法.本方法可根据各个存储节点存储代价,进行综合调度,对外提供最优存储节点.通过算法描述和仿真结果分析表明,此方法可以使系统达到负载均衡,并且从整体上提高了系统的效率,在数据查找定位上也可以满足要求.     

基于一致性哈希算法的分布式数据库高效扩展方法研究

当前大数据时代,对分布式数据库进行扩容处理需求日增,常规扩容方法需要重算节点哈希值,并进行大量迁移数据,其效率及有效性不佳.本文以预留子分区识别位等方法为依托,使高效扩展数据库的设想成为现实,通过对比实验的方式,得出该方法既无须重算哈希值,又不需要迁移相关数据对象的结论.     

VoD系统的负载均衡存储策略及调度算法研究

介绍了使用集群技术的VoD系统结构,并就适用于VoD系统的负载均衡存储策略和调度算法进行了分析,提出了基于节目流行度的存储策略和最强能力优先调度算法,利用仿真环境进行了试验和性能对比分析.     

基于改进哈希算法的云服务平台负载均衡模型构建

信息技术水平的进一步提升使云服务平台应用越发广泛,也带来了用户的大量涌入,使得云服务平台负载不均衡的问题频发。因此,构建了基于改进哈希算法的云服务平台负载均衡模型。首先进行云服务平台数据预处理,然后改进哈希算法的低秩表达方式,优化云服务平台节点映射方式。构建云服务平台负载均衡模型,统计基于改进哈希算法的云服务平台负载状态,结合统计结果对负载均衡指标的进行选取,以此实现云服务平台负载均衡。最后设计了云服务平台负载均衡模型的对比实验,实验结果验证了该模型的并行性更好,达到了研究预期。     

基于一致性敏感哈希的高精确度图像匹配算法

针对基于特征点的图像匹配方式在复杂纹理场景中匹配效果不理想的问题,提出一种将加速稳健特征算法(SURF)与一致性敏感哈希匹配结合的图像匹配算法(CSH)。使用SURF算法对图像进行特征点提取,再以特征点为圆心构建特征区域,最后对特征区域使用CSH进行匹配,从而实现高精确匹配。为了进一步加快算法运行速度,对现有的SURF算法进行修改,在提取SURF特征点时去除了对于特征点方向的计算。仿真实验证明,算法较一般的特征算法在复杂纹理图像匹配中效果更佳,且较CSH算法效率提升了10%~15%。     

一种基于改进遗传算法的动静态负载均衡算法

针对目前负载均衡算法在低负载情况下影响系统效率及在高负载情况下分配效率不佳等问题,基于Nginx服务器,文中提出了一种在改进遗传算法基础上动静态结合的负载均衡算法。该算法选择使用CPU性能、内存性能、磁盘I/O和网络带宽等服务器性能参数作为服务器节点性能评价指标及低负载下的静态加权轮询算法权值,并基于该指标根据节点性能使用率所占集群平均负载使用率的变化,设计了在高负载情况下的动态负载均衡算法。通过引入操作转换阈值及动态三角函数操作概率的改进遗传算法,实现了静态算法优势区转变为动态算法优势区的阈值计算。通过设计对比实验,证明了文中算法在实验环境下相比于加权轮询算法、概率择优算法和dnfs＿conn算法更具有较好的负载均衡效果,相比于dnfs＿conn算法在平均响应时间和实际并发连接数等数值上具有15%左右的提升。     

异构Hadoop集群下自适应平衡数据存储的大数据放置策略

Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略。根据异构集群中各节点的计算能力比例,将数据分配到节点中。在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Hadoop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率。实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能。     

面向媒体融合的海量异构数据一致性表示算法研究

随着信息技术的发展,急需处理海量异构数据的方法。面对媒体融合的需求,海量异构数据的一致性表示成为一个关键问题。本文首先对媒体融合、海量异构数据一致性表示的必要性进行了讨论,随后对海量异构数据一致性表示的主要步骤进行了介绍,并详细介绍和分析了一致子空间学习和多模态结构化一致索引这两个主要步骤,最后对面向媒体融合的海量异构数据一致性表示进行了总结与展望。     

基于分布式环境的存储负载均衡算法研究

随着网络的高速发展以及海量数据的扩充,云存储技术得到广泛的应用,分布式存储中动态负载均衡策略也逐渐为人们所重视。本文在已有的负载均衡策略基础上,提出了一种加权轮询负载算法,通过阀值的设置划分节点,并查询负载表轮询分配存储任务,保证分布式系统能够合理的提高资源利用率,动态调整存储节点的工作负载。     

基于哈希算法的动态TDMA时隙分配研究

动态时隙分配机制是Ad Hoc网络提高组网效率的重要方面。提出了一种基于哈希算法的动态时隙资源分配机制-HP_TDMA算法。该算法将节点的时隙需求划分为3种情况:节点不需要使用时隙、只需要使用主时隙和需要竞争额外时隙。在时隙竞争阶段采用哈希算法获得节点对时隙使用的优先级顺序表,按照优先级表配置节点对时隙的使用。经过仿真分析得出采用哈希算法的时隙分配策略能够高效地利用时隙资源,提高信道利用率。     

WQ:基于权重求解的哈希算法

由于最近邻查询算法一般需要较高时间和空间代价,往往不能满足大数据查询的需要.哈希技术可以大幅度减少查询时间和存储空间,其主要思想是将原始空间中的高维数据映射成为一组编码,且满足保相似性原则.现有的大部分哈希方法一般认为哈希编码的各维度权重相同.然而在实际情况中,不同的维度往往携带有不同的信息.为此,本文提出了新的算法,为编码的每个维度分配权重,并提出了对应的量化编码方式.理论证明了算法的可行性,在真实数据集下与其他哈希算法对比实验也验证了该算法的有效性.     

面向智能路由的多级哈希网络数据存储结构

网络数据的采集和存储是智能路由控制的基础,为智能路由提供了大量的网络流量数据进行模型训练和决策。然而,作为网络数据存储系统中的核心设备,交换机的存储空间非常有限,且设计灵活性低,无法满足智能路由控制对全面高精度的数据存储和轻量级存储系统的需求,进而影响智能路由控制的效果。提出一种面向智能路由控制的多级哈希网络数据存储结构,高效利用交换机有限的存储空间,实现低碰撞率的网络数据存储。该结构通过多级哈希表增加数据的可存储空间数量,从而降低存储冲突率并提高存储空间利用率。同时,该结构使用基于低开销时间戳的LRU算法解决哈希冲突：在发生哈希冲突时总是保存最新的网络数据,清除陈旧数据,以尽可能减少后续的存储冲突。基于真实网络流量数据的实验证明了相比目前普遍使用的单级哈希存储结构,多级哈希存储结构在存储碰撞率和负载率两方面存在显著的性能优势。     

基于Ceph存储的数据均衡分布算法

针对Ceph分布式存储系统中可扩展哈希下的受控复制（Controlled Replication Under Scalable Hashing,CRUSH）数据分布算法导致设备间存储数据容量之差达到40%,进而在数据量大、高并发情况下“热点”成为系统性能瓶颈的问题,本文对CRUSH算法进行深入研究,设计并实现了Writing＿Balance算法来对数据分布进行性能优化,以达到消除“热点”所导致的负载失衡以及磁盘利用率过高的问题。通过实验发现,Writing＿Balance算法可使“热点”的PG数量分布优化率较之前提升4.4%;磁盘利用率稳定性提高了3%左右;并且在较小输入key空间下对于数据整体均衡度优化也有明显的提升。     

基于Okumura-Hata模型改进的通信网络数据存储趋势预测算法

针对传统的通信网络数据在存储时一直存在存储趋势预测不准确的问题,提出基于Okumura-Hata模型改进的通信网络数据存储趋势预测算法。引进先进的Okumura-Hata模型能够有效地解决通信网络数据存储趋势划分过程中出现的数据波动,避免了出现数据混淆的现象,同时优化了IB确定以及运行状态,避免出现数据的同频干扰以及跳频干扰,从根本上解决了数据特征干扰的问题。为了验证设计的基于Okumura-Hata模型改进的通信网络数据存储趋势预测算法的有效性,设计了对比仿真试验,通过实验数据分析表明,改进方法在通信网络数据存储趋势预测方面,其预测精度较高,能够有效地解决数据特征干扰的问题。     

基于改进布谷鸟算法的自适应负载均衡算法

针对负载均衡算法在高负载请求下服务器集群效率不高,负载不均衡及低负载请求下影响服务器效率的问题,文中基于Nginx负载均衡服务器,提出一种基于改进布谷鸟算法的自适应负载均衡算法。该算法通过熵权法确定CPU、内存、磁盘IO性能和网络带宽等各项负载指标的权系数,衡量各项负载指标对负载评价影响的重要程度,并基于Nginx加权轮询算法和服务器实时负载情况,设计了高并发负载情况下的动态负载均衡算法。引入转化阈值计算,通过引入基于种群熵的改进布谷鸟算法计算Nginx静态加权轮询算法,转变为动态负载均衡算法的转化阈值。通过实验测试,相较于WRR算法、least-con算法和动态权重算法,该算法在响应时间和实际并发数等方面具有表现更好,在数值上相比于动态权重算法有18%左右的提升,验证了本文算法具有更好的负载均衡效果。     

基于改进主动哈希的URL存储和查找算法

业务选择网关(SSG)从用户请求数据包中解析出URL,然后查找路由映射表进行路由选择.提出了一种基于改进主动哈希的URL存储和查找算法,该算法首先使用循环冗余校验(CRC)码对URL进行编码;接着引出访问度的概念,在此基础上对主动哈希算法进行改进,并用改进的主动哈希算法对URL进行散列.实验证明该算法的URL查找效率得到明显提高,并且也大大减少了存储空间.     

Hadoop中云数据负载均衡算法的研究及优化

介绍了Hadoop的数据负载均衡算法.为了提升Hadoop数据负载均衡算法的效率,文中提出了超负载机架的优先处理及引用排序策略的解决负载均衡的改进算法.实验证明了改进算法在特定的环境下或能够在较短的时间内使各个机架的数据负载达到平衡以及能够优先处理负载超大节点.