共查询到20条相似文献,搜索用时 15 毫秒
1.
2.
3.
4.
由于电力企业存储数据量比较大,传统方法在电力企业分布式数据存储应用中无法保证电力企业数据的完整性和有效性,存在数据丢失量较大的问题,并且数据存储延迟时间比较长,存储速度比较慢,为此提出基于一致性哈希算法的电力企业分布式数据存储研究。将电力企业数据相应的时间标签当做是分布式数据存储的一个核心属性,根据数据时间标签对数据进行等价线序划分;利用一致性哈希算法计算数据哈希值和节点计算能力,将其作为依据将电力企业数据分组到相应节点上;利用存储模块构建电力企业分布式数据存储组织结构,并设计分布式数据存储逻辑结构,利用电力企业元信息表、参数元信息表以及索引表对电力企业数据进行分布式存储,以此实现了基于一致性哈希算法的电力企业分布式数据存储。经实验证明,设计方法存储数据延迟时间小于传统方法,而且数据丢失量小于传统方法,能够有效确保电力企业数据的完整性。 相似文献
5.
介绍了Hadoop的数据负载均衡算法.为了提升Hadoop数据负载均衡算法的效率,文中提出了超负载机架的优先处理及引用排序策略的解决负载均衡的改进算法.实验证明了改进算法在特定的环境下或能够在较短的时间内使各个机架的数据负载达到平衡以及能够优先处理负载超大节点. 相似文献
6.
王家柱范中磊毕强郭少松 《微电子学与计算机》2022,(12):69-76
负载均衡在存储系统领域一直是研究的热点,但在分布式的对象存储系统中的应用与实现方面仍存在缺陷.针对对象存储系统中负载均衡方法大都依靠经验或有限的动态配置指导自适应算法进行、在负载再平衡过程中无法控制迁移节奏,算法实现复杂,未充分考虑存储节点实时负载状况等不足,提出了一种基于监控的动态负载均衡方法.该方法将监控系统引入对象存储系统,完成对各存储节点负载状况的实时感知;根据节点负荷、异构性等因素进行综合估计来触发迁移算法,避免了依靠经验及预设值指导算法执行;利用监控系统灵活的自定义事件触发机制和故障自动化处理机制,设计负载迁移策略,动态完成节点间的负载再平衡,降低算法实现复杂难度;使用监控系统动作执行过程中的多步操作顺序流控制完成一次一迁移,有效掌控负载迁移节奏.将该方法应用到自主研发的对象存储系统CSCloud进行验证的结果表明,该方法能及时获取集群中各节点的负载信息,并实现及时、准确的动态负载平衡,为对象存储系统和其他分布式存储系统实现负载均衡提供了新思路. 相似文献
7.
现有的信息安全存储加密方法在计算节点位置参数时算法冗余度较大、加密速度较慢,为此,提出基于双混沌映射的通信信息安全存储多重加密方法。建立通信信息路径节点覆盖集,遍历二叉树节点,模拟所有随机变量的算法执行过程;依据双混沌映射计算各节点位置参数,通过置乱函数变换矩阵中位置参数,编码各节点动态位置信息;设计通信信息存储加密算法,计算各节点信息复杂度,实现通信信息安全存储多重加密。实验结果表明,密文长度为160kB时,该方法存储加密所需要的总时间仅为188ms,这表明文中方法具有较高存储效率。 相似文献
8.
大数据分布式存储系统中,修复流水线(Repair Pipelining,RP)减少90%的修复时间,有效地解决由于修复时间开销较大,纠删码不适用于存储热数据的问题.然而,现有的RP存在节点负载不均衡的问题,导致系统性能下降.通过研究后,设计节点负载均衡的纠删码修复流水线(Node Load Balancing-based Repair Pipelining,NLB-RP),并根据性能评价指标提出计算节点负载的算法和计算修复时间的算法.理论分析及实验结果表明,在没有引入额外修复代价的情况下,NLB-RP从局部到整体有效地平衡并减少节点的负载.相比RP,NLB-RP的节点负载方差为0,即每个节点的负载相同.因此,NLB-RP具有最优的负载均衡性. 相似文献
9.
10.
本文提出了一种双层集群的高效节能分簇算法,利用K-均值聚类算法和角色成员关系模型,将传感节点分为主、子集群并分别进行簇头选择,减小簇内节点的传输范围,均衡各节点能耗。仿真基于MATLAB实现,在网络生命周期和通信数据流量等方面与其他分簇算法进行了性能对比。结果表明,本文提出的算法使能耗负载均匀分布于各节点,实现了能源负载平衡,最终提升传感网络的整体寿命。 相似文献
11.
在分析HDFS和Dynamo架构的基础上,引入数据库技术以及动态一致性哈希算法分类处理不同对象组的方法.本方法可根据各个存储节点存储代价,进行综合调度,对外提供最优存储节点.通过算法描述和仿真结果分析表明,此方法可以使系统达到负载均衡,并且从整体上提高了系统的效率,在数据查找定位上也可以满足要求. 相似文献
12.
随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统(HDFS)存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。 相似文献
13.
14.
15.
Hadoop云存储架构的设计初衷是实现大文件的高效存储处理,但在处理移动终端下诸如图片等小文件时会引起名称节点索引提取速度过慢和数据节点存储空间利用率不高等问题.针对这一问题,提出一种小文件归档的方案FHAR.方案综合考虑移动终端用户访问的实时性、名称节点服务器内存使用率、数据节点存储空间利用率等方面,利用双层索引的归档技术结合FAHP(模糊多属性决策理论)的系统负载预测算法实现系统的负载均衡,提高服务效率.同时利用数据预取机制对访问操作进行优化.仿真结果表明,该方案有效提高了节点的存储效率与用户访问的实时体验性. 相似文献
16.
在PFP(Parallel FP-Growth)算法的基础上提出了一种负载均衡并行的挖掘算法LBPFP(Load-Balanced Parallel FP-Growth)算法,该算法在Hadoop框架实现并行计算的同时,在数据分发中利用负载均衡策略,使主节点均衡地向子节点分配数据.除此之外,在子节点进行数据处理的过程中利用剪枝策略,减少数据的处理量,该算法在提高并行计算能力的同时也大大缩小了数据的处理量.最后,通过实验分析表明该算法在大数据的处理中具有较好的效果,证实了该算法的可行性. 相似文献
17.
18.
19.
20.
负载均衡是提高集群系统性能的重要技术,负载均衡技术可以在当前的网络应用结构上有效提高服务器处理能力,使系统在现有的结构下能够满足更多的用户同时访问所提供的服务,负载均衡算法是集群任务分配的核心。分析了影响服务节点性能的主要因素,基于SED算法提出了一种负载均衡的自适应机制,根据服务节点的性能状况自动调整权值。在Linux平台下进行了实验,测试结果显示该算法优于静态算法。 相似文献