共查询到19条相似文献,搜索用时 140 毫秒
1.
2.
3.
一种基于时移电视系统的副本放置策略 总被引:1,自引:0,他引:1
针对时移电视系统中的副本放置问题,通过将流式传输的数据片副本有计划地放置在路由节点缓存空间内,以提高用户体验度,减少初始化时延和频道切换响应时延。研究了副本放置问题中的负载均衡和响应时延最小化等问题,总结了节点连接度与副本放置之间的关系,在分析网络电视数据特点的基础上,提出一种混合副本放置策略。仿真结果表明,该策略能够有效提高查询消息搜索成功率,且占用缓存空间较小。 相似文献
4.
5.
6.
7.
云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。 相似文献
8.
对等网络系统面临的最大的问题就是负载均衡.针对P2P网络中负载均衡的问题,提出了两种基于动态副本策略的负载均衡技术:周期性副本策略和基于需求的副本策略.在周期性副本策略里,每个超级节点周期性地把文件的副本发送给请求该文件频率最高的远程超级节点.在基于需求的副本策略里,当一个超级节点发现其对某个文件的访问频率过高时,就向拥有该文件的超级节点发送文件请求,以获得该文件副本.本文分析了这两种技术的平均访问代价和副本负载代价.一系列的模拟实验证实了这两种技术的可行性及其带来的好处. 相似文献
9.
当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。 相似文献
10.
为提高云环境下业务流程的执行效率,提出一种云服务副本放置策略。该策略基于社会网络分析的思想,挖掘出云服务社区中服务网络的连通性、中心化等社会网络特征,从而确定服务网络中处于枢纽位置的中心服务节点。通过分析中心服务节点和其前驱节点的逻辑序列关系,结合服务节点所在物理机的负载情况,确定中心服务节点的副本的宿主物理机并进行预放置。实验结果表明,该策略可以减少云环境中的业务流程因异地服务的交互造成的时间消耗,均衡节点负载,提高业务流程的执行效率。 相似文献
11.
一种周期性MapReduce作业的负载均衡策略 总被引:1,自引:0,他引:1
MapReduce任务负载均衡主要是通过分区函数来实现的,Hadoop默认的分区函数并不能很好地保证reducer的负载均衡。针对周期性的业务处理提出了一种基于权重计算的负载均衡策略,周期性任务的数据分布与历史数据相比具有相似性。本策略根据历史数据运行的信息运算出数据权重信息(文中用权重表示每条记录的处理复杂
度),再通过Map阶段抽样分析当前这批数据的分布特征来预测待处理数据带权重的整体近似分布情况,从而指导Reduce分区,以保证其负载均衡。通过简单的例子仿真了整个策略的运作过程,并且对比了与TeraSor、思路的不同点。最后通过分析用户访问视频的日志证明了文中提到的策略比默认的策略性能提高了接近1倍。 相似文献
12.
利用HDFS进行大规模交通监控视频的存储和处理是一种可靠、高效、可扩展的数据存储方案.针对HDFS默认的机架感知策略可能造成存储热点这一问题,提出了一种基于事件密集度的交通监控视频放置策略.该策略利用交通视频可按事件类型进行分类这一特征,在数据放置时将数据节点中已存储的各类型的事件视频可能对其造成的负载作为节点的主要评价因素之一,同时结合节点的实时负载、磁盘容量等因素进行综合评价,选择最佳的数据放置节点,从而平衡数据节点的负载.实验表明,基于事件密集度的交通监控视频放置策略可以改善数据节点的吞吐量,提高存储系统性能. 相似文献
13.
集群环境中经常采用虚拟盘阵方式来构建其存储系统。虚拟盘阵系统是一种并行系统,负载平衡对其性能影响非常大;同时虚拟盘阵系统一般都是异构的。本文研究了异构盘阵的负载平衡标准,并提出了基于请求的负载重构策略,在负载重构时机上对传统磁盘冷却算法进行了改进。模拟试验表明,该算法对虚拟异构盘阵是有效的。 相似文献
14.
P. S. Kostenetskii A. V. Lepikhov L. V. Sokolinskii 《Automation and Remote Control》2007,68(5):847-859
For the multiprocessor systems of the hierarchical-architecture relational databases, a new approach to data layout and load balancing was proposed. Described was a database multiprocessor model enabling simulation and examination of arbitrary multiprocessor hierarchical configurations in the context of the on-line transaction processing applications. An important subclass of the symmetrical multiprocessor hierarchies was considered, and a new data layout strategy based on the method of partial mirroring was proposed for them. The disk space used to replicate the data was evaluated analytically. For the symmetrical hierarchies having certain regularity, theorems estimating the laboriousness of replica formation were proved. An efficient method of load balancing on the basis of the partial mirroring technique was proposed. The methods described are oriented to the clusters and Grid-systems. 相似文献
15.
本文研究在主机之间迁移虚拟机来提高系统负载均衡度(包括2个方面:CPU和disk I/O),同时尽可能地降低迁移代价。因此,目标是寻找主机和虚拟机之间尽可能优的映射方案。本文提出虚拟机的亲和力概念,并且定义了亲和力指数的计算方法,然后建立基于遗传算法的虚拟机调度模型。在这个模型中,交叉操作驱动映射方案的亲和力指数尽可能地增加,变异操作使得主机的CPU和disk I/O的差值趋于收敛。在每一代中,选择策略将亲本个体和子代个体分为一组,并选择较大适应度的个体遗传到下一代,从而使得种群不断地进化,得到最终的映射方案解空间。本文提出基于遗传算法的虚拟机均衡调度算法。该算法选取最终映射方案解空间中的最优解,做到从全局的角度考虑负载均衡问题;提前计算迁移的影响,在得到最优的迁移方案时才进行实质性迁移,从而降低了迁移代价;使用MTALB算法将多类型任务均匀地分配到虚拟机中,系统的负载均衡效果更佳。实验结果表明,就迁移代价和系统负载均衡各项具体指标而言,本文算法相比于首次适应和轮转调度算法以及NABM算法存在全面优势。在任务处理率这一关键指标上,本文算法比首次适应和轮转调度算法及NABM算法分别平均提升了25%和12%。 相似文献
16.
17.
采用服务器集群架构提供服务成为互联网服务业中普遍采用的策略,目前使用得比较广泛的网络负载均衡集群是Linux虚拟服务器集群。优秀的负载均衡算法可以将用户请求合理地分配到集群中的真实服务器中.提高集群中服务器的利用率和集群系统的吞吐量。针对LVS默认算法WLC算法的不足之处,对WLC算法进行改进.设计并实现一种基于反馈式的负载均衡算法。实验证明,改进算法能够增大集群的吞吐量,提升集群的整体性能。 相似文献
18.
现有针对MapReduce的负载均衡调度的研究均未考虑中间数据的分布特点及网络传输的开销,导致额外的网络传输代价与系统效率的下降。为解决上述问题,提出了一种数据本地性感知的负载均衡策略。充分利用YARN中资源管理的新特性,在Map阶段对内存数据溢写的同时进行统计以获取数据分布,根据数据分布情况及各节点的计算能力进行任务调度,减少网络传输开销的同时尽量保证各节点的负载平衡。此外,通过引入细粒度分区与分区的自适应分裂策略,进一步提高在数据倾斜时调度策略的性能。对比实验结果表明,提出的负载均衡调度策略能有效提升性能,同时较好地降低网络总开销。 相似文献
19.
基于视频数据的分布式计算与基于文本类型数据的分布式计算存在很大的差异。视频数据本身是非结构化的,并且对于同样大小的视频,若其内容不同会导致任务执行消耗的时间也不同。对于简单的结构化数据,HDFS默认的负载均衡器能够解决负载均衡的问题。但是视频文件存在热点访问以及复杂度不一致的问题。使用HDFS默认的数据分布机制不能很好地解决计算负载均衡问题。因此提出了一种基于HDFS的海量视频数据重分布算法。首先对视频文件的访问次数以及历史视频分析对视频文件的访问时间进行记录;然后对数据进行量化之后将其加权作为该视频文件的负载度;最后使用文件置换手段将负载高的视频与低的视频进行置换,直到每个节点的负载达到均衡为止。实验结果表明,使用提出的数据重分布算法可以减少海量视频数据的处理时间。 相似文献