云存储智能多数据副本放置机制

数据副本管理机制是云存储系统的重要组成部分。为了提高云存储系统的可伸缩性、可靠性,同时改善用户访问时间,通常采用多数据副本机制,并且需要解决数据副本放置问题。为此,提出了一种用于云存储系统的智能多数据副本放置机制。该机制基于p-中心模型,以最小化访问代价为优化目标,基于遗传算法（genetic algorithm,GA）确定优化的数据副本放置方案,基于生物地理学优化（biogeography-based optimization,BBO）算法确定用户访问请求对数据副本的优化分配。基于CloudSim进行了仿真实现和性能评价,结果表明,云存储智能多数据副本放置机制是可行和有效的。     

VOD服务器集群中的改进SLF存储调度策略

在VOD服务器集群中,存储调度策略是影响整个系统存储容量和总并发数的关键技术之一.针对现有存储调度策略中最小负载优先（SLF）副本放置算法调整代价过高的问题,提出了一种改进SLF算法.算法以最小化负载不平衡度和最小化副本调整代价为目标,在放置过程中充分利用当前已经存储的副本,降低副本调整的代价.仿真实验表明,基于改进SLF算法的存储调度策略可以最小化负载不平衡度,降低了存储调度的调整代价,同时提高了系统的用户请求接受概率.     

副本放置中的更新策略及算法

副本技术广泛应用于云计算及分布式系统中,合理的数据副本放置是降低网络运行成本的重要手段,也是副本技术的核心问题。副本更新是针对网络中数据访问请求的动态变化而进行的副本添加与删除。针对副本放置问题,提出了一种基于多访问策略的副本动态更新算法MPFSF(min_placement far servers first)。该算法在引入通信距离限制的同时,尽可能多地重用网络中已存在的副本,并根据需要实施必要的副本更新,最大使用每个副本的处理能力,以便降低数据访问的时延,提高数据访问效率。最后通过实验结果和分析证明,该算法在不同的通信距离限制下,网络的运行成本得到了明显的降低,对原有算法的改进最高可达84.6%。     

蚊子产卵交配和模拟退火的混合优化数据副本放置机制

为了提高云存储系统的可扩展性、可靠性,同时改善用户访问能力,通常为其配备多数据副本机制,则不仅需要为数据副本选择合适的存储场地,而且需要实现用户访问请求对数据副本的优化分配。为此,提出了一种基于蚊子产卵交配和模拟退火混合优化数据副本放置机制。该机制以最小化总代价为优化目标,基于蚊子产卵交配思想确定数据副本候选放置方案,基于模拟退火进一步求精得到最优解。基于CloudSim,对该机制进行了仿真实现和性能评价,并且与现有的机制进行了对比分析,结果表明,该机制具有更好的性能,是可行和有效的。     

云环境下一种兼顾成本与存储空间的副本策略

传统的副本布局大多假定数据是独立的、不需要任何管理成本,但并未考虑副本开销以及中间数据的生成对副本布局的影响。为此,给出一种兼顾成本与存储空间的两阶段高效数据副本生成与存储策略,在数据副本初始布局阶段,基于遗传算法通过比较数据传输开销与存储开销,尽可能地将数据放置在数据中心。在数据中心利用数据生成关系,通过比较数据存储开销与生成开销,并基于Dijkstra最短路径算法确定最小数据开销的数据存储与生成策略。实验结果表明,成本感知的两阶段副本存储与生成策略在确保数据可靠性访问的同时,可以有效减少数据开销与数据存储空间,从而提升云存储系统性能。     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

蚂蚁算法在数据网格副本选择中的应用研究

数据网格中由于采用复制备份策略,文件存在多个副本.用户访问文件时,如何从拥有相同文件的多个结点中选择某一结点获取文件,达到以相同的代价获得最优质的服务,是一个迫切需要研究的问题.深入研究了蚂蚁算法的原理,分析了影响副本选择性能的主要因素,利用这些参考因素设计了基于蚂蚁算法的副本选择策略;并对这个新算法进行了分析和实现.经仿真平台实验,表明该算法可有效地减少数据访问延迟及带宽消耗,实现网格中存储节点间的负载平衡,提高数据的访问速度.     

大规模云存储系统副本布局研究

在基于副本冗余机制的大规模云存储系统中,以往的副本布局算法只能部分地满足副本布局中高可靠、高可扩展并且高效的要求,针对这一问题,提出了一种基于分组和一致性哈希的副本布局算法。首先,将关联性高的存储节点进行分组;然后,通过改进的一致性哈希算法将同一数据对象的多个副本分别分配到不同分组中;最后,再通过改进的一致性哈希算法将分配到各分组的数据副本放置在组内对应的存储节点上。理论分析可知,该方法大大提高数据的可靠性。仿真结果表明,该算法能满足副本布局的均衡性、自适应性要求,并能在几十微秒内完成副本定位。     

有限存储分布式社交网络中数据的动态划分和复制

社交网络的庞大数据需求分布式存储,多个用户的数据分散存储在各个存储和计算节点上可以保持并行性和冗余性。如何在有限的分布式存储空间内高性能存储和访问用户数据具有现实意义。在当前的社交网络系统中,用户数据之间的读写操作会导致大量跨存储节点的远程访问。减少节点间的远程访问可以降低网络负载和访问延迟,提高用户体验。提出一种基于用户交互行为的动态划分复制算法,利用用户之间的朋友关系和评论行为描述社交网络的结构,周期性划分复制用户数据,从而提高本地访问率,降低网络负载。通过真实数据集验证,该算法相比随机划分和复制算法能够大大提升本地访问率,降低访问延迟。     

分布式缓存系统中一种优化缓存部署的图算法

数据缓存技术可以有效地减少网络拥塞,减轻服务器负载,加快信息访问速度.通过部署一组地域分布的缓存节点相互协作处理用户请求,可以进一步提高系统性能.在分布式缓存系统中,一个值得关注的问题是优化缓存的放置,使访问开销最小化.首先建立了一个理论模型来分析缓存副本放置对系统访问开销的影响.基于这个模型,缓存放置问题可以形式化地描述成一个最优化问题,提出了一种图算法来解决该问题.图算法使用修改的Dijkstra算法在访问代价图中寻找一条最短路径,该路径对应一种最优的缓存部署.理论上证明了图算法的正确性,并使用仿真实验对其性能进行评估.实验结果表明,图算法的性能优于大部分现有的分布式缓存机制.     

基于骨干网的数据中心网络服务规划设计

数据中心是云计算的核心,而当前基于电交换器、传统多级交换网络、集中放置与管理的数据中心架构无法满足未来云服务对高性能数据中心在可生存性、高可用性与设计灵活性等方面的要求。以网络可生存性和最小化网络代价为目标,针对数据中心的放置、服务路由及保护进行联合优化设计。首先通过设计ILP获取最优解。该ILP集成了p-cycle、服务量备份以及快速重路由等思想,分别针对单个链路或单个服务器损坏进行快速保护。然后进一步给出一种启发式算法,该算法包含数据中心的放置及服务路由和快速保护两大步骤。ILP和启发式两种方法最终都通过广泛的仿真实验进行了验证。     

数据中心网络的体系结构

在新的应用模式下,传统层次结构数据中心网络在规模、带宽、扩展性和成本方面存在诸多不足.为了适应新型应用的需求,数据中心网络需要在低成本的前提下,满足高扩展性、低配置开销、健壮性和节能的要求.首先,概述了传统数据中心网络体系结构及其不足,并指出了新的需求;其次,将现有方案划分为两类,即以网络为中心和以服务器为中心的方案;然后,对两类方案中的代表性结构进行了详细的综述和对比分析;最后指出了数据中心网络未来的发展方向.     

An Optimization-Based Scheme for Efficient Virtual Machine Placement

According to the important methodology of convex optimization theory, the energy-efficient and scalability problems of modern data centers are studied. Then a novel virtual machine (VM) placement scheme is proposed for solving these problems in large scale. Firstly, by referring the definition of VM placement fairness and utility function, the basic algorithm of VM placement which fulfills server constraints of physical machines is discussed. Then, we abstract the VM placement as an optimization problem which considers the inherent dependencies and traffic between VMs. By given the structural differences of recently proposed data center architectures, we further investigate a comparative analysis on the impact of the network architectures, server constraints and application dependencies on the potential performance gain of optimization-based VM placement. Comparing with the existing schemes, the performance improvements are illustrated from multiple perspectives, such as reducing the number of physical machines deployment, decreasing communication cost between VMs, improving energy-efficient and scalability of data centers.     

基于双适应度遗传算法的虚拟机放置的研究

减少数据中心产生的网络时延以及优化数据中心能源消耗和物理资源的浪费等越来越受到研究者的关注。主要关注数据中心的物理资源的浪费和数据中心产生的网络时延,并且建模一个多目标优化问题:最小化数据中心的物理资源以及数据中心的时延。通过改进型双适应度遗传算法将两个目标同时优化,将其结果与贪心算法进行比较,实验结果表明,此算法优于贪心算法,是云环境下有效的虚拟机放置算法。     

基于局部信息的时延和时延差约束的组播路由

组播通信是从一个源节点同时向网络中的多个目的节点发送分组的通信服务,它一般提供一个以上的端到端的服务约束,实际的路由算法在应用时可以受到多重约束,解决这类问题的组播路由算法是NP完全的。在研究了构建组播树的相关算法后,提出了一种新的时延和时延差约束的低代价组播路由算法-DDVMC。该算法采用基于贪婪策略的Dijkstra最小生成树算法,利用局部信息来构建低代价组播树,很好地平衡了树的代价、时延和时延差。仿真表明,该算法能正确地构造出满足约束的组播树,同时还具有较低的代价和计算复杂度。     

基于可编程数据平面的PFC算法实现

当前高吞吐量、超低延迟的高性能无损数据中心网络成为研究的热点.传统TCP/IP协议是为广域网设计的,在高速网络条件下(特别是随着10 Gb/s的网络接口的普及)会存在I/O瓶颈问题;远程直接数据存取技术RDMA(remote direct memory access)是为了解决网络传输中终端主机的数据处理延迟、降低CP...     

多约束QoS动态多播路由算法

YAM和QoSMIC是支持QoS动态多播路由算法,允许多播组成员动态地加入/退出,同时为接收方提供多个可选择的多播接入路径,以满足不同应用的QoS需求。该文在分析这些算法的基础上,研讨了具有延迟、延迟抖动、带宽和代价等多约束QoS的多播路由问题,描述了一种适应于研究QoS多播路由的网络模型,提出了一种具有多约束QoS的动态多播路由算法(MQDMR),MQDMR试图有效地减少生成多约束QoS的多播树的开销。在MQDMR中,一个多播组成员能动态地加入/退出一个多播会晤,且不干扰现有的多播树。仿真实验结果表明,MQDMR比YAM和QoSMIC具有较小的延时和较少的代价。     

基于多种群协同微粒群优化的流数据聚类算法

针对流数据的实时、有序和维数高等特点, 提出一种基于多种群协同微粒群优化的流数据聚类算法. 该算法利用变量分而治之的思想, 多个种群协同优化多个类中心, 进而求出问题完整的类中心集合. 给出一种类中心变化趋势的预估策略, 以快速追踪环境变化. 为防止多个子微粒群同时优化一个类中心, 提出一种相似子微粒群的合并策略. 最后将所提出的算法用于多个数据集, 实验结果验证了算法的有效性.

     

基于节点连通性排序的虚拟网络映射算法

对当今云环境下的数据中心来说,以虚拟资源租赁的运营方式具有极大的灵活性,尤其是以虚拟网络为粒度的资源租赁能够为用户提供更好的个性化需求支持。虚拟网络映射问题是指依据用户资源需求,合理分配底层主机和网络资源。现有的虚拟网络映射算法大多是针对随机拓扑设计的通用算法,未针对数据中心拓扑结构进行优化,映射效率有很大提升空间。针对数据中心的结构特点,提出了一种基于节点连通性排序的虚拟网络映射算法BS-VNE算法。首先,设计了一种最大生成算法来对虚拟节点重要程度进行求解和排序。该算法不仅基于虚拟节点的带宽和连通度,还基于虚拟节点在整个虚拟网络中的连通性来进行节点连通性的计算,以获得更加合理的排序结果。然后,根据虚拟节点连通性排序结果利用离散粒子群优化算法求解虚拟网络的映射解。在求解过程中,引入了针对数据中心结构的物理网络拓扑启发式规则,并将其组合到粒子搜索过程中,以提高映射算法的收敛速度。仿真实验结果表明,与现有算法相比,本文提出的算法可以提高物理网络的收益/成本比和资源利用率。