云计算环境下的分布存储关键技术

云计算作为下一代计算模式,在科学计算和商业计算领域均发挥着重要作用,受到当前学术界和企业界的广泛关注.云计算环境下的分布存储主要研究数据在数据中心上的组织和管理,作为云计算环境的核心基础设施,数据中心通常由百万级以上节点组成,存储其上的数据规模往往达到PB级甚至EB级,导致数据失效成为一种常态行为,极大地限制了云计算的应用和推广,增加了云计算的成本.因此,提高可扩展性和容错性、降低成本,成为云计算环境下分布存储研究的若干关键技术.针对如何提高存储的可扩展性、容错性以及降低存储的能耗等目标,从数据中心网络的设计、数据的存储组织方式等方面对当前分布存储的关键技术进行了综述.首先,介绍并对比了当前典型的数据中心网络结构的优缺点;其次,介绍并对比了当前常用的两种分布存储容错技术,即基于复制的容错技术和基于纠删码的容错技术;第三,介绍了当前典型的分布存储节能技术,并分析了各项技术的优缺点;最后指出了当前技术面临的主要挑战和下一步研究的方向.     

在BCube型拓扑中嵌入环结构*

在数据中心网络（DCN,data center network）中,为了实现BCube拓扑与基于环的应用的对接,本文利用互联网络与组合数学的知识,研究了在BCube中嵌入环（ring）结构的问题,提出了基于最小异维环组和递归化的算法。该算法找到了BCube(n,k)（n为偶数且k≥1）（简记为B(even,k≥1)）中的Hamilton圈,能保证嵌入图的膨胀率是1;而且,在BCube中的switch发生故障时,相对其他环嵌入算法,嵌入的膨胀率较小。针对BCube(n,k)(n为奇数且k≥1)（简记为B(odd,k≥1)）,本文也提出了可供参考的环化算法。     

低跨云数据中心修复流量的纠删码的快速构造方法

近年来,云数据中心故障频发,因而各大机构纷纷采用跨云数据中心多副本技术对数据进行容灾存储.与跨云数据中心多副本技术相比,跨云数据中心纠删码技术可靠性更高、冗余度更低. 但是,现有跨云数据中心纠删码技术无法同时满足低跨云数据中心修复流量、高编码参数适应性和高纠删码构造效率,因而尚未在生产系统中得到普遍应用. 提出一种低跨云数据中心修复流量的纠删码的快速构造方法(fast construction method of the erasure code with small cross-cloud data center repair traffic, FMEL),该方法可在不同编码参数下快速构造具有低跨云数据中心修复流量的纠删码. 具体而言,FMEL首先将纠删码修复组分布方案及用户指定的编码参数转换为定长特征向量,并基于支持向量机对各特征向量进行快速分类以检验其对应纠删码修复组分布方案和编码参数的匹配性——某特征向量属于正类表示其对应纠删码修复组分布方案与编码参数相匹配. 而后,FMEL用一种并行搜索算法从所有通过检验的纠删码修复组分布方案中选出平均跨云数据中心修复流量较小的一个方案,并用一种试错算法将其转换为具有低跨云数据中心修复流量的纠删码的生成矩阵. 跨云数据中心环境中的实验表明,与现有的可在不同编码参数下构造出能达到平均跨云数据中心修复流量下限的最优码的工作相比,FMEL可将纠删码构造用时缩短89%,且在大部分编码参数下,二者构造的纠删码的跨云数据中心修复流量相同. 此外,与其他几类常用纠删码相比,FMEL构造的纠删码可将跨云数据中心修复流量降低42.9%~56.0%.     

Conditional edge-fault Hamiltonicity of augmented cubes

The augmented cube is a variation of hypercubes, it possesses many superior properties. In this paper, we show that, for any n-dimensional augmented cube (n?3) with faulty edges up to 4n-8 in which each vertex is incident to at least two fault-free edges, there exists a fault-free Hamiltonian cycle. Our result is optimal with respect to the number of faulty edges tolerated.     

云计算环境下的容错并行Skyline查询算法研究

云计算为分布并行Skyline查询提供强大存储能力和计算能力的同时,其大规模数据中心固有的故障频发特性给可靠Skyline查询处理带来极大挑战。现有研究致力于提高Skyline算法的响应时间、渐进性、负载均衡等各项性能,不能保证故障情况下查询继续正确执行。为此,提出一种容错并行Skyline查询算法(fault-tolerant parallel Skyline,FTPS)。该算法通过故障监测和任务迁移,使得能够在查询过程中及时发现故障,并将故障节点的计算任务迁移到副本节点,保证查询的正确执行。理论分析和实验证明,FTPS算法能够在不影响正常Skyline查询处理性能的情况下获取较好的容错处理性能。     

一种智能网络磁盘文件数据容错算法

针对目前存储系统中的DAS、NAS存储方案存在的单点故障与性能瓶颈问题,介绍了一种新型的智能网络磁盘(IntelligentNetwork Disk,IND)存储系统结构,提出了一种面向智能网络磁盘存储系统的文件数据容错算法,理论分析和仿真实验结果表明:多个智能网络磁盘(IND)采用这种容错算法时,其并行数据读取性能良好,已经具备很强的单点容错能力;这表明文中提出的文件数据容错算法能够实现智能网络磁盘之间的容错处理。     

The Hamiltonicity of swapped (OTIS) networks built of Hamiltonian component networks

A two-level swapped (also known as optical transpose interconnect system, or OTIS) network with n² nodes is built of n copies of an n-node basis network constituting its clusters. A simple rule for intercluster connectivity (node j in cluster i connected to node i in cluster j for all i≠j) leads to regularity, modularity, packageability, fault tolerance, and algorithmic efficiency of the resulting networks. We prove that a swapped network is Hamiltonian if its basis network is Hamiltonian. This general closure property for Hamiltonicity under swap or OTIS composition replaces a number of proofs in the literature for specific basis networks and obviates the need for proving Hamiltonicity for many other basis networks of potential practical interest.     

云计算下的校园网数据中心网络设计

云计算背景下,服务器高可用集群技术和虚拟服务器动态迁移技术在数据中心中得到广泛应用,大规模的计算、存储资源的互联互通对数据中心的原有结构及运行模式提出了新的要求。本文讨论了在此前提下校园网数据中心的建设方向,详细探讨了与此相关的技术及发展趋势,提出了校园网数据中心的建设模式。     

Ring embedding in faulty generalized honeycomb torus – GHT(m,n, n/2)

The honeycomb torus HT(m) is an attractive architecture for distributed processing applications. For analysing its performance, a symmetric generalized honeycomb torus, GHT(m, n, n/2), with m≥2 and even n≥4, where m+n/2 is even, which is a 3-regular, Hamiltonian bipartite graph, is operated as a platform for combinatorial studies. More specifically, GHT(m, n, n/2) includes GHT(m, 6m, 3m), the isomorphism of the honeycomb torus HT(m). It has been proven that any GHT(m, n, n/2)?e is Hamiltonian for any edge e∈E(GHT(m, n, n/2)). Moreover, any GHT(m, n, n/2)?F is Hamiltonian for any F={u, v} with u∈B and v∈W, where B and W are the bipartition of V(GHT(m, n, n/2)) if and only if n≥6 or m=2, n≥4.     

基于SDN的数据中心网络资源调度机制

随着大数据应用的不断丰富, 现在的数据中心通常部署着多种集群计算框架, 并由统一的集群资源管理器(如Mesos)进行管理. 目前的集群资源管理主要关注计算资源和存储资源, 较少的涉及网络资源. 但研究表明高效的网络资源管理对于优化作业性能十分重要. 本文提出了一种基于SDN(Software Defined Network)的数据中心网络资源调度机制, 该机制可以根据管理员预设的网络资源分配策略, 加权的进行网络资源调度, 为高优先级的作业分配更多网络资源以优化性能, 并且实现不同作业之间的网络性能隔离. 我们基于开源SDN控制器实现了原型系统, 并通过实验验证了该机制的有效性.     

一种并行文件系统数据容错设计

并行文件系统容错是集群容错的关键组成部分。本文采用一种新的数据复制技术来实现并行文件系统数据的容错。由元数据管理器跟踪文件副本的存放位置，使节点副本可以平均分布在其他I／O节点，从而有利于负载平衡和可扩展性，另外还能够避免临近节点失效问题。     

医院网环境数据中心机房网络设计

为了确保医院环境下数据中心机房网络的安全、稳定的运行,需要对数据中心机房网络进行优化设计;采用当前方法进行数据中心机房网络设计时,未考虑到数据中心机房网络路径传输能耗、路径传输距离等影响,会造成网络寿命减少,影响数据中心机房网络的生存时间;为此,提出一种基于数据传输速度优化的医院网环境数据中心机房网络设计方法;该方法对数据中心机房网络供配电系统、机房监控系统和VPN虚拟系统等三大子系统进行设计优化,在医疗数据传输过程中,考虑医院网络节点能量优化理论对数据节点进行分簇,以需要传输的医疗数据节点为初始节点,汇聚节点作为医疗数据接收目标节点,采用蚁群优化方法对数据中心机房网络进行多路径搜索,搜索过程中考虑了数据中心机房网络路径传输能耗、路径传输距离以及医院网带宽等因素,最终选择满足多种条件的数据中心机房网络数据传输最优路径,完成医院网环境数据中心机房网络设计;实验结果表明,所提方法设计的医院网环境下数据中心机房网络具有耗能低、扩展灵活、周期短等优点。     

一种基于安全的网格数据副本策略模型

数据网格中数据副本的存在是为了获得对数据的更好的访问性能,同时也是为解决容错问题而采用的一种冗余技术,但系统复杂程度的增加会带来一系列不可预测的安全隐患。安全与容错是既相互统一,又相互矛盾的关系,应将它们综合起来加以研究。为此将数据副本机制与信息安全结合起来,提出一种决定数据资源副本数量的数学模型。该模型综合考虑服务提供者一方经济利益和声誉度,在合理的假设下对一个两目标的优化问题作了简化处理,通过数值计算和分析确定了数据副本数量的最佳限额。     

具有自适应性的star网络容错寻径策略研究

大规模并行处理机系统中寻径算法对互连网络的通信性能和系统性能起着至关重要的作用;而star互连网络作为超立方体网络的最好替代之一;其寻径问题的解决变得非常重要。在有条件的容错模型基础上;对寻径时的规则进行了研究;提出了一种基于自适应规则的容错寻径算法。对算法的正确性以及容错性进行了分析。经仿真实验证明了该算法具有较高的成功概率。在边失效独立的情况下;对star网络终端对间通信可靠性进行了分析;推导出了其约束下界;并给予了证明。
     

移动计算容错行为研究

移动计算作为新兴技术正在迅速发展。与有线固定环境相比,移动环境中的无线网络连接更加脆弱。移动主机可靠性差。由此在移动计算环境中引入实现错误恢复的机制显得尤为重要。文章详细分析了移动计算的环境及其特点,介绍基于检查点和日志的容错技术,基于移动Agent的容错技术,并作了相关的比较。     

基于软件定义网络的数据中心网络负载均衡算法研究

针对传统网络的分布式架构使得负载均衡技术难以满足低成本、高灵活性、自适应调整的要求,提出一种基于SDN的数据中心网络负载均衡算法。首先,根据路径当前负载状况和链路负载波动为路径设置了一个权重,并以此作为路径选择依据;其次,设置了一个负载均衡度用于衡量网络负载状况;最后,针对需要调度的流,进一步限定了其流量大小范围,保证了高效的流调度。仿真结果表明,与其他算法相比,所提算法能有效提高网络资源利用率并均衡全网负载。     

OpenFlow在下一代数据中心网络的应用研究

主要阐述了转发面开放协议(OpenFlow)的概念,并介绍了其控制和转发分离的核心思想,分析了其开放性、智能化和高性价比特性。同时,分析了下一代数据网络中心对网络的需求(流量快速增长、横向流量大幅提升、对网络智能化管理需求不断提升、增值业务快速部署等),并对OpenFlow在数据中心的应用场景进行探讨。最后,对OpenFlow进行了展望。     

校共享数据中心平台设计与实现研究

信息资源流通的局限性,导致校园网的信息系统虽然实现了共享,但是仅仅局限在小范围内,而无法发挥信息资源利用的最佳效益,各种负面影响也随之产生,这就需要建立信息共享数据中心平台,以通过新的决策支持数据支持新的应用开发领域。针对高校共享数据中心平台的设计与实现进行研究。