一种优化的Hadoop副本放置策略

Hadoop分布式文件系统默认采用三副本策略实现较为简单,未对数据节点负载进行充分考虑。为了改善HDFS中集群负载的均衡性,提高数据节点的资源利用率,提出一种优化的副本放置策略。该策略综合考虑数据节点的实时负载信息和工作进程数,选择负载最小的节点存放数据。实验结果表明,与默认策略相比,优化的Hadoop副本放置策略能使副本分布更加合理,集群的均衡性更加良好,并能减少数据上传响应时间。     

云存储系统中基于分簇的数据复制策略

云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。提出了一种云存储系统中基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,设计了一种基于分簇的负载均衡副本放置方法。相关的仿真实验表明,提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。     

基于Swift的副本数据自适应备份策略研究

冗余数据备份是保证云数据中心下数据可靠性的重要保障机制之一,OpenStack是一种开源的云计算IaaS层私有云服务搭建平台,目前已经在行业界广泛应用。OpenStack的Swift模块使用一致性哈希算法,采用Ring环选取副本备份节点的方式来完成负载均衡和数据备份。本文通过对Swift的实现机理和代码进行分析研究,指出其在副本放置节点选取上的不足,并进而提出优化选取策略ABS（Adaptive Backup Strategy）。该机制在实时监控当前存储节点的负载情况基础之上,根据预先设定的阈值上、下限,自适应选取最近可用的节点完成备份,以优化整体备份效率。通过与现有副本备份策略进行对比和实验验证表明,ABS在保持数据副本分配均衡性的基础之上,将系统存储的4种读写性能分别提高了3.4%~9.1%,达到了优化存取的目的。     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

HDFS数据副本均衡放置策略的改进

HDFS默认的数据副本放置策略仅仅只根据磁盘空间使用单个指标进行负载衡量,无法实现各节点真正的负载均衡。提出了一种基于性能的副本负载均衡放置改进策略,从磁盘空间负载能力、CPU处理能力、内存处理能力、磁盘读写处理能力、带宽等5个方面考究节点实际工作负载,并定义了一个负载能力模型。实验结果表明,该改进策略比默认策略能更好地实现副本的均衡放置。     

异构环境下云计算数据副本动态管理研究

针对现有HDFS(Hadoop Distributed File System)数据副本数目固定,副本放置时未考虑节点异构性问题,本文提出一种异构环境下云计算数据副本动态管理模型DMDR.在副本创建时,DMDR根据节点性能选择最优副本放置节点;在系统运行过程中,基于灰色预测技术,DMDR根据数据的最近访问特征预测数据访问热度,并动态调整副本数目.实验表明,在异构环境下,较之现有HDFS副本管理机制,DMDR可有效减少节点之间数据传输,提高负载均衡,降低作业执行时间.     

一种基于时移电视系统的副本放置策略

针对时移电视系统中的副本放置问题,通过将流式传输的数据片副本有计划地放置在路由节点缓存空间内,以提高用户体验度,减少初始化时延和频道切换响应时延。研究了副本放置问题中的负载均衡和响应时延最小化等问题,总结了节点连接度与副本放置之间的关系,在分析网络电视数据特点的基础上,提出一种混合副本放置策略。仿真结果表明,该策略能够有效提高查询消息搜索成功率,且占用缓存空间较小。     

基于云存储的二阶段动态优化调度机制

在分布式存储的研究中,如何高效地利用存储空间是个热点问题.存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠.论文提出一种基于云存储的二阶段动态优化调度机制：第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间;第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用.最后通过实验,验证了该调度机制可有效地放置副本,减少节点间的数据传输,并提高文件访问效率.     

基于热度的Hadoop快速副本复制算法

在云存储中心, 由于节点失效带来的文件数据块副本丢失不仅会影响系统的可靠性, 还会影响文件的并发访问效率. 针对Hadoop中默认的副本复制方法存在的问题, 即副本复制过程某些节点数据传输过于集中, 负载不均衡, 磁盘I/O吞吐率低, 提出一种基于热度的快速副本复制算法. 该算法优先复制热度高的数据块, 合理选择数据块复制的源节点和目的节点. 仿真结果表明, 该算法平衡了系统的工作负载, 提高了磁盘I/O吞吐率, 显著降低用户请求平均响应时间.     

一种基于机器学习的虚拟机放置方法

为改善云数据中心的能耗、负载均衡性和服务等级协议(SLA)违背率,对虚拟机放置策略进行优化。基于IaaS环境,提出一种基于机器学习的虚拟机迁移调整方法。根据资源消耗的互补性和不均衡性对虚拟机进行预放置,使用深度神经网络预测物理机负载等级,并利用深度Q网络调整物理机数量。实验结果表明,该方法能够有效均衡负载分布,降低能源开销和SLA违背率。     

基于图割的云环境中工作流调度改进算法

为提高云环境中工作流的执行效率,通过调整工作流引擎的调度策略,将MCGP（Multi Constraint Graph Partitioning）算法应用于工作流调度引擎,并对其不足,提出改进的MCGRP(Multi Constraint Graph Ratio Partitioning)算法。模拟实验表明,本文的调度算法有效地提高了系统的资源利用率和云环境中工作流的执行效率。     

高性能云工作流状态机的原理与实现

传统工作流程通过设计活动和迁移线等元素来实现流程的基本流转,但随之而来的问题是当流程异常复杂,例如存在多达几十个活动且活动之间需要不断跳转交互的情况下,不仅开发复杂度成倍增加,而且运行时性能也会持续降低.为解决此问题,本文基于有限状态机的原理,结合云计算技术,提出了云工作流状态机,能够充分利用代码逻辑开发的便捷性,简化流程的活动和迁移,最终达到运行时高性能的架构目标.文中详细阐述了工作流状态机的实现原理,运行机制,以及云计算下的状态机服务框架,最后介绍了基于云状态机的业务应用开发方式,并给出容器下的压力测试结果：流程在双节点流转的单步耗时非常短,运行稳定.实践证明,基于容器的云架构在保证可扩展性的同时亦能满足高性能的设计目标.     

A market-oriented hierarchical scheduling strategy in cloud workflow systems

A cloud workflow system is a type of platform service which facilitates the automation of distributed applications based on the novel cloud infrastructure. One of the most important aspects which differentiate a cloud workflow system from its other counterparts is the market-oriented business model. This is a significant innovation which brings many challenges to conventional workflow scheduling strategies. To investigate such an issue, this paper proposes a market-oriented hierarchical scheduling strategy in cloud workflow systems. Specifically, the service-level scheduling deals with the Task-to-Service assignment where tasks of individual workflow instances are mapped to cloud services in the global cloud markets based on their functional and non-functional QoS requirements; the task-level scheduling deals with the optimisation of the Task-to-VM (virtual machine) assignment in local cloud data centres where the overall running cost of cloud workflow systems will be minimised given the satisfaction of QoS constraints for individual tasks. Based on our hierarchical scheduling strategy, a package based random scheduling algorithm is presented as the candidate service-level scheduling algorithm and three representative metaheuristic based scheduling algorithms including genetic algorithm (GA), ant colony optimisation (ACO), and particle swarm optimisation (PSO) are adapted, implemented and analysed as the candidate task-level scheduling algorithms. The hierarchical scheduling strategy is being implemented in our SwinDeW-C cloud workflow system and demonstrating satisfactory performance. Meanwhile, the experimental results show that the overall performance of ACO based scheduling algorithm is better than others on three basic measurements: the optimisation rate on makespan, the optimisation rate on cost and the CPU time.     

云存储副本优化选择策略

为了提高云计算环境中系统的整体数据调度效率,对云存储系统中的副本选择问题进行研究,提出一种基于蚁群觅食原理的云存储副本优化选择策略。该策略利用蚁群算法在解决优化问题上的优势,将自然环境中蚁群的觅食过程与云存储中的副本选择过程相结合;再充分应用信息素的动态变化规律以及高斯概率分布特性优化副本的选择方式,得出一组副本资源的最优解,从而为数据请求响应合适的副本。在OptorSim仿真平台上对该算法进行实现,实验结果表明该算法具有不错的表现,如在平均作业用时这一性能指标上相比原始蚁群算法提升了18.7%,从而在一定程度上减少了副本选择过程的时间消耗,降低了网络负载。     

基于WFPSO算法的云虚拟机放置策略

随着云计算技术的大规模应用,云应用的交互更加依赖于网络,较差网络拓扑的选择,增加了应用在网络中的通信流量,严重影响应用的运行效率和服务质量。为解决此问题,提出了一种基于粒子群优化算法的虚拟机放置策略。该策略通过建立云环境内部时延模型,利用改进的粒子群优化算法求解目标函数,来降低应用的时延,提高运行效率。并在CloudSim平台上进行仿真实验,实验结果表明,该策略的响应时间低于基本粒子群优化算法（PSO）,并且修改后的PSO算法在不影响收敛精度的前提下较大幅度地提高粒子群算法的收敛速度,提高了云环境中应用的运行效率。     

基于工作流的业务过程建模研究

业务生成环境是实现信息系统的快速开发、提高业务运行维护效率的必要工具,其中业务过程的建模是业务生成环境中最为重要的方面。该文研究了工作流技术中的业务过程描述方式,设计了一个业务过程模型,并对其结构正确性和语义正确性进行了证明和分析。     

工作流管理平台的设计及其在自助服务中的应用

随着信息技术的普及,工作流技术在信息、制造和软件领域得到了广泛的应用,越来越多的企业引入了工作流引擎和工作流管理平台来管理日常的业务流程.但目前大部分工作流管理平台都有自己的业务背景并且对系统环境、接口有自己特定的要求,在不同企业之间移植会碰见水土不服的情况.本文针对银行间债券市场债券账户开户及信息披露的业务特点,基于J2EE和SOA架构,根据WFMC发布的工作流管理平台参考模型,自主设计并开发了一套工作流管理平台,并在上面成功实施相关的自助服务流程.这是工作流技术首次在银行间市场开户和信息披露等方面的应用,它较好的提高了银行间市场自助开户以及信息披露等工作的效率.从性能测试的结果来看,平台的并发性和稳定性也能满足目前业务需求.     

物理机windows与虚拟机linux之间的文件交换方法

介绍运行于windows系统之上的YMware虚拟机软件,叙述在limlx虚拟机内添加物理盘的方法。然后详解了在虚拟机linl~：环境下,如何将添加的物理盘挂载于linux的文件系统之上,实现物理机windows系统与虚拟机limlx系统的文件交换;文中还介绍了虚拟机linux系统下网络参数的设置,linux系统下的邱服务组件的安装,利用邱服务实现物理机与虚拟机之间的文件交换。     

云计算环境下的数据挖掘服务模式

为了求解网络环境下分布式海量数据的分析处理、促进数据挖掘的开发集成和商业应用,提出了云计算环境下的数据挖掘解决方案,通过云环境计算能力和云计算服务模式,阐述了对数据挖掘服务问题的解决机理。云计算环境下的数据挖掘是一种网络环境下的信息资源服务模式。基于此,构建了数据挖掘服务的架构,设计了数据挖掘服务的创建流程,给出了数据挖掘服务模型的体系结构,并从生命周期的角度定义了数据挖掘的服务过程,从而形成了云计算环境下的数据挖掘服务模式。     

云工作流中基于分时虚拟机的任务层调度算法

云计算是新的一种面向市场的商业计算模式,向用户按需提供服务,云计算的商业特性使其关注向用户提供服务的服务质量。任务调度和资源分配是云计算中两个关键的技术,所使用的虚拟化技术使得其资源分配和任务调度有别于以往的并行分布式计算。目前主要的调度算法是借鉴网格环境下的调度策略,研究基于QoS的调度算法,存在执行效率较低的问题。我们对云工作流任务层调度进行深入研究,分析由底层资源虚拟化形成的虚拟机的特性,结合工作流任务的各类QoS约束,提出了基于虚拟机分时特性的任务层ACS调度算法。经过试验,我们提出的算法相比于文献[1]中的算法在对于较多并行任务的执行上存在较大的优势,能够很好的利用虚拟的分时特性,优化任务到虚拟机的调度。