基于固态硬盘的云存储分布式缓存策略

为满足海量数据存储的需求,提出一种基于低功耗、高性能固态硬盘的云存储系统分布式缓存策略.该策略对不同存储介质的硬盘虚拟化,将热点访问数据的缓存与存储相结合,实现在不同存储介质之间的热点数据迁移,解决热点元数据的访问一致性与存储服务器的动态负载均衡问题.工作负载压力测试结果表明,该策略可使云存储系统的读峰值速率最高提升约86％,并且能提高存储服务器的吞吐量.     

基于存储熵的存储负载均衡算法

在分布式存储系统中,一般都是以磁盘空间利用率（DU）来判断各存储节点的负载均衡程度,当所有节点的磁盘空间利用率相等时,是整个分布式存储系统的存储负载均衡点。但是在实际的应用场景中,磁盘I/O速率比较低的存储节点和可靠性比较低的存储节点往往成为影响整个存储系统数据读写性能的瓶颈,因此在异构分布式存储系统中,特别是各存储节点磁盘I/O速率和可靠性差异较大的分布式存储系统中,如果仅仅以磁盘空间利用率作为存储负载均衡的判定条件,则其数据的读写效率必然受到限制。从读写效率的角度提出一种度量分布式存储系统中存储负载均衡的新思路。根据负载均衡理论和熵理论给出存储熵（SE）的定义,并提出一种基于存储熵的负载均衡算法,该算法通过系统负载判定、单节点负载判定和负载迁移实现了对分布式存储系统存储负载的量化调整,并通过实验与基于磁盘空间利用率的负载均衡算法进行了对比分析,验证了该算法对分布式存储系统中存储负载具有良好的均衡性,有效地控制了系统负载失衡的问题,提高了分布式存储系统的整体读写效率。     

虚拟化环境中多目标负载均衡的研究

在基于Xen的虚拟化环境中,物理机超载会严重影响运行的虚拟机性能甚至引起宕机。综合考虑物理机CPU和内存资源负载情况,以迁移开销最小为目标,提出一种多目标负载均衡方法。该方法基于时间序列模型预测超载物理机,利用最小化迁移开销算法选择待迁虚拟机,并采用降序最佳适应算法选择目标物理机,利用实时迁移命令触发迁移。实验结果表明,在物理机严重超载的情况下,该方法能在很短的时间内改善集群性能。     

基于AHP的云存储负载均衡研究

针对云存储系统节点在数据分布策略和系统响应时间方面的综合负载计算问题,提出了一种云存储系统的负载均衡算法,并对该算法进行了验证。算法基于层次分析法（Analytic Hierarchy Process,AHP）,通过建立综合评估指标体系,从可用存储空间、可用CPU、可用内存和访问热度四个方面,计算各个存储节点的综合负载,并据此对数据存取进行均衡调度。验证结果表明,通过调整不同指标的权重,算法能够很好地满足不同的应用需求,同时,该算法能够很好地反应各节点的综合负载,实现云存储系统整机性能的优化,尤其适用于一些高并发的大数据存储。     

Swift云存储环境下基于I/O负载均衡的读取策略

Swift是开源云计算平台OpenStack中云存储服务组件,为平台提供廉价、可靠、安全的云存储服务.针对Swift没有充分利用存储系统的备份数据来实现并行读取操作及负载均衡的这一问题,提出了基于I/O负载均衡的并发读策略.实验结果表明,该策略不仅能够充分利用备份数据来达到存储设备读操作的负载均衡,而且能够实现数据的并行读取,提高平台整体读性能.     

基于迁移的存储系统热点问题处理*

针对存储系统中由于访问集中等原因引起系统性能下降的热点问题,提出了一种基于数据迁移的解决算法。通过对存储系统访问频率的统计以及迁移算法确定数据迁移的源地址和目标地址,通过迁移来消除热点。并通过模拟的环境和实验,结果表明算法有效地消除了系统出现的热点,并在一定程度均衡了负载,提高了系统性能。     

面向多目标的云计算资源调度算法

在传统的虚拟机资源调度中,仅仅考虑当前负载,对虚拟机历史数据没有充分考虑,在处理云计算资源调度的时候出现负载失衡的状况,为了解决上述问题,本文提出了基于启发式遗传算法的资源调度算法,满足多目标规划的情况下实现云计算资源的调度.算法在为用户提供服务的同时充分考虑虚拟机的各种开销和因素,使提供云计算资源的服务器达到负载均衡.对目前的负载情况和历史数据进行分析,经过搜索和计算,计算得到同时满足负载变化数据约束和最小动态迁移开销的最好的云计算资源调度方案.最后,通过仿真实验,对算法进行验证,通过引入负载变化率和平均负载距离二个性能参数来比较和衡量虚拟机负载.实验数据证明,所提出的算法具有很好的全局收敛性和资源利用率,有效解决在资源调度中出现负载失衡和较大动态迁移开销的问题,因此,算法是可行和有效的.     

一种改进的交易中间件负载均衡模型

基于负载均衡模型和算法的研究,结合交易中间件中的应用,提出一种改进的混合式负载均衡模型并给出相应的算法,采用静态均衡和动态均衡折中的思想,既能准确收集负载信息,做到初始任务分发均衡,又能降低动态迁移的开销,从而提高系统的整体性能。     

云存储多卷负载均衡的LSM键值存储系统

单个云存储卷的IOPS和带宽性能受到限制，通过组合使用多个云存储卷的方式能以较低的费用获得更高的性能.但是，现有工作缺乏针对多云存储卷优化的LSM键值存储系统的探究.首先将现有多路径或哈希负载均衡的方案应用于使用多云存储卷的LSM键值存储系统，相对单个大容量卷的性能有显著提升；但是，现有多卷负载均衡方案的写数据策略，无法感知LSM键值存储系统的数据布局特点，导致各成员卷之间仍然存在负载不均衡的问题，不能充分发挥出多卷的最大性能.为此，提出一种云存储多卷负载均衡的LSM键值存储系统TANGO.在LSM键值存储系统由compaction新生成的sstable落盘之前，先根据统计的各个成员卷的关键信息，判断sstable与各成员卷的键范围重叠情况，然后选择键范围重叠最小的成员卷进行写入；针对读为主的负载，无法通过compaction达到负载均衡，TANGO采用后台数据迁移方式进一步达到负载均衡.在亚马逊云存储卷上的评估表明，相比相同存储容量的单卷，采用了TANGO方案的同等容量的多卷可提高7倍左右的性能；相比其它多卷方案，TANGO能提升20%以上的性能，且各成员卷间负载更加均衡.     

遗传算法在蜜网动态负载均衡中的应用

针对蜜网动态负载均衡过程中产生的额外通信开销问题,首先分析了蜜网动态负载均衡的特点,建立了基于最小通信开销的动态负载均衡数学模型;然后设计和实现了一种利用遗传算法解决该问题的新方法。实验测试表明,与贪心算法相比,遗传算法可获得更小通信开销的负载分配方案,能进一步减少蜜网动态负载均衡中负载迁移次数,降低额外通信开销。     

A data decomposition method for stepwise migration of complex legacy data

Sooner or later, in almost every company, the maintenance and further development of large enterprise information technology (IT) applications reaches its limit. From the point of view of cost as well as technical capability, legacy applications must eventually be replaced by new enterprise IT applications. Data migration is an inevitable part of making this switch. While different data migration strategies can be applied, incremental data migration is one of the most popular strategies, due to its low level of risk: the entire data volume is split into several data tranches, which are then migrated in individual migration steps. The key to a successful migration is the strategy for decomposing the data into suitable tranches. This paper presents a method for data decomposition where the entire data volume of a monolithic enterprise IT application is split into independent data migration tranches. Each tranche comprises the data to be migrated in one migration step, which is usually executed during the application's downtime window. Unlike other methods, which describe data migration in a highly abstract way, we propose specific heuristics for data decomposition into independent data packages (tranches). The data migration approach described here is being applied in one of the largest migration projects currently underway in the European health care sector, comprising millions of customer records.     

存储系统数据迁移技术与实现

通过对存储系统数据迁移常用技术的分析,结合云铜数据迁移实际案例,综合阐述了存储系统数据迁移的技术实现、迁移策略、风险分析与规避、数据完整性与一致性验证方法,对类似系统架构的存储数据迁移具有良好的借鉴意义。     

An adaptive plan-oriented and continuous software migration to cloud in dynamic enterprises

Replacing existing software/hardware components with their equivalent cloud services is an important decision faced by IT managers in today's enterprises. A variety of possible migration targets and cloud services with too many configurations and cost models, disparate and changing strategic objectives of the enterprise management that triggers the migration process, and the complex structure of the legacy applications make software migration to the cloud a challenging issue. In contrast to the existing approaches that model the migration process as an optimization problem to find the optimal deployment of software components on cloud services without presenting a practical migration plan, in this paper, a plan-oriented migration approach is proposed by which the enterprise management is able to follow migration steps of a valid plan. All valid plans are modeled using a labeled transition system, and a recommender engine directs the management through the possible migration paths using predefined fitness functions. It was observed that, particularly in dynamic and changing conditions that a flexible migration plan is essential, the proposed plan-oriented method is very much effective in satisfying the enterprise strategic objectives. Evaluations have been performed using two quality indicators: total cost of ownership and scalability index.     

面向多租户的关键虚拟机动态迁移方法研究

提出一种面向多租户的关键虚拟机动态迁移方法。首先,根据租户对虚拟机的安全需求设定关键虚拟机的比例,减少虚拟机动态迁移的数量;然后,通过虚拟机之间共存时间约束条件最大化降低虚拟机动态迁移的频率;最后,以最小化迁移开销作为虚拟机迁移的目标函数,进一步降低虚拟机迁移带来的开销。实验表明,与现有的防御方法相比,该方法在有效防御侧信道攻击的前提下,能够减少对网络服务性能的影响,降低虚拟机迁移的成本,更加适用于大规模的网络场景。     

基于模糊满意度的软件定义网络交换机迁移策略

针对软件定义网络中多控制器间负载均衡的迁移代价和迁移效率问题,提出一种基于模糊满意度的交换机迁移策略。首先,构建均衡判断矩阵,监测控制器负载状态,且提出交换机组选择度,划分交换机组以选取迁移交换机;其次,考虑迁移代价和负载均衡率,构建模糊满意度迁移竞争模型,且提出改进蚁群算法优化求解,选择最佳迁入控制器;最后,将迁移交换机迁往迁入控制器,实现交换机的快速迁移。实验结果表明,与现有交换机迁移策略相比,所提方法在保证较高负载均衡率的同时,进一步优化了网络性能,迁移代价平均减少约26.8%,控制器平均响应时间缩短约0.41 s,改善了交换机迁移过程。     

Inferring patterns of internal migration from mobile phone call records: evidence from Rwanda

Understanding the causes and effects of internal migration is critical to the effective design and implementation of policies that promote human development. However, a major impediment to deepening this understanding is the lack of reliable data on the movement of individuals within a country. Government censuses and household surveys, from which most migration statistics are derived, are difficult to coordinate and costly to implement, and typically do not capture the patterns of temporary and circular migration that are prevalent in developing economies. In this paper, we describe how new information and communications technologies (ICTs), and mobile phones in particular, can provide a new source of data on internal migration. As these technologies quickly proliferate throughout the developing world, billions of individuals are now carrying devices from which it is possible to reconstruct detailed trajectories through time and space. Using Rwanda as a case study, we demonstrate how such data can be used in practice. We develop and formalize the concept of inferred mobility, and compute this and other metrics on a large data set containing the phone records of 1.5 million Rwandans over four years. Our empirical results corroborate the findings of a recent government survey that notes relatively low levels of permanent migration in Rwanda. However, our analysis reveals more subtle patterns that were not detected in the government survey. Namely, we observe high levels of temporary and circular migration, and note significant heterogeneity in mobility within the Rwandan population. Our goals in this research are thus twofold. First, we intend to provide a new quantitative perspective on certain patterns of internal migration in Rwanda that are unobservable using standard survey techniques. Second, we seek to contribute to the broader literature by illustrating how new forms of ICT can be used to better understand the behavior of individuals in developing countries.     

基于高可用性的动态漂移技术研究

本文分析了用以提高服务可用性的动态漂移技术的各种实现方法，包括DNS轮转、HTTP报文重定向、IP报文重定向、IP欺骗以及新近提出的连接迁移技术，并着重对连接迁移技术的运行机理进行了深入阐述。文章最后从性能方面对以上方法作了比较。     

虚拟机快速全系统在线迁移

虚拟机全系统在线迁移对于广域网或者没有共享存储的局域网中的虚拟化平台非常重要.然而,全系统映像一般在几十吉字节(gigabyte,GB)量级,迁移这些数据需占用大量I/O带宽且时间开销很大.快速全系统在线迁移方法具有如下特点:文件系统感知的磁盘同步,利用文件系统的磁盘块分配位图,只拷贝实际使用的磁盘块,显著减少了第1阶段同步的磁盘映像数据量;异或压缩,利用映像数据的自相似性,快速有效地减少了迁移最后两个阶段拷贝的数据量;流水迁移,流水化迁移各个阶段,使得读写映像、压缩解压映像、网络收发各阶段充分并行.实验表明,与传统压缩迁移相比,快速迁移可以减少50%的迁移时间,最好情况和平均情况下,能分别降低21.68%和14.48%的停机时间.在网络带宽受限或虚拟机负载过重等极限条件下,快速迁移同样有效.     

支持EJB动态分布的组件迁移模型与算法

Web应用服务器是Web计算环境下的新型中间件,为基于组件的分布式Web应用提供了基础运行平台.组件静态分布限制了事务性Web应用在运行期间适应执行环境变化的能力.为了满足Web应用的动态分布需求,Web应用服务器需在底层为组件提供一种动态迁移的能力.如何维持组件迁移前后的一致性是组件迁移中最棘手的问题之一.为解决此问题,定义了组件迁移一致性约束CMC(component migration constrains),并给出了在J2EE(Java 2 platform enterpnse edition)应用服务器中支持EJB(enterprise Java Bean)动态分布的组件迁移模型和SLB Copy,SFB_Copy,EB_Copy 3个迁移算法.分析得出SLB_Copy,SFB_Copy和EB_Copy均满足CMC约束.迁移模型和算法已在自主研制的Web应用服务器WebFrame2.0中实现,并已应用到自适应负载平衡、失效恢复等多个方面.     

MOSIX进程迁移机制研究

MOSIX是一个优秀的集群系统软件，它对Linux内核进行了扩充，采用自适应资源管理方法，通过抢占式进程迁移实现动态负载平衡。该文简要介绍了进程迁移及MOSIX系统，主要分析了MOSIX进程迁移的实现机制。