容器热迁移的快速内存同步技术

容器热迁移是云平台负载均衡技术的基础,也是集群故障管理、底层系统维护的重要保障。目前容器热迁移的实现主要基于checkpoint/restore机制,即对正在运行的容器做检查点操作,随后停止容器,传输镜像文件至目的主机后恢复,迁移消耗时间包括检查点时间、传输时间和恢复时间。为了减少容器热迁移的停机时间和减小传输消耗,本文设计并实现一种基于预拷贝（pre-copy）迁移算法的容器热迁移方案,并且采用快速内存同步关键技术,该技术包含3种方法：细粒度脏内存识别、脏内存压缩传输、提前合并增量内存。实验表明,本文所提出的方案及优化技术可以明显减少停机时间和传输开销。     

面向异构容器云的应用迁移方法

为满足基于Docker容器的应用在Kubernetes集群和Docker Swarm集群之间的迁移需求,研究A-Migrator异构容器云应用迁移系统。通过Kubernetes和Docker Swarm的应用编排调度策略,给出两者之间编排信息转换的可行方法,并提出基于镜像预同步的应用迁移技术。实验结果表明,A-Migrator异构容器云应用迁移系统可实现基于Docker容器的应用在2个集群之间的迁移,且引入镜像预同步技术后应用迁移时间平均减少60.33%。     

异构容器云间应用迁移模型研究

为解决基于Docker容器的应用跨异构容器云迁移的问题,针对主流的异构容器编排引擎的编排原理进行了研究,同时也研究了主流容器服务提供商之间的异构性,在此基础上提出了基于Docker容器的应用跨异构容器云迁移的三层模型。为提高基于Docker容器的应用跨异构容器云迁移的效率,提出基于镜像预同步的应用迁移技术。实验结果表明,利用三层模型能成功实现应用跨异构容器云的迁移,并且在引入镜像预同步技术前后,同构云异构容器编排引擎之间的应用迁移时间平均减少了60.33%,异构云Kubernetes集群间的应用迁移时间平均减少了43.67%。     

面向业务特征的自适应虚拟机迁移带宽分配算法

虚拟机动态迁移是支持绿色云计算环境的重要技术,迭代时间和宕机时间是迁移性能的衡量指标,而虚拟机迁移时使用的网络带宽和业务运行产生的内存脏页是影响迁移性能的重要因素,因此合理分配迁移带宽和减少脏页率能够有效缩短迭代时间和宕机时间.该文提出了一种面向业务特征的自适应虚拟机迁移带宽分配算法,通过对迁移过程中脏页率的分析,预测运行业务的网络带宽使用量,自适应分配虚拟机迁移带宽;引入带宽调整系数,有效处理迁移过程中的业务数据抖动现象,从而确保预测的合理性.这一算法能够在保证迁移性能和系统可靠性的同时,减少迭代时间和宕机时间.实验表明在带宽资源有限的前提下,该方法能够合理利用空闲带宽资源,提高迁移性能,确保业务服务质量.     

基于预传输的虚拟机双机热备可用性研究

针对虚拟机双机热备中传统拷贝技术导致的虚拟机低可用性问题,提出一种基于分段挑选最近未使用(SSNUR)算法的预传输方法。在虚拟机运行阶段预先传输被使用的内存页,减少停机阶段需要拷贝的内存页数量,使用SSNUR算法挑选预传输页面,以降低预传输和停机传输的重复率。实验结果表明,与XEN4.0中典型的虚拟机双机热备系统Remus相比,基于预传输的Remus系统在重负载和长间隔时间状态下停机时间明显减少,最高可达23.37%。     

基于内存关联分析的预拷贝迁移优化策略

内存预拷贝迁移在密集型负载下存在内存脏页反复传输的问题,导致迭代轮数较多且大幅降低了内存预拷贝迁移的整体性能。脏页概率预测能够有效减少内存脏页反复传输的现象,然而现有脏页概率预测研究都只关注时间相关性而未考虑内存之间的空间相关性。针对该问题,提出一种基于内存关联分析的预拷贝迁移策略。通过脏页率对脏页下一轮变脏概率进行预测,设计Memory_cor算法计算出脏页的关联规则和关联内存页,避免变脏概率大的内存页及其关联内存页传输。实验结果表明,该策略在总迁移时间和停机时间上优于Xen预拷贝迁移方法。     

移动云计算中一种虚拟机迁移的预拷贝传输策略研究

针对移动云计算中虚拟机迁移过程的性能优化问题,提出了一种基于最优停止理论的预拷贝传输策略。该策略通过最优停止理论对寻找最优传输速率的最优停止模型求解,从而获得最优传输速率,由此来减少虚拟机迁移过程中的迁移数据总量和总时间。在仿真实验中,将所提出的传输策略与相关文献的传输策略进行对比,给出不同传输策略的性能结果分析。实验结果表明,所提出的策略具有较少的迁移数据总量和总时间,能有效地提高迁移过程的性能。     

面向流式数据处理系统的高效故障恢复方法

针对流式数据处理系统Flink无法高效处理单点故障的问题,提出了一种基于增量状态和备份的故障容错系统Flink+。首先,提前建立备份算子和数据通路;然后,对数据流图中的输出数据进行缓存,必要时使用磁盘;其次,在系统快照时进行任务状态同步;最后,在系统故障时使用备份任务和缓存的数据恢复计算。在系统实验测试中,Flink+在无故障运行时没有显著增加额外容错开销;而在单机和分布式环境下处理单点故障时,与Flink系统相比,所提系统在单机8任务并行度下故障恢复时间减少了96.98%,在分布式16任务并行度下故障恢复时间减少了88.75%。实验结果表明,增量状态和备份方法一起使用可以有效减少流式系统单点故障的恢复时间,增强系统的鲁棒性。     

基于虚拟机执行过程重放的热迁移系统研究

为解决传统的基于检查点和内存预拷贝的系统热迁移在一些特定环境下存在停机时间过长的问题,提出了一种基于虚拟机执行过程迭代重放的备份热迁移方案,并对迁移过程中的开销较大的检查点设置操作进行了优化.与传统迁移方法进行量化比较分析结果表明,该方案缩短了检查点设置的停机时间,传输数据量更少,从而缩短了虚拟机迁移过程总的停机时间,为低速网络带宽的迁移环境提供了更好的解决方案.     

基于云预存储技术的Docker在线迁移方法

针对基于Docker容器的分布式云计算下出现负载不均衡问题,有必要将较高负载服务器中的Docker容器进程迁移到其他相对空闲的服务器上.而传统的容器迁移算法忽视了容器本身的特征,从而导致在迁移过程中传输效率低下.基于此,利用第三方管理平台和数据预存储阈值机制,提出一种Docker容器动态迁移预存储算法PF-Docker.首先将Docker容器内部进程运行相关文件和流动数据预存至云端存储器,然后通过预存储阈值机制减少流动数据的无效传输,最后在停机传输阶段将流动数据和冗余数据传输给目的服务器.实验表明,该方法在Docker容器迁移中能有效地降低迁移时间,减少数据传输量,提高容器的容错率.     

Security-Preserving Live Migration of Virtual Machines in the Cloud

Hypervisor-based process protection is a novel approach that provides isolated execution environments for applications running on untrusted commodity operating systems. It is based on off-the-shelf hardware and trusted hypervisors while it meets the requirement of security and trust for many cloud computing models, especially third-party data centers and a multi-tenant public cloud, in which sensitive data are out of the control of the users. However, as the hypervisor extends semantic protection to the process granularity, such a mechanism also breaks the platform independency of virtual machines and thus prohibits live migration of virtual machines, which is another highly desirable feature in the cloud. In this paper, we extend hypervisor-based process protection systems with live migration capabilities by migrating the protection-related metadata maintained in the hypervisor together with virtual machines and protecting sensitive user contents using encryption and hashing. We also propose a security-preserving live migration protocol that addresses several security threats during live migration procedures including timing-related attacks, replay attacks and resumption order attacks. We implement a prototype system base on Xen and Linux. Evaluation results show that performance degradation in terms of both total migration time and downtime are reasonably low compared to the unmodified Xen live migration system.     

基于TPCM的容器云可信环境研究

容器技术是一种轻量级的操作系统虚拟化技术,被广泛应用于云计算环境,是云计算领域的研究热点,其安全性备受关注.提出了一种采用主动免疫可信计算进行容器云可信环境构建方法,其安全性符合网络安全等级保护标准要求.首先,通过TPCM对容器云服务器进行度量,由TPCM到容器的运行环境建立一条可信链.然后,通过在TSB增加容器可信的...     

云计算虚拟化技术的发展与趋势

云计算是一种融合了多项计算机技术的以数据和处理能力为中心的密集型计算模式,其中以虚拟化、分布式数据存储、分布式并发编程模型、大规模数据管理和分布式资源管理技术最为关键。经过十多年的发展,云计算技术已经从发展培育期步入快速成长期,越来越多的企业已经开始使用云计算服务。与此同时,云计算的核心技术也在发生着巨大的变化,新一代的技术正在改进甚至取代前一代技术。容器虚拟化技术以其轻便、灵活和快速部署等特性对传统的基于虚拟机的虚拟化技术带来了颠覆性的挑战,正在改变着基础设施即服务（IaaS）平台和平台即服务（PaaS）平台的架构和实现。对容器虚拟化技术进行深入介绍,并通过分析和比较阐述容器虚拟化技术和虚拟机虚拟化技术各自的优势、适应场景和亟待解决的问题,然后对云计算虚拟化技术的下一步研究方向和发展趋势进行展望。     

一种基于容器的安全云计算平台设计

平台即服务是云计算中极为重要的一种服务模式,近年来,容器技术作为一种操作系统级的虚拟化技术,逐渐融入到云计算领域中,为 PaaS 的构建提供了良好的支持。容器技术在云计算领域具有诸多优势的同时也面临着非常多的安全问题,如权限突破和信息泄露等问题时刻威胁着系统的安全性和稳定性,其重要性和紧迫性不容忽视。本文阐述了容器的概念和特点,介绍了容器面临的安全问题和国内外研究现状。为了解决公共云平台中由容器向系统进行攻击的相关安全问题,提出了一种基于容器的安全云计算平台安全,实现了租户的安全隔离和行为监控分析,并对其架构和关键技术进行了介绍。     

基于主机系统调用频率的容器入侵检测方法

容器技术由于其轻量级虚拟化的特点,已成为云平台中广泛使用的虚拟化技术,但它与宿主机共享内核,安全性和隔离性较差,易遭受泛洪、拒绝服务、逃逸攻击.为了有效检测容器是否遭受攻击,提出了一种基于主机系统调用频率的入侵检测方法,该方法利用不同攻击行为之间系统调用频率不同的特点,收集容器运行时产生的系统调用,结合滑动窗口和TF-...     

基于容器技术的云计算资源自适应管理方法

云计算的发展使得越来越多的软件应用选择云平台作为部署平台。为了应对动态变化的工作负载、应用场景和服务质量目标,应用提供商希望能以一种可伸缩的方式对云计算资源进行动态调整。基于虚拟机的资源管理较为重载,难以实现细粒度的资源动态调整与混合云中跨平台的服务快速迁移。容器技术在一定程度上弥补了虚拟机的不足,然而传统的资源管理方法在诸多方面并不十分适用于容器技术。针对这一问题,提出了基于容器技术的云计算资源自适应管理方法,设计了更适用于容器的资源架构方案与资源之间的调度方式。与传统的线性建模方法不同,所提方法使用非线性函数对云计算资源进行更加精确的建模,同时用遗传算法进行参数调优,使得自适应调整响应更快、总体性能更好。所提方法还针对不同容器多维度的异构性,合理分配容器部署位置,提高物理资源利用率。此外,所提方法结合了容器技术多方面的底层特性,在分配负载等方面进行适应性调整。最后通过实验分析初步确认了所提方法的有效性。     

Chunk mode VM migration in XIA and triple-way pipeline for performance optimization

Traditional TCP/IP network is showing lots of shortages and research for future networks is becoming a hotspot. FIA (Future Internet Architecture) and FIA-NP (Next Phase) are supported by US NSF for future Internet designing. Moreover, virtual machine migration is a significant technique in cloud computing. As a network application, it should also be supported in XIA (eXpressive Internet Architecture), which is in both FIA and FIA-NP projects. Current research just achieved to conduct VM migration in XIA, but the performance is not satisfactory. In this paper, we firstly present three methods including DAG design and routing table modification to maintain VM’s connectivity and communication states, concerning performance and overhead. VM migration experiments are conducted intra-AD, inter-AD and across IP network with KVM instances. The procedure is achieved by a migration control protocol which is suitable for the characters of XIA. Secondly, we propose a triple-way pipeline to improve the performance of chunk mode data transfer and greatly reduce total migration time and downtime. Evaluation results show that our solutions can well supports full live VM migration over XIA network respectively, keeping services seamless and performance improved. Furthermore, the optimization scheme can greatly improve the speed of VM migration, especially on XIA testbed.     

并行图形绘制技术综述

为研究并行图形绘制技术,介绍图形绘制的流水线过程,对其内在的可并行性进行分析,研究并行绘制的实现方式,包括流水线并行、数据并行和作业并行,以及前分布拼接合成、中分布拼接合成和后分布拼接合成,讨论并行绘制面临的主要问题及其发展趋势。     

基于Docker技术的GUI应用的在线迁移研究

GUI应用在桌面环境中占据主流,在线迁移GUI应用能够提升用户体验.然而,当今广泛使用的X窗口系统所定义的协议十分复杂,不利于GUI进程的在线迁移.另外,如果两台机器的运行时环境不一致,将会导致迁移失败.因此至今未有实现GUI应用的在线迁移.近年来,Wayland作为新的图形接口协议面世,其中规定软件图形渲染由GUI客户端负责,这为迁移工作带来极大的便利.而当今热门的Docker容器技术则能把Wayland GUI应用及其运行时库打包,确保运行时环境的一致性.当迁移发生时,整个容器都会被迁移至目标机器继续运行.本文开发了相应的处理Wayland协议模块,并在CRIU工具的基础上实现了重建Wayland状态.通过实验证明,本文方案是可行的,容易推广到其他的GUI应用.