面向Spring的热点代码在线部署方法研究

随着Spring生态不断发展,越来越先进的部署方式降低了部署的复杂度,提高了不同环境下的部署效率,但是在预生产环境下,对频繁改动的热点代码,其部署效率不是很理想,一些简单的代码修改就会引发对所有依赖服务的重新编译部署,给项目部署、运维以及测试带来很多预期之外的影响。在线部署机制针对这个问题进行了改进,该机制使用自定义注解作为与外部应用通信的桥梁,使在线部署模块独立于外部应用。在线部署模块使用React创建可视化页面,在可视化页面中管理相应的热点代码。热点代码在编辑完成后注入到在线部署模块,进而完成其热点功能在预生产环境的在线部署。实验表明,相对于重新编译部署,该部署机制对原有代码侵入影响较小,减少了反复部署应用以及不同部门协调合作造成的时间浪费,在保持系统稳定运行的同时,提升了系统的部署效率,并成功应用于新型智慧城市评估系统的热点代码模块。研究结果将为迭代开发以及高效部署提供设计思路与技术支撑。     

面向动态负载的集群容器部署方法

针对集群负载动态变化引发容器频繁迁移的问题,提出了一种基于资源预留的容器部署方法.首先,设计了基于马尔可夫链模型的单容器资源需求动态变化描述机制,用于刻画单容器的资源需求情况;其次,基于单容器马尔可夫链模型分析了多容器资源动态变化情况,以刻画容器资源需求态势;随后,基于多容器马尔可夫链提出了面向动态负载的容器部署与资源...     

TDDS:基于虚拟集群系统的任务部署与调度

利用虚拟机的灵活性和快速部署能力,设计并实现了任务部署与调度系统(task deployment and dispatch system,TDDS).TDDS能够根据用户的需求,为用户的计算任务提供可以进行资源配置的集群计算环境,满足了用户对不同操作系统、不同应用程序和不同计算资源的需求.TDDS还使用了负载均衡策略,以提高物理集群资源的利用率.提出了两种虚拟机部署策略,用以加快虚拟集群部署的速度.TDDS尽量控制虚拟机系统镜像的大小和访问频率,以提高部署的效率.实验表明,TDDS系统能够快速灵活地部署用户所需要的计算环境和计算资源,负载均衡的调度策略也切实提高了物理集群处理任务的能力,提高了集群的使用率.     

高性能服务器集群部署系统传输模型研究

对基于映像的集群部署系统传输模型进行了研究,提出了基于多叉树的TFTP传输模型以解决TFTP服务器性能瓶颈问题.依据集群规模增大、系统平均带宽下降的特点,提出了基于带宽受损的动态流水线模型,模型给出了节点到达率和部署系统性能的关系.通过数学解析法、数值模拟法和实际测试对模型进行了验证.为使所提模型具有较好的可扩展性,以交换机为单位对系统进行分域,各域并行工作.作者对文中所提模型与其它3种映像传输模型———组播、可靠组播和BT进行了测试比较,结果表明,组播和可靠组播的性能较优,但可靠性难以保障,不适合传输映像文件,基于带宽受损的动态流水线模型有较高的可靠性且性能优于BT,其部署596MB的映像到48个服务器的时间仅为17.2s.     

Docker容器技术的应用部署平台设计与研究

为了解决目前企业应用管理平台存在的云储存服务器资源消耗不断增长的问题,从而为企业用户提供高可靠性服务,本文首先对基于云计算的Docker容器技术进行了研究,在分析企业应用部署需求的基础上,利用成熟的Web应用开发框架,基于Docker容器引擎设计并实现了一套应用部署平台,同时还实现了应用的编排和自动部署.从CPU和内存...     

大数据项目的部署分析

如果你正在尝试构建大数据应用或分析系统,你可能会清楚的意识到该领域缺少哪些功能。笔者将人们对大数据的愿景归纳为五大需求,分别是SQL（或SQL-like）分析、快速部署、高级分析、实时分析和网络分析选件。     

基于Docker技术的Hadoop集群实验环境设计与实现

针对大数据教学实训环境存在成本高、维护难的问题,提出基于Docker技术在个人计算机上搭建Hadoop集群实验环境的方案。该方案在不改动计算机原有软件环境的情况下,在Windows操作系统中创建一台虚拟机,并在该台虚拟机内创建3个Docker容器搭建完全分布式的Hadoop集群实验环境。该方案简单、易实现,能够为教师和学生的大数据实践提供基础平台环境。     

Docker技术在系统部署中的应用

随着信息化的发展和自动化办工的要求,工作中往往需要应用多个信息管理系统。为了方便使用,系统会部署到服务器,通过互联网进行访问。由于这类管理系统访问量比较低,因此可以把多个系统部署到一台服务器,达到提高服务器使用效率的目的。但是,由于各个管理系统依赖的环境不一致,可能发生冲突,导致多个系统难以部署在一台服务器。基于此,利用Docker技术设计了一套部署方案,使多个系统互不影响部署在一台服务器。     

面向Kubernetes的多集群资源监控方案

应用系统的复杂化与微服务化促进了容器的广泛使用, 企业往往会根据业务需要使用Kubernetes搭建多个集群进行容器的编排管理与资源分配. 为实时监控多个集群的工作状态与资源使用情况, 提出了面向Kubernetes的多集群资源监控方案, 对Kubernetes提供的CPU、内存、网络以及存储指标进行采集, 根据采集数据的类型对部分数据进行计算以获取更直观的监控指标, 实现了多层级多类型的存储, 并提供监控数据的REST接口. 通过实验, 验证了本设计对集群资源的消耗低, 具有较好的性能.     

面向大数据复杂应用的GPU协同计算模型

大数据计算中存在流计算、内存计算、批计算和图计算等不同模式,各种计算模式有不同的访存、通信和资源利用等特征。GPU异构集群在大数据分析处理中得到广泛应用,然而缺少研究GPU异构集群在大数据分析中的计算模型。多核CPU与GPU协同计算时不仅增加了计算资源的密度,而且提高节点间和节点内的通信复杂度。为了从理论上研究GPU与多核CPU协同计算问题,面向多种计算模式建立一个多阶段的协同计算模型（p-DCOT）。p-DCOT以BSP大同步并行模型为核心,将协同计算过程分成数据层、计算层和通信层三个层次,并且延用DOT模型的矩阵来形式化描述计算和通信行为。通过扩展p-DOT模型描述节点内和节点间的协同计算行为,细化了负载均衡的参数并证明时间成本函数,最后用典型计算作业验证模型及参数分析的有效性。该协同计算模型可成为揭示大数据分析处理中协同计算行为的工具。     

云计算环境下虚拟机部署策略的优化

针对虚拟机群在云计算平台动态部署过程中现有的部署机制所存在的局限性,提出一种优化的部署模型。首先建立预分块存储的分布式预定制虚拟机全镜像模板库;然后由调度中心依据调度策略选择适当的宿主机,并通过多源并行传输的方式提高部署效率;最后由对应的虚拟机监视器完成实例化任务。实验结果显示,在不同的虚拟机群部署规模下,单台虚拟机的平均部署时间较以往缩短3%～45%。实验结果验证了该模型的有效性。     

ActiveSpaces: Exploring dynamic code deployment for extreme scale data processing

Managing the large volumes of data produced by emerging scientific and engineering simulations running on leadership‐class resources has become a critical challenge. The data have to be extracted off the computing nodes and transported to consumer nodes so that it can be processed, analyzed, visualized, archived, and so on. Several recent research efforts have addressed data‐related challenges at different levels. One attractive approach is to offload expensive input/output operations to a smaller set of dedicated computing nodes known as a staging area. However, even using this approach, the data still have to be moved from the staging area to consumer nodes for processing, which continues to be a bottleneck. In this paper, we investigate an alternate approach, namely moving the data‐processing code to the staging area instead of moving the data to the data‐processing code. Specifically, we describe the ActiveSpaces framework, which provides (1) programming support for defining the data‐processing routines to be downloaded to the staging area and (2) runtime mechanisms for transporting codes associated with these routines to the staging area, executing the routines on the nodes that are part of the staging area, and returning the results. We also present an experimental performance evaluation of ActiveSpaces using applications running on the Cray XT5 at Oak Ridge National Laboratory. Finally, we use a coupled fusion application workflow to explore the trade‐offs between transporting data and transporting the code required for data processing during coupling, and we characterize sweet spots for each option. Copyright © 2014 John Wiley & Sons, Ltd.     

服务网格虚拟服务动态部署和自适应策略

以"服务"的形式包装网格资源已成为一种趋势,并得到网格界的一致认可.为了更加充分灵活的利用网格资源,提出了一个网格虚拟服务动态部署架构以及基于此架构的服务平衡调度算法,通过服务按需部署和实时监控,动态调整资源在不同任务间的分配,并在需要时进行任务迁移,保证应用的服务质量.实验结果表明此系统较其它系统在资源利用率、QoS命中率上都有一定的提高.     

面向大规模数据流处理的偏最小二乘法

用光谱分析鉴别生物特征,导致数据量大,而实际需要必须实时处理。偏最小二乘法是使用最广泛的鉴别算法,但是对于大规模数据流该算法无法达到实时性。为了解决这个应用矛盾,提出了一种基于NVIDIA CUDA架构下的并行计算策略,利用具有大规模并行计算特征的图形处理器（GPU）作为计算设备,结合GPU存储器的优势实现了偏最小二乘算法。实验的测试结果表明,在GPU上使用CUDA实现的偏最小二乘算法比在CPU上实现该算法快了47倍,性能得到了显著提高,从而使偏最小二乘算法应用于大规模数据流处理成为可能。     

A space layout design model for concept generation using Function-based spatial planning and structure dynamic deployment

Concept design plays a critical role in product design, aiming to create conceptual schemes that satisfy various constraints. Among them, configuring the functions and structures that meet the user requirements and determining their spatial relationship is a necessary part of generating schemes. While existing methodologies of function and structure solution have been advanced recently, how to avoid overlap and interference in the space of functions and structures when generating schemes so as to maximize the use of the workspace and achieve the functionality of the product remains challenging. To address this issue, a space layout design model for concept generation using function-based spatial planning and structure dynamic deployment is proposed in this study. In the functional analysis phase, a function-based spatial zoning model is created for the functions, and establishing mappings for the spatial relationships and the zones in the space to generate the layout solution by extending and integrating zoned space. After generating conceptual structure, coordinate transformation based position deployment and trajectory analysis based motion space deployment methods are used to deploy spatial layout of the structures. A case study of a machine for electrical insulator detection that includes the integration and interaction of multiple components in space is introduced to demonstrate the feasibility of the proposed model and method.     

复杂大系统结构与控制的研究综述

对一类复杂大系统结构与控制方面研究的主要内容及成果进行了综述.给出了大系统结构的一些类型,较全面地总结了与大系统结构有关的许多控制问题,特别介绍了最新提出的有机结构控制的概念及基本方法,并对这方面有待研究的问题进行了一定的探讨.     

适应大规模数据处理的动态服务私有云系统

为适应私有云环境下数据量大、计算密集、流程复杂的计算任务需求,借鉴公有云计算的相关理论与技术,结合私有云环境的特点,提出了一种适应大规模数据处理的动态服务私有云系统实现方案。该方案使用作业文件描述计算任务,以作业逻辑结构动态构建处理工作流程;通过数据流驱动服务请求,引入MapReduce并行框架进行大规模数据处理。实验结果表明：该方案能够正确有效地处理数据量大、计算密集、流程复杂的计算任务,显著提升处理效率,具有很高的实用性。     

面向动态虚拟网络请求的虚拟网络映射算法

针对虚拟网络请求资源动态变化的实际情况,提出了面向动态虚拟网络请求的虚拟网络映射（DVNR-VNE）算法。以混合线性规划理论为基础,采用多队列的方式分别对不同类型的虚拟网络请求进行预处理,建立了以最小化映射代价和最小迁移代价为优化目标的映射模型,优先映射需要释放资源的请求以获得更多的资源支持其他的虚拟网络,对新到来的虚拟网络请求采用优化后的虚拟网络映射（WD-VNE）算法进行映射。仿真实验表明,该算法降低了链路映射成本和迁移成本并获得了较高的虚拟网络请求接受率。