视频监控联网系统中云媒体服务器的架构研究与设计

在视频监控联网系统中,传统独立部署的媒体服务器存在因并发导致的I／O负载严重、网络带宽不足以及负载分配不均等诸多问题。云媒体服务器将整体的调度、统一的管理和性能的优化融为一体,可实现资源利用的最优化和性能提升的最大化。本文研究并设计云媒体服务器的整体架构,基于此架构对服务器集群中媒体服务器的负载评判方法进行了设计。实验结果表明,相对于传统媒体服务架构的视频监控系统,云媒体服务器可较好地实现对业务的负载均衡、容错切换等功能,可以应对媒体服务器中对视频源的突发高并发访问。     

ARM架构云服务器的CPU功耗模型研究

云服务器的功耗模型是云数据中心能耗优化研究的重要内容之一。CPU功耗模型是云服务器功耗模型的重要组成部分,然而现有CPU功耗模型没有考虑CPU的异构性,如缺乏对ARM架构服务器CPU功耗模型的研究。在调研分析现有的ARM架构CPU功耗模型的基础上,提出了一种面向ARM架构的新CPU功耗模型——基于混合建模的CPU功耗模型(Hybrid Based Model, HBM)。该功耗模型综合考虑了CPU利用率和CPU性能事件等建模特征,相比现有的测算精度很高的基于性能计数器的CPU功耗模型,HBM的测算精度与其相近且模型训练成本更低,更适合ARM服务器的CPU功耗建模。文中使用Sysbench负载工具对所提HBM进行实验验证,实验结果表明,HBM的平均相对误差(MRE)在1%以内,具有良好的测算精度。此外,还针对x86和ARM架构服务器进行了交叉实验,实验结果表明不同架构服务器的CPU功耗行为相异,应当使用不同的CPU功耗建模方法。     

应用n-LSTM的云平台任务CPU负载预测方法

云平台任务的CPU负载预测有助于云平台资源的优化配置,以改善资源利用率.它是有效管理云资源的重要手段.为提高任务CPU负载预测精度,本文主要做了以下工作：1)利用热度图提取用于进行CPU负载预测的资源使用特征;2)设计并实现了一种基于n-LSTM的云平台任务的CPU负载预测方法DPFE-n-LSTM;3)分别在阿里云平台数据集和Google云平台数据集上进行了实验,结果表明,相对于目前已经提出的CPU负载预测模型BP、LSTM和CNN-LSTM,DPFE-n-LSTM方法具有更好的预测性能.     

基于云平台的高并发WebGIS服务

随着Internet技术的发展,传统的WebGIS服务器在面对大用户群高并发访问时会出现服务延迟甚至拒绝服务的现象.针对该问题,本文提出了一种基于云平台的应对高并发的WebGIS服务器架构.架构使用云平台为WebGIS服务器提供弹性计算和存储资源,并从负载均衡、缓存设计、数据库集群三方面缓解高并发瓶颈.选择开源服务器端软件GeoServer作为WebGIS应用实验部署.实验数据表明使用缓存机制明显降低了WebGIS服务响应时间.与单物理服务器相比,云平台WebGIS服务器集群架构能够有效处理高并发请求,且随着集群规模扩展,云平台WebGIS系统能够获得良好的加速比.     

SHMA:一种云平台的监控框架

由于云平台架构的复杂性和工作负载的不可预测性,云监控对保证云平台的高可用性有重要意义,云平台上资源的动态性、多样性以及资源规模巨大给云平台监控带来了一定的困难。研究并提出一种面向云平台的可扩展多层次监控框架SHMA,SHMA采用微服务架构构建监控系统中可扩展的各个相互独立的服务组件,实现对云平台不同层次的应用服务、中间件和基础设施资源的监控。通过对部署并运行在CloudStack基础设施云平台上的某综合减灾空间信息服务应用系统进行案例分析,验证了该监控框架的有效性。     

云平台应用系统迁移方法的研究

针对多组件应用系统迁移到云平台的目标物理服务器的选择问题,提出了一种基于组件间通信量的迁移方法。迁移方法根据形式化后的应用系统逻辑架构图和云平台物理资源组织结构图,通过计算组件间的通信量和虚拟资源需求值,为应用系统各组件在云平台选择目标物理服务器。通过在品高云计算平台上的多租户精品课程网站群系统的迁移实验,证明了所提迁移方法较好地减少了应用系统在使用时,云平台内部物理服务器间的通信量。     

基于Kalman滤波的云数据中心能耗和性能优化

云数据中心虚拟机的动态整合需要跟踪服务器的运行状态,而服务器的运行状态会受到数据中心负载变化的影响,现有的CPU使用率预测方法大都只关注当前服务器的CPU利用率变化。提出了一个基于Kalman滤波的CPU使用率预测模型,建立了基于所有服务器CPU使用率变化系数的数据中心负载变化模型,详细描述了基于Kalman滤波的CPU使用率预测方法,讨论了云数据中心的能耗和性能评价指标。最后,为了验证基于Kalman滤波的CPU使用率预测算法的有效性,在CloudSim仿真系统和PlanetLab的五个数据集上进行了实验。实验结果表明,Kalman滤波能够较好地反映服务器CPU使用率的变化趋势,有效地降低数据中心的能耗,并保持较好的计算性能。     

全局负载均衡下云环境中的大数据动态迁移方法

在云环境中,数据负载均衡化速度较慢且易出现数据倾斜,这严重干扰了系统状态。为了减小数据迁移的代价,提出一种在全局负载均衡下云环境中的大数据动态迁移方法。首先构造负载均衡模型,在均衡负载下计算数据迁移成本,并给出最小数据迁移成本模型。计算数据迁移成本并评估虚拟机数据负载资源利用率,从而使数据重载的服务器转移到数据轻载的服务器上,达到云环境中的数据均衡化。仿真实验结果证明,所提方法提高了数据负载的均衡化速度和均衡效率,降低了数据迁移成本,且提高了资源利用率。     

基于自主容器云平台的大数据日志采集系统

随着云计算、虚拟化、容器云等技术的应用以及国产自主可控的要求，越来越多的服务会部署在国产的服务器以及自主可控的容器云平台上。自主可控云平台上的服务在运行的过程中，需要获取日志数据，来进行一系列的监控、统计、分析以及预测工作。然而由于国产服务器的特殊性以及容器云平台的特殊性，传统的日志采集方式（包含实时采集和集中式采集）并不能够很好地适用于自主可控的容器云平台，为了提高服务的质量和性能并且保证日志数据的一定全面性，本文提出一种自适应的数据采集算法，能够根据服务器的负载自我调整日志数据采集发送量。当服务器负载较低的时候，提高数据采集和发送的数量，甚至是做到实时采集；当服务器负载较高时，降低对日志数据的采集和发送量，从而降低对服务器负载的压力，提高服务自身的质量和性能。最后通过理论和实验分析验证该数据采集算法在保证数据一定的全面性的同时，能有效缓解国产服务器的压力。     

基于信息熵的容器云平台监控模型设计

为了提高容器云平台监控和数据调度分配能力，提出基于信息熵的容器云平台监控模型。采用资源冗余度分析和CPU物理核心资源检测方法，提取容器云平台监控的信息熵，采用负载均衡控制的方法，分析容器云平台的负载变化和资源调度延迟，将容器云平台的运行数据分为决策类数据、计算资源池数据以及监控服务数据类，采用类型化的特征匹配和数据聚类方法，建立器云平台监控模型的信息熵和关联信息特征匹配模型，通过多个复杂均衡的任务调度序列进行随机链路动态分配，采用容器云的任务排队模型，实现容器云平台监控模型的优化设计。仿真测试结果表明，采用该方法进行容器云平台监控的云数据调度能力较好，资源利用率达到100%,收敛值达到12 000以上，提高了资源利用率和云资源的在线调度能力。     

基于OpenStack的清华云平台构建与调度方案设计

从一般云计算的体系结构与清华大学的实际需求出发,利用先进的OpenStack平台,采用分层设计的方法设计实现一个可对云资源进行综合管理的清华云平台。分析了该系统的优势和应具备的主要模块功能,重点研究系统中的资源调度关键技术,提出了一种基于任务调度和负载均衡的策略,并通过对调度方案的实验与分析,验证了该调度策略在保证服务性能和执行效率的基础上能够均衡服务器的资源负载,使云平台处于相对稳定的状态。     

云计算集群服务器系统监控方法的研究

随着云计算技术越来越多地应用到信息产业的各个领域,云计算环境下集群服务器系统的监控与管理的需求越来越大。云计算下的集群服务器系统主要是通过一系列基于分布式架构的服务器集群组成,其下的服务器数量可能多达上万台。要管理好数量如此大的云计算集群服务器系统,保证其高性能运行,必然需要一套有效的云计算集群监控系统对其进行监测与调控。但是,传统的集群监测系统存在一些不足与弊端。本文对于云计算集群系统的高性能监测调度方案进行了研究,从云监控系统的架构、数据采集、负载均衡调度方面进行了探讨,构建了一个保证云计算集群系统高性能运营的云系统方案。     

构建高可用性的企业网络平台浅析

从网络架构、服务器、存储三个方面入手,采用备份、集群、虚拟化、云计算等手段提高企业网络平台的可用性,并总结了获得企业网络平台高可用性的一般性原则。     

云环境中Web应用的微服务架构评估

云计算为我们提供了一种全新、高效的方式来部署可扩展的Web应用,这种方式使企业的应用可以按需对计算资源进行分配.微服务架构用于将庞大复杂的应用系统拆分为一系列可独立开发、测试、部署、运行、升级的服务模块.微服务架构为大批互联网企业实现云环境中的应用扩展、降低应用开发复杂度、实现敏捷开发提供了更加有效地方法.本文分析并测试了微服务架构模式,通过一个具体案例——在云环境中开发和部署的企业级应用系统,对两种架构模式实现（单体架构模式和微服务架构模式）进行性能测试,得出评估结果,这些结果对解决企业级应用微服务化中可能遇到的问题具有一定指导意义.     

国产化混合云平台建设与性能优化的研究

为了验证实时性业务迁移至国产化混合云平台的可行性,采用国产化主机、虚拟化云平台软件、容器化云平台软件搭建混合云平台,对时统和组播两个具有代表性的实时业务模型迁移进行了研究;为了保证混合云平台测试范畴的完整性,硬件普适性,实验设计了四种混合云模式,并适配两个品牌主机,对时统和组播两个业务模型按照组合方式进行了八个云模型的迁移实践;实验针对不同混合云模式综合采用了软件和硬件调优技术,达到了同时满足时统业务模型满足时延不大于8ms和组播业务模型满足数据包丢包率不大于10-6 个/s两个性能指标;得出时敏性业务可以迁移到国产化混合云平台的结论,并通过分析混合云四种模式优劣势,对时敏性业务和通用业务的云平台部署模式提供了决策支持。     

基于Ceilometer Alarm API的操作设计和实现

随着云计算技术的不断发展,越来越多的企业采用OpenStack来构建私有云或公有云平台.云平台正逐步替代传统服务器,用来承载着企业和用户的IT业务.为了保证云平台的服务质量,本文基于OpenStack的报警功能接口——Ceilometer Alarm API设计和实现了对于云平台虚拟机监控报警功能的交互操作页面.通过使用该功能,用户可以监控虚拟机运行时的性能状态,保证云平台的可靠运行.     

基于云计算的IPTV业务平台架构设计及应用

随着云计算技术的飞速发展,特别是虚拟化技术、分布式存储系统的引入,催生了各种各样的服务及应用.本文首先介绍云计算的关键技术,包括虚拟化技术、分布式存储系统、分布式数据库.提出基于云计算的IPTV业务平台系统架构,分析其功能、技术优势及发展趋势.引入云计算技术,使得IPTV业务平台具有高可靠性、动态负载均衡能力和良好的扩展性,满足其业务快速增长的需求.     

VM3: Measuring,modeling and managing VM shared resources

With cloud and utility computing models gaining significant momentum, data centers are increasingly employing virtualization and consolidation as a means to support a large number of disparate applications running simultaneously on a chip-multiprocessor (CMP) server. In such environments, contention for shared platform resources (CPU cores, shared cache space, shared memory bandwidth, etc.) can have a significant effect on each virtual machine’s performance. In this paper, we investigate the shared resource contention problem for virtual machines by: (a) measuring the effects of shared platform resources on virtual machine performance, (b) proposing a model for estimating shared resource contention effects, and (c) proposing a transition from a virtual machine (VM) to a virtual platform architecture (VPA) that enables transparent shared resource management through architectural mechanisms for monitoring and enforcement. Our measurement and modeling experiments are based on a consolidation benchmark (vConsolidate) running on a state-of-the-art CMP server. Our virtual platform architecture experiments are based on detailed simulations of consolidation scenarios. Through detailed measurements and simulations, we show that shared resource contention affects virtual machine performance significantly and emphasize that virtual platform architectures is a must for future virtualized datacenters.