基于Kubernetes的AI调度引擎平台

文中介绍了基于Kubernetes的AI调度引擎平台的设计与实现, 针对当前人工智能调度系统中存在的服务配置复杂, 集群中各节点计算资源利用率不均衡以及系统运维成本高等问题, 本文提出了基于Kubernetes实现容器调度和服务管理的解决方案. 结合AI调度引擎平台的需求, 从功能实现和平台架构等方面设计该平台的各个模块. 同时, 针对Kubernetes无法感知GPU资源的问题, 引入device plugin收集集群中每个节点上的GPU信息并上报给调度器. 此外, 针对Kubernetes调度策略中优选算法只考虑节点本身的资源使用率和均衡度, 未考虑不同类型的应用对节点资源的需求差异, 提出了基于皮尔逊相关系数 (Pearson correlation coefficient, PCC)的优选算法, 通过计算容器资源需求量与节点资源使用率的互补度来决定Pod的调度, 从而保证调度完成后各节点的资源均衡性.     

基于Kubernetes的云原生数据库集群部署方案

针对气象结构化数据在单机数据库环境下存在缺乏灵活扩展和资源利用率低下的问题,提出了一种基于Kubernetes的云原生数据库部署方案,将MySQL数据库运行在Kubernetes+容器的环境,通过集群部署调优,形成分布式云原生数据库服务能力。该方案利用Shared Everything+Shared Storage的存储计算分离架构实现资源池化高效管理;利用Shared Nothing的分布式架构,实现数据水平分片、水平扩展。测试结果证明,该方案具有较好的横向扩展和数据查询性能。     

基于裸金属架构的容器云框架设计

随着云计算技术的发展，容器云越来越多地被应用实践，Docker+Kubernetes构成的应用运行平台不足以支撑IT基础设施与信息化全生命周期管理的便捷需求，鉴于此，提出以Docker+Kubernetes的容器环境为基础，增加IT基础设施与信息化全生命周期管理的各类组件，设计了基于裸金属架构的容器云框架，指导自主行业容器云平台或是开源云平台开发，为企业级云计算平台发展提供应用路径参考。     

基于Kubernetes的卫星遥感数据容器云平台

随着卫星遥感行业进入大数据时代,传统的数据处理平台日渐难以满足卫星遥感数据快速积累的发展需求,同时也对系统在动态调度资源、易维护、弹性扩展、复杂度可控和灵活部署等方面提出了更高的要求。针对上述问题,文章引入容器技术及Kubernetes容器集群管理系统,设计实现了基于Kubernetes的开源容器云平台,将单个业务系统拆分成多个独立运行在相互隔离容器中的服务,实现了应用服务容器的调度和管理、快速部署和迁移,并以GF7高分卫星数据为例进行验证,验证了容器集群能够有效处理卫星遥感数据,提高了卫星遥感数据处理平台的资源利用率和运维效率;文末结合卫星遥感行业的现状及特点,就容器化应用的前景及面临的困难进行了展望分析。     

云计算环境下的资源调度研究

云计算已成为近年来的研究热点，其通过虚拟化等技术构建统一的资源池，屏蔽底层资源细节，从而达到提高设备利用率、节能减排、快速部署业务等目的。基于此，分析云计算环境下的资源调度问题。首先，介绍了云环境下资源调度的背景和研究现状，对资源调度器的演进、Kubernetes容器云平台、弹性伸缩理论进行了阐述；其次，研究了云资源弹性伸缩调度方案；最后，指出基于Kubernetes的资源调度存在的问题。     

Ubuntu与Rancher联合发布Kubernetes云原生平台

在Kub ernetes领域盛会KubeCon上, Ubuntu所属公司Canonical与Rancher Labs合作, 宣布推出一个基于Ubuntu、 Kubernetes和Rancher 2.0的应用程序交付平台——Cloud Native Platform (云原生平台, 简称CNP).CNP云原生平台将使用户能够通过从开发、 测试到生产环境的单一工作流管理门户, 轻松地在Kubernetes上部署、 管理和操作容器. 用户可以利用Docker容器和helm charts丰富的应用程序目录, 极大地简化部署工作, 提高开发速度. 基于Canonical的Kubernetes分发版, CNP云原生平台将实现无缝管理用户、 访问控制和集群管理. 计划于明年年初正式发布的Rancher 2.0, 包含了在生产中管理多个 Kubernetes集群所需的一切.Rancher 2.0的极简而友好的用户体验让用户能够轻松掌握Kubernetes的全部功能. 用户认证、 健康检查和监控的集中管理提供了更高的可视性和控制力. 用户可以使用Canonical的Kubernetes分发版或云托管的Kuber-netes服务支持和管理新的Kubernetes集群, 所有集群都可以实现在 Rancher 2.0 中的统一导入与纳管.Canonical Ubuntu可用于公有云和私有云. 且Canonical保持着与AWS、 Azure、 Google和Oracle的合作, 优化Ubuntu 客户端以访问位于这些云中的容器. 同时, Canonical还与 Google GKE合作, 让用户可以在企业Kubernetes部署和Google SAAS产品之间启用混合操作.     

Kubernetes容器云编排系统的研究与实现

Docker容器技术因其在开发和部署上的便捷性与实用性,在实际生产中被广泛使用。作为一个强大的容器云编排工具,Kubernetes在管理大量容器时具有明显优势,在众多的容器云编排系统中脱颖而出,已成为容器云管理的事实标准。本文设计开发了一款基于Kubernetes的容器云编排系统完成容器的日常管理,实现了容器的创建、容器的副本维护、容器的滚动更新、容器的计划任务、服务的发布以及存储的共享等功能。Kubernetes使容器的部署和应用变得更简单、高效,具有较高的应用价值。     

一种面向大数据平台容器的轻量化安全防护方法

容器又称Container,是一种基于轻量化的虚拟技术。轻量化特性使其在大数据平台中有广阔的应用前景,尤其在分布式机器学习方向,以Kubernetes和容器为核心的机器学习系统已逐渐成为行业标准。然而容器本身的安全问题,逐渐成为公众所关注的焦点。尤其如容器镜像安全、容器逃逸及提权、容器漏洞攻击及利用等问题成为了运营及维护人员在实际容器化过程中不得不面对的技术挑战。文章将系统分析容器技术在大数据平台中落地过程中所面临的具体安全问题,并结合实际的环境提供相应的轻量化安全防护技术。并设计了针对大量容器的镜像轻量化扫描方案,将容器镜像的扫描过程降到秒级;同时,针对大规模数据平台的容器监控方案,将监控的计算资源损耗(如CPU消耗)控制生产环境要求的10%以内;最后,这里设计的针对数据平台的容器网络监控方案,在不影响生产环境的业务条件下,能实现轻量化全流量监控。     

基于Kafka和Kubernetes的云平台监控告警系统

为了实现对容器云、主机设备以及业务系统的实时监控, 设计了一种基于Kafka和Kubernetes的云平台监控告警系统. 通过Kubernetes对Docker容器进行管理, 通过Kafka接收不同地区不同主机的设备运行信息, 通过探针对业务系统进行监控, 并且通过告警的关联规则设置, 减少了冗余告警, 增强了告警的故障检测能力, 提高了告警的准确度.     

基于排队理论的容器云弹性伸缩策略研究

弹性伸缩技术是灾害应急云计算中心的关键技术之一，基于合理的伸缩策略调整服务单元数量，有效解决高并发场景下应用的稳定性和性能等问题。Kubernetes作为目前主流的容器云管理平台，内置的HPA弹性伸缩策略，可能存在着资源供应过度和供应不足等问题。针对这一问题，提出了一种基于Kubernetes的容器云弹性伸缩策略ESBQT，利用排队理论构建满足平均请求响应时间最小约束条件下的Pod服务单元数供给优化模型。实验测试表明，ESBQT策略面临大流量、高并发请求时，资源供给更加合理，有效保证了应用的性能和稳定性。     

基于Hadoop YARN的TensorFlow GPU集群的调度扩展

本文研究并实现了大数据平台 Hadoop YARN 与深度学习框架 TensorFlow 的结合。通过对 DRF 算法的扩展,使得 Hadoop YARN 在原先支持 CPU 和内存的基础上,可以对 GPU 资源进行管理和调度。通过 YARN 的应用接口,把 TensorFlow 封装成了 YARN 的应用程序之一,把原来的分布式程序在多节点手动分发启动改为了在单节点自动分发启动,单机版不变。本文设计了多组实验对 YARN+TensorFlow 进行了多方位的测试,实验结果表明 YARN 和 TensorFlow 相结合相比原生 TensorFlow 程序具有相似的加速比,可以满足单系统多用户对 GPU 资源的使用,有效提高 GPU 资源的使用效率和编程人员的工作效率,增加系统的复用率。     

基于Kubernetes的Fabric链码管理及高可用技术

区块链即服务(BaaS)平台的核心在于如何将区块链网络部署在云计算平台上.Fabric部署可以按照组件启动时间分为静态组件和动态链码两部分,而链码部署是Fabric云化最核心、最复杂的部分.因为Fabric本身没有针对Kubernetes开发接口,所以业界当前的方案均是通过一系列辅助技术实现链码部署,而这些方案并没有将...     

基于Kubernetes的CI/CD平台

随着互联网的快速发展以及互联网业务、用户数量的不断增多,越来越多的传统单体应用为了方便拓展新业务、增加可复用度,已经选择将业务拆分为多个微服务,这样可便于后期的管理和拓展.但若以传统的方式在云平台去部署多个微服务是非常繁琐且消耗人力物力.为了实现敏捷开发和快速部署,减少开发与运维之间团队的时间损耗,在分布式容器编排引擎平台Kubernetes的实验环境中,研究在其中部署CI/CD流水线服务,从而使代码到服务实现自动化构建.     

基于Kubernetes云原生的弹性伸缩研究

随着云技术的不断发展和普及,为了更好地利用云平台的优点和特性,云原生应用服务不断涌现,如何利用云平台的特性来服务软件设计和开发成为了难题,例如如何利用云平台的弹性伸缩特性。云原生目前主流的容器编排技术Kubernetes支持自动伸缩,却存在一些需要针对具体情况进行优化改进的问题。本文主要针对使用Kubernetes编排的5G核心网网元PCF(Policy Control Function)的水平自动伸缩进行研究,通过基于自定义的负载数据(CPU使用率、内存使用率、交易量、带宽使用率)统计,根据历史负载数据使用LSTM来预测未来的负载,并设计了一种基于预测负载的可行的弹性伸缩算法,从而提出一种提前感知的、弹性的、不影响业务的弹性伸缩方法,并进行了大量的实验和统计,来论证方法的可行性和正确性。     

Kubernetes可视化管理平台

为了方便云平台的管理,摆脱使用Kubetcl命令行方式操作Kubernetes集群的繁琐,前台采用React框架构建UI界面,后台使用Fabric8框架调用Kubernetes云平台的功能接口,前后端数据的交互借助Axios框架来完成.最终成功完成了基于Docker的Kubernetes可视化管理平台的开发.通过该平台...     

基于Spark的分布式交通流数据预测系统

在大数据时代,在城市复杂交通环境中,实现实时、准确的交通流预测,是实现智能交通系统的必要前提。提出了一种在Spark平台上基于梯度优化决策树的分布式城市交通流预测模型(distributed urban traffic prediction with GBDT,DUTP-GBDT);并提出了分布式情况下梯度优化决策树模型实现的优化方法,包括切分点抽样、特征装箱和逐层训练三种,提高了分布式情况下梯度优化决策树训练效率。基于Spark分布式计算平台高效、可靠、弹性可扩展的优势,以及梯度优化决策树模型准确率较高和时间复杂度较低的优点,利用时间特征、道路状况特征以及天气特征等特征参数,建立了DUTP-GBDT模型,实现了实时、准确的交通流预测。通过与GABP、GA-KNN、MSTAR等模型的对比,证明了利用Spark平台,DUTP-GBDT模型在分布式环境下准确率和训练速度方面均有所提高,符合城市交通流预测系统的各项要求。     

分布式深度学习通信架构的性能分析

近年来,深度学习技术的进步推动人工智能进入了一个新的发展时期.但是,海量的训练数据、超大规模的模型给深度学习带来了日益严峻的挑战,分布式深度学习应运而生,逐渐成为应对这一挑战的有效手段,而高效的参数通信架构是保证分布式深度学习性能的关键.针对传统分布式深度学习模型同步架构在大规模节点上并行训练的问题,首先,分析了集中式...     

基于Kubernetes的水平弹性扩缩容系统

Kubernetes的诞生，降低了应用开发者对基础架构和运维团队的依赖，为其提供了强大的工具来编排和调度容器及虚拟机，已经成为分布式集群系统开发及管理的事实标准。Kubernetes通过核心组件HPA（Horizontal Pod Autoscaler）监测集群中CPU和内存的使用情况，并依据这些指标来对微服务集群进行扩容和缩容。但是这些简单的度量指标不能满足实际应用的扩缩容诉求，虽然在社区的最新版本中已经做出了改进，实际效果依然差强人意。本文在原生平台的基础上，设计一种叠加的弹性扩缩容系统E-HPA，可以通过灵活简易的配置方式提供丰富的用户可定制的度量指标，弥补Kubernetes在水平弹性扩缩容方面的缺陷和不足；阐述该系统的设计思想和具体实现细节，并以电信业务应用为例，验证其实验效果。