基于Kubernetes云原生的弹性伸缩研究

随着云技术的不断发展和普及,为了更好地利用云平台的优点和特性,云原生应用服务不断涌现,如何利用云平台的特性来服务软件设计和开发成为了难题,例如如何利用云平台的弹性伸缩特性。云原生目前主流的容器编排技术Kubernetes支持自动伸缩,却存在一些需要针对具体情况进行优化改进的问题。本文主要针对使用Kubernetes编排的5G核心网网元PCF(Policy Control Function)的水平自动伸缩进行研究,通过基于自定义的负载数据(CPU使用率、内存使用率、交易量、带宽使用率)统计,根据历史负载数据使用LSTM来预测未来的负载,并设计了一种基于预测负载的可行的弹性伸缩算法,从而提出一种提前感知的、弹性的、不影响业务的弹性伸缩方法,并进行了大量的实验和统计,来论证方法的可行性和正确性。     

基于Kubernetes的Fabric链码管理及高可用技术

区块链即服务（BaaS）平台的核心在于如何将区块链网络部署在云计算平台上。Fabric部署可以按照组件启动时间分为静态组件和动态链码两部分,而链码部署是Fabric云化最核心、最复杂的部分。因为Fabric本身没有针对Kubernetes开发接口,所以业界当前的方案均是通过一系列辅助技术实现链码部署,而这些方案并没有将链码随静态组件一起纳入到Kubernetes管理环境中。针对当前BaaS方案存在的问题,主要做了如下几项工作：1）比较全面地研究了底层基础设施,尤其是生产环境下的高可用性Kubernetes平台;2）设计并实现了Fabric在Kubernetes上的云化部署,尤其是链码部分通过一个全新的容器控制插件实现了对Kubernetes在代码级别上的支持,并完成了将链码纳入Kubernetes环境管理的目标;3）用函数计算服务来管理Fabric链码的部署,从而实现了一个全新的链码执行模式,即从“启动-等待-调用-等待”的模式改变为“启动-调用-退出”的模式。上述在Fabric云化部署尤其是链码部署管理方面的工作,对基于Fabric和Kubernetes的BaaS平台优化有一定的参考价值。     

高校数据中心云原生平台安全风险研究

随着高校信息系统逐步向微服务架构发展,基于Docker容器技术和Kubernetes容器编排技术构建的云原生平台在高校数据中心规模扩展迅速.云原生平台架构复杂,相比传统虚拟化模式存在着更多的安全风险.本文结合高校数据中心云原生部署现状,按照云原生的系统架构从容器安全、容器编排系统安全、服务网格安全、微服务安全四个方面深...     

一款人工智能芯片上FCOS模型的应用研究

人工智能芯片是专门用于高效执行人工智能计算任务的芯片。中国电子科技集团公司第三十八所研制了一款针对边缘侧深度学习模型推理计算的人工智能芯片,主要面向雷达图像目标识别、色选机图像智能处理等应用。该芯片是一个异构的SOC芯片,由中央处理核心、神经网络加速核通过片上总线互联形成,峰值算力达到16TOPS(INT8)。FCOS模型是一个先进的单阶段无锚框目标检测深度学习模型,该模型首次提出的核心原理已经被一些新的目标检测网络模型采用。该文研究FCOS深度学习模型在该人工智能芯片上的部署,并研究片上存储器大小、DDR带宽、DDR配置、算力、数据类型等因素对FCOS深度学习模型部署的性能和检测效果的影响。可以为深度学习模型部署技术研究人员、人工智能芯片设计人员提供参考。     

Ubuntu与Rancher联合发布Kubernetes云原生平台

在Kub ernetes领域盛会KubeCon上, Ubuntu所属公司Canonical与Rancher Labs合作, 宣布推出一个基于Ubuntu、 Kubernetes和Rancher 2.0的应用程序交付平台——Cloud Native Platform (云原生平台, 简称CNP).CNP云原生平台将使用户能够通过从开发、 测试到生产环境的单一工作流管理门户, 轻松地在Kubernetes上部署、 管理和操作容器. 用户可以利用Docker容器和helm charts丰富的应用程序目录, 极大地简化部署工作, 提高开发速度. 基于Canonical的Kubernetes分发版, CNP云原生平台将实现无缝管理用户、 访问控制和集群管理. 计划于明年年初正式发布的Rancher 2.0, 包含了在生产中管理多个 Kubernetes集群所需的一切.Rancher 2.0的极简而友好的用户体验让用户能够轻松掌握Kubernetes的全部功能. 用户认证、 健康检查和监控的集中管理提供了更高的可视性和控制力. 用户可以使用Canonical的Kubernetes分发版或云托管的Kuber-netes服务支持和管理新的Kubernetes集群, 所有集群都可以实现在 Rancher 2.0 中的统一导入与纳管.Canonical Ubuntu可用于公有云和私有云. 且Canonical保持着与AWS、 Azure、 Google和Oracle的合作, 优化Ubuntu 客户端以访问位于这些云中的容器. 同时, Canonical还与 Google GKE合作, 让用户可以在企业Kubernetes部署和Google SAAS产品之间启用混合操作.     

基于容器技术的电力设备仿真云平台设计与开发

针对电力设备设计仿真流程中成本高、计算资源利用效率低等问题,利用Docker容器化技术和Kubernetes容器编排技术,构建基于容器的电力设备仿真云平台。结合仿真云平台的需求,从功能实现、镜像构建、云平台架构等方面设计云平台各模块,并对云平台运行中的关键处理流程进行分析。在此基础上,通过动态构建技术从特性匹配、调度算法等方面对云平台的运行进行优化。应用实例结果表明,基于容器的电力设备仿真云平台能充分发挥云平台的优势,正确地根据用户提供的参数应用模板进行仿真。     

云原生数据湖服务平台的设计与实现

云原生数据湖已经成为数据管理和分析领域的研究热点,相关技术和应用也得到了广泛的关注和探索。数据湖部署存在着成本高、组件之间兼容性差等问题,存算不分离制约着数据湖平台延展性,缺乏完备的数据入湖体系容易引起数据湖沼泽的形成,导致用户无法从中提取数据价值。该文设计并实现了云原生数据湖服务平台,平台以Kubernetes为底层构建云原生环境,结合容器技术将数据湖组件镜像化,同时设计数据湖存算分离方案来提高数据湖平台的可扩展性和可移植性,并配合监控、组装生产线将镜像容器化,实现数据湖上云操作。并建立用户入湖作业与云原生计算引擎之间的桥梁,对入湖信息进行预处理,提供多类型作业以满足多元化入湖场景,以统一catalog的方式将数据写入数据湖中。实际运行结果表明,该平台既提高了数据湖平台的灵活性和可靠性,又确保了元数据和数据资产的规范性存储。     

深度学习框架和加速技术探讨

介绍了深度学习的发展,阐述了目前流行的几种深度学习编程框架,并从七个方面进行了分析比较,总结了深度学习高性能计算的加速方案以及云平台的应用,认为深度学习将加快人工智能技术的发展,促进社会进步。     

Kubernetes容器云编排系统的研究与实现

Docker容器技术因其在开发和部署上的便捷性与实用性,在实际生产中被广泛使用。作为一个强大的容器云编排工具,Kubernetes在管理大量容器时具有明显优势,在众多的容器云编排系统中脱颖而出,已成为容器云管理的事实标准。本文设计开发了一款基于Kubernetes的容器云编排系统完成容器的日常管理,实现了容器的创建、容器的副本维护、容器的滚动更新、容器的计划任务、服务的发布以及存储的共享等功能。Kubernetes使容器的部署和应用变得更简单、高效,具有较高的应用价值。     

面向5G边缘计算的Kubernetes资源调度策略

容器云是5G边缘计算的重要支撑技术,5G的大带宽、低时延和大连接三大特性给边缘计算带来较大的资源压力,容器云编排器Kubernetes仅采集Node剩余CPU和内存两大资源指标,并运用统一的权重值计算Node优先级作为调度依据,该机制无法适应边缘计算场景下精细化的资源调度需求。面向5G边缘计算的资源调度场景,通过扩展Kubernetes资源调度评价指标,并增加带宽、磁盘两种评价指标进行节点的过滤和选择,提出一种基于资源利用率进行指标权重自学习的调度机制WSLB。根据运行过程中的资源利用率动态计算该应用的资源权重集合,使其能够随着应用流量的大小进行自适应动态调整,利用动态学习得到的资源权重集合来计算候选Node的优先级,并选择优先级最高的Node进行部署。实验结果表明,与Kubernetes原生调度策略相比,WSLB考虑了边缘应用的带宽、磁盘需求,避免了将应用部署到带宽、磁盘资源已饱和的Node,在大负荷与异构请求场景下可使集群资源的均衡度提升10%,资源综合利用率提升2%。     

云原生数据库综述

云基础设施的虚拟化、高可用、可弹性调度等特点,为云数据库提供了开箱即用、可靠可用、按需计费等优势.云数据库按照架构可以划分为云托管数据库(cloud-hosted database)以及云原生数据库(cloud-native database).云托管数据库将数据库系统直接部署到云上虚拟机环境中,具备低成本、易运维、高可靠的优势.在此基础上,云原生数据库充分利用云基础设施弹性伸缩的特点,采用计算存储分离的架构,实现了计算资源和存储资源的独立伸缩,进一步提升数据库性价比.然而计算存储分离的架构为数据库系统设计带来了新的挑战.深入分析云原生数据库系统的架构和技术.首先将云原生OLTP和云原生OLAP的数据库架构按照资源分离模式的差异分别进行归类分析,并对比各类架构的优势与局限.其次,基于计算存储分离的架构,按照各个功能模块深入探讨云原生数据库的关键技术:主要包括云原生OLTP关键技术(数据组织、副本一致性、主备同步、故障恢复以及混合负载处理)和云原生OLAP关键技术(存储管理、查询处理、无服务器感知计算、数据保护以及机器学习优化).最后,总结现有云原生数据库的技术挑战并展望未来研究方向.     

AutoConfig: 面向深度学习编译优化的自动配置机制

随着深度学习模型和硬件架构的快速发展,深度学习编译器已经被广泛应用.目前,深度学习模型的编译优化和调优的方法主要依赖基于高性能算子库的手动调优和基于搜索的自动调优策略.然而,面对多变的目标算子和多种硬件平台的适配需求,高性能算子库往往需要为各种架构进行多次重复实现.此外,现有的自动调优方案也面临着搜索开销大和缺乏可解释性的挑战.为了解决上述问题,本文提出了AutoConfig,一种面向深度学习编译优化的自动配置机制.针对不同的深度学习计算负载和特定的硬件平台,AutoConfig可以构建具备可解释性的优化算法分析模型,采用静态信息提取和动态开销测量的方法进行综合分析,并基于分析结果利用可配置的代码生成技术自动完成算法选择和调优.本文创新性地将优化分析模型与可配置的代码生成策略相结合,不仅保证了性能加速效果,还减少了重复开发的开销,同时简化了调优过程.在此基础上,本文进一步将AutoConfig集成到深度学习编译器Buddy Compiler中,对矩阵乘法和卷积的多种优化算法建立分析模型,并将自动配置的代码生成策略应用在多种SIMD硬件平台上进行评估.实验结果验证了AutoConfig在代码生成策略中有效地完成了参数配置和算法选择.与经过手动或自动优化的代码相比,由AutoConfig生成的代码可达到相似的执行性能,并且无需承担手动调优的重复实现开销和自动调优的搜索开销.     

面向小型边缘计算的深度可分离神经网络模型与硬件加速器设计

神经网络参数量和运算量的扩大,使得在资源有限的硬件平台上流水线部署神经网络变得更加困难。基于此,提出了一种解决深度学习模型在小型边缘计算平台上部署困难的方法。该方法基于应用于自定义数据集的深度可分离网络模型,在软件端使用迁移学习、敏感度分析和剪枝量化的步骤进行模型压缩,在硬件端分析并设计了适用于有限资源FPGA的流水线硬件加速器。实验结果表明,经过软件端的网络压缩优化,这种量化部署模型具有94.60%的高准确率,16.64 M的较低的单次推理定点数运算量和0.079 M的参数量。此外,经过硬件资源优化后,在国产FPGA开发板上进行流水线部署,推理帧率达到了366 FPS,计算能效为8.57 GOPS/W。这一研究提供了一种在小型边缘计算平台上高性能部署深度学习模型的解决方案。     

High performance accelerators for deep neural networks: A review

The availability of huge structured and unstructured data, advanced highly dense memory and high performance computing machines have provided a strong push for the development in artificial intelligence (AI) and machine learning (ML) domains. AI and machine learning has rekindled the hope of efficiently solving complex problems which was not possible in the recent past. The generation and availability of big-data is a strong driving force for the development of AI/ML applications, however, several challenges need to be addressed, like processing speed, memory requirement, high bandwidth, low latency memory access, and highly conductive and flexible connections between processing units and memory blocks. The conventional computing platforms are unable to address these issues with machine learning and AI. Deep neural networks (DNNs) are widely employed for machine learning and AI applications, like speech recognition, computer vison, robotics, and so forth, efficiently and accurately. However, accuracy is achieved at the cost of high computational complexity, sacrificing energy efficiency and throughput like performance measuring parameters along with high latency. To address the problems of latency, energy efficiency, complexity, power consumption, and so forth, a lot of state of the art DNN accelerators have been designed and implemented in the form of application specific integrated circuits (ASICs) and field programmable gate arrays (FPGAs). This work provides the state of the art of all these DNN accelerators which have been developed recently. Various DNN architectures, their computing units, emerging technologies used in improving the performance of DNN accelerators will be discussed. Finally, we will try to explore the scope for further improvement in these accelerator designs, various opportunities and challenges for the future research.     

Towards optimized tensor code generation for deep learning on sunway many-core processor

The flourish of deep learning frameworks and hardware platforms has been demanding an efficient compiler that can shield the diversity in both software and hardware in order to provide application portability. Among the existing deep learning compilers, TVM is well known for its efficiency in code generation and optimization across diverse hardware devices. In the meanwhile, the Sunway many-core processor renders itself as a competitive candidate for its attractive computational power in both scientific computing and deep learning workloads. This paper combines the trends in these two directions. Specifically, we propose swTVM that extends the original TVM to support ahead-of-time compilation for architecture requiring cross-compilation such as Sunway. In addition, we leverage the architecture features during the compilation such as core group for massive parallelism, DMA for high bandwidth memory transfer and local device memory for data locality, in order to generate efficient codes for deep learning workloads on Sunway. The experiment results show that the codes generated by swTVM achieve 1.79\times improvement of inference latency on average compared to the state-of-the-art deep learning framework on Sunway, across eight representative benchmarks. This work is the first attempt from the compiler perspective to bridge the gap of deep learning and Sunway processor particularly with productivity and efficiency in mind. We believe this work will encourage more people to embrace the power of deep learning and Sunway many-core processor.     

大数据智能:从数据拟合最优解到博弈对抗均衡解

数据驱动的机器学习（特别是深度学习）在自然语言处理、计算机视觉分析和语音识别等领域取得了巨大进展,是人工智能研究的热点。但是传统机器学习是通过各种优化算法拟合训练数据集上的最优模型,即在模型上的平均损失最小,而在现实生活的很多问题（如商业竞拍、资源分配等）中,人工智能算法学习的目标应该是是均衡解,即在动态情况下也有较好效果。这就需要将博弈的思想应用于大数据智能。通过蒙特卡洛树搜索和强化学习等方法,可以将博弈与人工智能相结合,寻求博弈对抗模型的均衡解。从数据拟合的最优解到博弈对抗的均衡解能让大数据智能有更广阔的应用空间。     

Profiling and evaluating hardware choices for MapReduce environments: An application-aware approach

The core business of many companies depends on the timely analysis of large quantities of new data. MapReduce clusters that routinely process petabytes of data represent a new entity in the evolving landscape of clouds and data centers. During the lifetime of a data center, old hardware needs to be eventually replaced by new hardware. The hardware selection process needs to be driven by performance objectives of the existing production workloads. In this work, we present a general framework, called Ariel, that automates system administrators’ efforts for evaluating different hardware choices and predicting completion times of MapReduce applications for their migration to a Hadoop cluster based on the new hardware. The proposed framework consists of two key components: (i) a set of microbenchmarks to profile the MapReduce processing pipeline on a given platform, and (ii) a regression-based model that establishes a performance relationship between the source and target platforms. Benchmarking and model derivation can be done using a small test cluster based on new hardware. However, the designed model can be used for predicting the jobs’ completion time on a large Hadoop cluster and be applied for its sizing to achieve desirable service level objectives (SLOs). We validate the effectiveness of the proposed approach using a set of twelve realistic MapReduce applications and three different hardware platforms. The evaluation study justifies our design choices and shows that the derived model accurately predicts performance of the test applications. The predicted completion times of eleven applications (out of twelve) are within 10% of the measured completion times on the target platforms.     

大数据负载的体系结构特征分析

针对大数据离线分析类和交互式查询类负载,首先对这些负载的一些共性进行分析,提取出公共操作集,并对它们进行分组整理;然后在大数据平台上测试这些负载运行过程中的微体系结构特征,采用PCA和SimpleKMeans算法对这些体系结构特征参数进行降维和聚类处理。实验分析结果表明负载之间有公共的操作集,如Join和Cross Production;有些负载有相似的属性,如Difference和Projection共享相同的微体系结构特征。实验结果对于 处理器等硬件平台的设计以及应用程序的优化具有指导性的意义,并且为大数据基准测试平台的设计提供了参考。     

基于微服务的石油大数据挖掘平台

为推进大数据技术在油田领域的快速融合和应用，提出一种覆盖大数据处理整个生命周期的多功能大数据处理平台。平台融合各类大数据分析框架和机器学习框架，设计面向油田领域，能够支持实时和离线处理的数据挖掘功能。基于Docker容器封装各类计算框架和算法服务，并基于Kubernetes框架完成容器的编排与调度。在系统的架构方式上采用基于微服务的架构方式，将不同技术栈的应用独立分解为单个服务模块，以此来保证业务系统服务的可靠性、可扩展性。这使得企业数据分析人员能够专注于业务数据分析问题，而不必花费大量时间学习框架部署和其他大型数据挖掘技术细节。