基于自主容器云平台的大数据日志采集系统

随着云计算、虚拟化、容器云等技术的应用以及国产自主可控的要求，越来越多的服务会部署在国产的服务器以及自主可控的容器云平台上。自主可控云平台上的服务在运行的过程中，需要获取日志数据，来进行一系列的监控、统计、分析以及预测工作。然而由于国产服务器的特殊性以及容器云平台的特殊性，传统的日志采集方式（包含实时采集和集中式采集）并不能够很好地适用于自主可控的容器云平台，为了提高服务的质量和性能并且保证日志数据的一定全面性，本文提出一种自适应的数据采集算法，能够根据服务器的负载自我调整日志数据采集发送量。当服务器负载较低的时候，提高数据采集和发送的数量，甚至是做到实时采集；当服务器负载较高时，降低对日志数据的采集和发送量，从而降低对服务器负载的压力，提高服务自身的质量和性能。最后通过理论和实验分析验证该数据采集算法在保证数据一定的全面性的同时，能有效缓解国产服务器的压力。