云原生数据湖服务平台的设计与实现

云原生数据湖已经成为数据管理和分析领域的研究热点，相关技术和应用也得到了广泛的关注和探索。数据湖部署存在着成本高、组件之间兼容性差等问题，存算不分离制约着数据湖平台延展性，缺乏完备的数据入湖体系容易引起数据湖沼泽的形成，导致用户无法从中提取数据价值。该文设计并实现了云原生数据湖服务平台，平台以Kubernetes为底层构建云原生环境，结合容器技术将数据湖组件镜像化，同时设计数据湖存算分离方案来提高数据湖平台的可扩展性和可移植性，并配合监控、组装生产线将镜像容器化，实现数据湖上云操作。并建立用户入湖作业与云原生计算引擎之间的桥梁，对入湖信息进行预处理，提供多类型作业以满足多元化入湖场景，以统一catalog的方式将数据写入数据湖中。实际运行结果表明，该平台既提高了数据湖平台的灵活性和可靠性，又确保了元数据和数据资产的规范性存储。