基于开源Ceph的自研分布式存储架构及关键技术分析

随着大数据、云计算、物联网技术以及短视频直播技术的迅速发展，传统的集中式存储系统存在数据规模有限、存储和处理能力瓶颈、单点故障等问题，已经难以满足现阶段的业务需求。基于此，本文从非结构化数据增长、容器化技术发展、异地多活灾备等业务需求对存储技术的新要求进行分析，总结了自研存储待解决的三个问题，即技术选型、技术路线、架构设计，探究了自研存储部署架构、多集群管理、小文件合并等关键技术问题，并提出相应的解决思路。