基于持久性内存和SSD的后端存储MixStore

持久性内存(persistent memory,PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state disk,SSD)设计的,其原有的优化设计机制不适合PMEM特性优势的发挥.提出了一种基于持久性内存和SSD的后端存储MixStore,通过易失区段标记和待删除列表技术实现了适用于持久性内存的并发跳表,用于替代RocksDB实现元数据管理机制,在保证事务一致性的同时,消除了BlueStore的compaction所引发的性能抖动等问题,同时提升元数据的并发访问性能;通过结合元数据管理机制的数据对象存储优化设计,把非对齐的小数据对象存放在PMEM中,把对齐的大块数据对象存储在SSD上,充分发挥了PMEM的字节寻址、持久性特性和SSD的大容量低成本优势,并结合延迟写入和CoW(copy-on-write)技术实现数据更新策略优化,消除了BlueStore的WAL日志引起的写放大,提升小数据写入性能.测试结果表明,在同样的硬件环境下,相比BlueStore,MixStore的写吞吐提升59%,写时延降低了37%,有效地提升了系统的性能.     

数据管理系统发展趋势与挑战

数据是数字经济时代重要的生产要素。数据管理成为释放数据价值的重要引擎。回顾了数据管理技术的迭代变迁历程，分析了构建新一代数据管理基础设施的关键技术及挑战。结合中兴通讯在数据管理领域进行的创新和研发实践，展示了应对这些挑战的思路、方案及取得的成效。最后，对数据管理技术发展进行了总结和展望。指出数据域技术栈应当走低碳高效、可持续发展路线，而高能效数据管理技术是可持续发展的关键。     

一种基于RDMA多播机制的分布式持久性内存文件系统

持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路.然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问题,严重影响了系统性能.针对此问题,提出一种基于RDMA多播机制的分布式持久性内存文件系统(RDMA multicast transmission based distributed persistent memory file system,MTFS),通过低延迟多播通信机制充分利用RDMA多播能力,将数据高效传输到多个数据节点,从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性,MTFS设计了多模式多播远程过程调用(remote procedure call,RPC)机制,实现了RPC请求自适应识别,并通过优化返回机制将部分传输操作移出关键路径,进一步提升传输效率.同时MTFS提供了轻量级一致性保障机制,通过设计故障恢复功能、数据校验系统、重传策略与窗口机制,当节点出现崩溃时进行快速恢复,并在传输出现错误时实现数据精准检测与纠正,保证了数据的可靠性和一致性.实验证明,MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10.2~219倍.在Redis数据库的工作负载下,MTFS相比于NOVA取得了最高10.7%的性能提升,并在多线程测试中取得了良好的可扩展性.     

基于云计算分布式缓存构建IPTV业务平台

在政策、市场等因素的诱导下,国内IPTV进入了一个快速发展的阶段,从而面临着容量的扩充问题。云计算使用分布式的架构,具有海量的存储能力和快速的扩展能力。通过对云计算分布式缓存技术的研究和分析,把云计算分布式缓存技术引入IPTV业务平台的方案中,使得IPTV业务平台具有良好的扩展性,满足其快速增长的需要。     

UStore：面向新型硬件的统一存储系统

数据规模的爆发式增长使得分布式存储广泛应用，长期以来分布式存储直接使用本地文件系统访问本地存储资源，随着高性能NVMe SSD、持久内存（persistent memory,PMEM）、异构加速设备的出现，本地文件系统难以发挥新型器件的特性和性能优势.现有很多研究针对SSD或者PMEM的硬件特性在软件层面进行优化和改进.然而，这些工作兼容性和扩展性差，不能灵活适配硬件环境变化，缺乏面向新型硬件的统一解决方案.提出了一种兼容多种存储介质的统一存储系统UStore，可根据业务场景灵活选择存储介质，并针对PMEM、KVS加速卡、NVMe SSD等典型硬件进行组合设计优化，充分利用其硬件特性，满足多层次的业务需求；通过一种与物理存储介质形态解耦的元数据设计，使其适应不同硬件的性能和原子更新能力差异，实现灵活的元数据存储策略；通过高效的数据管理机制和更新策略，实现无日志的数据原子写保证，消除了现有系统的写放大以及性能抖动等问题.实验结果表明，相比于BlueStore,UStore的4KB随机读性能提升了3.2倍，4KB随机写提高了8.2倍，3种典型硬件组合下UStore表现出与之相匹配的数据访问...