互联网资讯 · 2025年9月23日 0

百度沧海・存储团队研究成果入选计算机顶级学术会议SOSP’25 – A5站长网

百度沧海存储团队与中国科学技术大学、清华大学合作的论文《Mantle: Efficient Hierarchical Metadata Management for Cloud Object Storage Services》入选计算机系统领域顶级学术会议 SOSP-25。

SOSP 与 OSDI 被公认为操作系统与系统软件领域最具影响力的学术会议,录取率低,代表了前沿研究成果。本届 SOSP 共收到 368 篇投稿,最终录用 65 篇,录取率为 17.7%。

论文详细介绍了百度智能云对象存储 BOS 的分布式层级命名空间系统 Mantle 的核心设计。Mantle 解决了多年来的难题,使对象存储的层级命名空间在可扩展性与高性能之间取得平衡,为 AI 时代大数据上云铺平道路。

Mantle 入选 SOSP-25 研究成果图片1

传统对象存储的困境:层级命名空间难以突破单机瓶颈。

多年来,HDFS 一直是大数据存储的代名词。但是,数据规模日益增大,三副本机制带来高成本,单 NaMEnode 的设计限制了规模,运维要求也很高。

在此背景下,具备低成本、无限扩展、云原生易运维等优势的对象存储成为新一代数据湖存储底座的共识,但关键瓶颈在于平坦命名空间难以高效支持大数据计算任务,导致在某些场景下性能不及 HDFS。

为弥合这一差距,业界普遍认为需要引入层级命名空间能力,但主流云厂商的现有方案难以突破单机瓶颈,扩展性与 HDFS 无本质飞跃。

两大核心挑战:为何高性能的分布式层级命名空间如此难解?构建面向大规模对象存储服务、真正分布式的层级命名空间,面临两大长期难题。

长路径解析开销巨大:深层路径解析需要多次网络通信,累积延迟高,拖慢计算。传统客户端缓存难以在无状态对象存储架构中实现;简单的并行路径解析在高并发下可能导致资源竞争。

分布式事务冲突频发:数千乃至上万计算任务对同一目录并发操作时,分布式事务会产生大量冲突和重试,吞吐量下降难以根治。

因此,业界长期缺乏既具成本效益、扩展性,又具备接近 HDFS 性能的层级命名空间解决方案,阻碍对象存储成为数据湖底座的落地。

Mantle:全球首个破局者——融合文件与对象存储的优势,构建数据湖底座。

百度沧海存储团队的 Mantle 是全球首个公开、完整解决上述两大难题、并在超大规模生产环境中长期验证的分布式层级命名空间系统。

Mantle 将传统文件系统的语义优势与对象存储的低成本、可扩展、云原生易运维性融合,实现了突破,为 EB 级数据湖打开新的可能。

此次入选 SOSP-25 的论文阐述了这套方案,标志对象存储成为云原生数据湖的坚实底座。

Mantle 论文成果图片2

卓越性能:延迟降低最高 99.1%,吞吐提升最高 115 倍。

Mantle 的分布式层级命名空间系统在实践中展现出色的性能:相较于业界最新进展,Mantle 将元数据访问延迟降低至 6.6%至 99.1%,吞吐量提升至 0.07 倍至 115 倍。

业务加速:在交互式 SpaRk 分析场景,作业完成时间缩短 63.3% 至 93.3%;在 AI 驱动的音频预处理任务中,作业完成时间缩短 38.5% 至 47.7%。

Mantle 已在百度智能云对象存储 BOS 的生产环境中上线超过两年,提供成熟可靠的服务,支撑云上客户的大数据分析、人工智能、自动驾驶等关键业务。

Mantle 的创新故事:关于 Mantle 与存储元数据面架构的未来发展。

关于 Mantle 的技术解读及存储元数据架构的创新故事,后续在相关技术站首发,敬请关注。

Mantle 相关图片3