DFS元数据缓存一致性的轻量级维护机制
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家重点研发计划 (2024YFB4505701)


Lightweight Mechanism to Maintain Consistency of Metadata Cache in DFS
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    分布式文件系统(DFS)能够高效管理数据中心的存储资源, 已经成为支撑众多数据密集型应用的核心基础设施. 为了降低执行文件系统操作时路径解析的开销, 分布式文件系统普遍采用了客户端元数据缓存, 同时在客户端之间同步元数据修改以保证元数据缓存的一致性. 但是现有的元数据缓存一致性方案在引入了高昂性能开销的情况下, 仍然未能正确同步全部的目录树修改, 导致正确性问题. 针对这一现状, 本文提出了一种维护元数据缓存一致性的轻量级机制, 通过基于并发广播机制的目录树修改方法以及基于惰性广播和墓碑机制的目录删除方法, 既突破了现有方案的性能瓶颈又解决了正确性缺陷. 实验结果表明, 这种机制使得分布式文件系统中目录树修改操作的延迟降低了65.8%–66.9%, 吞吐量提升了2.94–4.53倍. 此外, 在运行Spark作业时, 作业提交的延迟下降了43.6%.

    Abstract:

    Distributed file system (DFS), capable of efficiently managing storage resources in data centers, has become the cornerstone of data-intensive applications. To reduce the overhead of path resolution during file system operation, distributed file systems adopt client-side metadata cache, while ensuring the consistency of metadata cache by synchronizing metadata modifications. However, the state-of-the-art metadata consistency mechanisms introduce significant performance overhead and still fail to correctly synchronize all metadata modifications. To address these limitations, a lightweight metadata consistency mechanism is proposed. By employing a namespace modification method based on concurrent broadcast and a directory deletion method based on lazy broadcast and tombstones, the proposed mechanism overcomes the performance bottleneck and resolves the correctness issue. The evaluation results show that the proposed design reduces the namespace modification latency by 65.8%–66.9% and achieves throughput speedups ranging from 2.94–4.53 times. For real-world applications, the job submission latency of Spark workloads is reduced by 43.6%.

    参考文献
    相似文献
    引证文献
引用本文

吴雨飞,李诚,李嘉豪,王一多. DFS元数据缓存一致性的轻量级维护机制.计算机系统应用,2025,34(10):101-109

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2025-02-19
  • 最后修改日期:2025-03-12
  • 录用日期:
  • 在线发布日期: 2025-08-26
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62661041 传真: Email:csa@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号