Volume 2,Issue 7
面向海量小文件场景的分布式文件系统元数据分层索引与缓存协同优化
本文聚焦面向海量小文件场景的分布式文件系统元数据分层索引与缓存协同优化，面向海量小文件场景，分布式文件系统普遍面临元数据管理瓶颈，传统单一索引或缓存优化策略存在局限性。本文提出一种元数据分层索引与缓存协同优化方法，旨在系统性解决该问题。设计“全局-区域-节点”三级元数据分层索引模型，通过分层解耦、动态调整与聚合优化原则，实现元数据管理的低延迟、高可扩展与负载均衡；构建“客户端-区域代理-存储节点”三级协同缓存架构，并设计双向联动机制；同时通过版本控制、分布式锁及同步策略保障协同过程中的数据一致性。该方法通过打破索引与缓存间的优化孤岛，实现了二者深度协同，有效降低了元数据访问延迟，提升了系统整体吞吐量与资源利用率，为海量小文件场景下的分布式文件系统元数据管理提供了高效、可靠的解决方案。
[1] 黄华. 蓝鲸分布式文件系统的资源管理[D]. 北京:中国科学院计算技术研究所,2005.
[2] 鲁凯. 基于机器学习的分布式存储系统性能优化研究[D]. 湖北:华中科技大学,2023.
[3] 朱云生. 基于元数据关联特征的分布式查询方法研究[D]. 湖北:华中科技大学,2013.DOI:10.7666/d.D411555.
[4] 孙宇鹏. 一种信息中心网络文件系统的关键技术研究[D]. 中国科学院大学,2020.
[5]石岩. —种基于AIoT业务优化的分布式对象存储系统设计[J]. 中国安防,2023(12):27-30. DOI:10.3969/j.issn.1673-7873.2023.12.007.
[6] 朱建坤. 海量多源异构遥感影像的高效管理与调度方法研究[D]. 安徽:安徽理工大学,2023.
[7] 胡皓胜. 分层索引的键值存储系统研究与实现[D]. 湖北:华中科技大学,2022.
[8] 付鋆,汪浩,陈运晶. 基于内容分块优化算法的云存储去冗技术测试[J]. 微型电脑应用,2020,36(9):89-91. DOI:10.3969/j.issn.1007-757X.2020.09.028.
[9] 刘莉. 基于日志结构合并树的键值存储系统读写性能优化研究[D]. 湖北:华中科技大学,2022.
[10]王学龙,张璟. P2P在制造资源信息共享中的应用[J]. 计算机工程与应用,2012,48(11):233-238. DOI:10.3778/j.issn.1002-8331.2012.11.050.