分布式存储是相对于集中式存储的另一种存储架构,也可以说是另一种存储系统。行业中有非常多的分布式存储系统,例如华为FusionStorage分布式存储套件,该分布式存储系统是业界领先的分布式存储解决方案之一,广泛应用于传统医疗、金融、教育、制造等行业,同时也用于华为HCS云解决方案中。本文以华为FusionStorage为例进行分析(各分布式存储产品原理都十分相似,即采用哈希路由方式对数据进行分片分发)。
一般来说分布式存储的存储系统分为三大板块:
元数据管理模块:对数据存储过程中需要用到的数据分布式规则、数据重建规则、数据读写规则的创造者和维护者,同时也是整个系统健康管理的监控者。
数据计算分发模块:一般以代理的方式安装在用户侧,在系统内存侧接收需要存储的数据,通过相应规则对数据切块分片,再根据元数据管理模块生产的数据分布式规则,结合哈希计算,将数据分发至各分布式存储的节点内的底层存储介质管理模块。
底层存储介质管理模块:一般用于管理底层存储介质(如磁盘等),也用于接收上层数据计算分发模块下发的数据分片,并将其存储于所管理的存储介质中。
那么华为FusionStorage也采用以上架构模块模式(如下图)。元数据管理模块为MDC,数据计算分发模块VBS,底层存储介质管理模块OSD。