60% 以计算为代价，满⾜数据可靠性的同时， 降低数据存储成本 数据可靠性 vs. 存储效率 7 Ozone条带纠删码 I. 物理块：每个DN磁盘上的数据块，默认256MB II. 逻辑EC块：满⾜EC策略的⼀个⽤户数据块。例如RS-3-2，⼀个逻辑块3*256MB⼤⼩ III. 条带：条带的默认粒度1MB，可配置 IV. EC Container Group：给定Container的⼀组满⾜EC策略的副本实例 256MB 256MB 256MB 256MB 256MB 256MB 256MB 256MB 0 data1 data2 data3 parity1 parity2 逻 辑 块 物理块 9 数据读取 DN5 C-2 DN1 C-2 DN2 C-2 DN3 C-2 DN4 C-2 EC Container Group 客户端 读取⽂件 Chunk1 HDD，⼤⽂件场景，数据块平均⼤⼩128MB，总共 16 * 1024 * 1024 / 128 ～= 131K 数据块 ⾜够！ • 16TB HDD, ⼩⽂件场景(例如照⽚), 数据块平均1MB, 总共 16 * 1024 * 1024 ~= 16 million 数据块 ⾜够! • 16TB HDD, 极⼩⽂件场景，数据块平均1KB, 总共 16 billion 数据块 有挑战

parity2 数据写⼊ • EC Container Group：给定Container的⼀组满⾜EC策略的副本实例 • 物理块：每个DN磁盘上的数据块，默认是256MB • 逻辑EC块：属于单个条带，满⾜EC策略的⼀组数据块。例如EC-3-2，⼀个逻辑块 3*256MB⼤⼩ • 条带粒度：条带的粒度默认1MB，可配置 数据读取 DN5 C-2 DN1 C-2 DN2 C-2

的简单，即使因此需要可扩展性上做一些妥协。但是在Ozone在扩展性上绝不逊色，目标 是支持单集群1000亿个对象。 构架分层 Ozone 采用分层的文件系统。Namespace 元数据的管理，数据块和节点的管理分开。用户可以对二者独立扩展。 容易恢复 HDFS 一个关键优点是，它能经历大的灾难事件，比如集群级别的电力故障，而不丢失数据, 并 且能高效的从灾难中恢复。对于一些小的故障，比如机架和节点级别的故障，更是不在话 Spark大数据博客 - https://www.iteblog.com 构架 Ozone 从结构上分为三个部分，Ozone Manager, 元数据管理；Storage Container Manager， 数据块和节点管理；Datanode， 数据最终的存放处。类比 HDFS 的构架， 可以看到原来 Namenode 的功能，现在由 Ozone Manager 和 Storage Container Manage 发来的心跳信息，作为Datanode manager的角色, 保证和维护集群所需的数据冗余级别。SCM 和 Ozone Client 之间没有通信。 Block，Container 和 Pipeline Block 是数据块对象，真实存储用户的数据。Container是一个逻辑概念，是由一些相互之间没有关系的 4 / 10 Ozone：Hadoop