尚硅谷大数据技术之Hadoop(生产调优手册)numDataUnits=10, numParityUnits=4]], CellSize=1048576, Id=5], State=DISABLED ErasureCodingPolicy=[Name=RS-3-2-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=3, numParityUnits=2]], CellSize=1048576, Id=2], State=DISABLED numDataUnits=2, numParityUnits=1]], CellSize=1048576, Id=4], State=DISABLED 3)纠删码策略解释: RS-3-2-1024k:使用 RS 编码,每 3 个数据单元,生成 2 个校验单元,共 5 个单元,也 就是说:这 5 个单元中,只要有任意的 3 个单元存在(不管是数据单元还是校验单元,只要 文件,都会执行此策略。 默认只开启对 RS-6-3-1024k 策略的支持,如要使用别的策略需要提前启用。 1)需求:将/input 目录设置为 RS-3-2-1024k 策略 2)具体步骤 (1)开启对 RS-3-2-1024k 策略的支持 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs ec -enablePolicy -0 码力 | 41 页 | 2.32 MB | 1 年前3
What's New In Apache Ozone 1.31MB Chunk6 1MB Parity1 1MB Parity2 1MB 条带1 条带2 0 11 Ozone⽀持的纠删码策略 I. 内建⽀持的策略 I. RS-3-2-1024K II. RS-6-3-1024K III.XOR-2-1-1024K II. 可定制新的策略 III.策略设置⽀持 I. 全局策略设置 II. 桶级别策略设置 III.对象/⽂件级别策略设置0 码力 | 24 页 | 2.41 MB | 1 年前3
2022 Apache Ozone 的最近进展和实践分享4) 4 71% EC RS(3,2) 2 60% 以计算为代价,在不降低数据可靠性的同 时,降低数据存储成本 数据可靠性 vs. 存储效率 纠删码策略 • 内建⽀持的策略 • RS-3-2-1024K • RS-6-3-1024K • XOR-2-1-1024K • 可定制新的策略 • 策略设置⽀持 • 全局策略设置 • 桶级别策略设置 • 对象/⽂件级别策略设置 数据写⼊ DN50 码力 | 35 页 | 2.57 MB | 1 年前3
Apache Ozone Erasure Coding(EC)target DNs Target DNs sending ICR EC Replication Config ➢ Format: CODEC-DATA-PARITY-CHUNKSIZE ○ RS-3-2-1024K ○ RS-6-3-1024K ○ RS-10-4-1024K ○ XOR-3-2-1024K ○ XOR-6-3-1024K ○ XOR-10-4-1024K Enabling0 码力 | 29 页 | 7.87 MB | 1 年前3
共 4 条
- 1













