 尚硅谷大数据技术之Hadoop(生产调优手册)numDataUnits=10, numParityUnits=4]], CellSize=1048576, Id=5], State=DISABLED ErasureCodingPolicy=[Name=RS-3-2-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=3, numParityUnits=2]], CellSize=1048576, Id=2], State=DISABLED numDataUnits=2, numParityUnits=1]], CellSize=1048576, Id=4], State=DISABLED 3)纠删码策略解释: RS-3-2-1024k:使用 RS 编码,每 3 个数据单元,生成 2 个校验单元,共 5 个单元,也 就是说:这 5 个单元中,只要有任意的 3 个单元存在(不管是数据单元还是校验单元,只要 文件,都会执行此策略。 默认只开启对 RS-6-3-1024k 策略的支持,如要使用别的策略需要提前启用。 1)需求:将/input 目录设置为 RS-3-2-1024k 策略 2)具体步骤 (1)开启对 RS-3-2-1024k 策略的支持 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs ec -enablePolicy -0 码力 | 41 页 | 2.32 MB | 1 年前3 尚硅谷大数据技术之Hadoop(生产调优手册)numDataUnits=10, numParityUnits=4]], CellSize=1048576, Id=5], State=DISABLED ErasureCodingPolicy=[Name=RS-3-2-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=3, numParityUnits=2]], CellSize=1048576, Id=2], State=DISABLED numDataUnits=2, numParityUnits=1]], CellSize=1048576, Id=4], State=DISABLED 3)纠删码策略解释: RS-3-2-1024k:使用 RS 编码,每 3 个数据单元,生成 2 个校验单元,共 5 个单元,也 就是说:这 5 个单元中,只要有任意的 3 个单元存在(不管是数据单元还是校验单元,只要 文件,都会执行此策略。 默认只开启对 RS-6-3-1024k 策略的支持,如要使用别的策略需要提前启用。 1)需求:将/input 目录设置为 RS-3-2-1024k 策略 2)具体步骤 (1)开启对 RS-3-2-1024k 策略的支持 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs ec -enablePolicy -0 码力 | 41 页 | 2.32 MB | 1 年前3
 What's New In Apache Ozone 1.31MB Chunk6 1MB Parity1 1MB Parity2 1MB 条带1 条带2 0 11 Ozone⽀持的纠删码策略 I. 内建⽀持的策略 I. RS-3-2-1024K II. RS-6-3-1024K III.XOR-2-1-1024K II. 可定制新的策略 III.策略设置⽀持 I. 全局策略设置 II. 桶级别策略设置 III.对象/⽂件级别策略设置0 码力 | 24 页 | 2.41 MB | 1 年前3 What's New In Apache Ozone 1.31MB Chunk6 1MB Parity1 1MB Parity2 1MB 条带1 条带2 0 11 Ozone⽀持的纠删码策略 I. 内建⽀持的策略 I. RS-3-2-1024K II. RS-6-3-1024K III.XOR-2-1-1024K II. 可定制新的策略 III.策略设置⽀持 I. 全局策略设置 II. 桶级别策略设置 III.对象/⽂件级别策略设置0 码力 | 24 页 | 2.41 MB | 1 年前3
共 2 条
- 1













