尚硅谷大数据技术之Hadoop(生产调优手册)ame=RS-10-4-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=10, numParityUnits=4]], CellSize=1048576, Id=5], State=DISABLED ErasureCodingPolicy=[Name=RS-3-2-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=3 ErasureCodingPolicy=[Name=RS-6-3-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=6, numParityUnits=3]], CellSize=1048576, Id=1], State=ENABLED ErasureCodingPolicy=[Name=RS-LEGACY-6-3-1024k, Schem Schema=[ECSchema=[Codec=rs-legacy, numDataUnits=6, numParityUnits=3]], CellSize=1048576, Id=3], State=DISABLED ErasureCodingPolicy=[Name=XOR-2-1-1024k, Schema=[ECSchema=[Codec=xor, numDataUnits=2, numParityUnits=1]]0 码力 | 41 页 | 2.32 MB | 1 年前3
Hadoop 3.0以及未来HDFS纠错码(Erasure Coding) • Reed-Solomon (RS) 编码 数据可靠性和存储效率 • 数据可靠性:可以最多几个节点故障 • 存储效率:k/(k+m) 可靠性 存储效率 单副本 0 100% 3副本 2 33% XOR(6个数据单元) 1 86% RS(6,3) 3 67% RS(10,4) 4 71% 存储布局-连续和条状 小文件处理 并行IO 数据本地性0 码力 | 33 页 | 841.56 KB | 1 年前3
這些年,我們一起追的HadoopprepareStatement("select * from test"); ResultSet rs = statement.executeQuery(); while (rs.next()) System.out.println(rs.getString("mycolumn")); statement.close();0 码力 | 74 页 | 45.76 MB | 1 年前3
共 3 条
- 1













