Apache Ozone – 使⽤场景 #1 HDFS (300M FILES) AI/ML HIVE/IMPALA/SPARK KAFKA / FLINK 计算 OZONE (2 BILLION Objects) AI/ML HIVE/IMPALA/SPARK KAFKA / FLINK 计算 OTHER WORKLOADS OTHER 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE STORAGE AI/ML HIVE/IMPALA/ SPARK KAFKA / Flink 计算 数据科学 数据仓库 S3 应⽤ S3 API OTHER WORKLOADS ⽬录 • Apache Hadoop HDFS⾯临的问题 Query Completion Time (in sec) HDFS 0.572 Ozone With FSO Layout 0.854 Ozone With OBS Layout 12.219 Hive 删除表(Rename操作) ● FileSystem delete on table directory path ● Moves table data to trash 举例: fs.d

和Hadoop生态的互操作性 Ozone 可以被 Hadoop 生态中的应用，如 Apache Hive、Apache Spark 和 Mapreduce 无缝对接。Ozone 支持 Hadoop Compatible FileSystem API (aka OzoneFS)。通过 OzoneFS， Hive，Spark 等应用不需要做任何修改，就可以运行在 Ozone上 。Ozone 同时支持 Data 生态的结合 Ozone 同时支持 Hadoop 2.x 和 Hadoop 3.x 集群，能够和运行其上的Hive，Spark 等应用无缝集成。 结束语 Apache Ozone 是一个开发迭代非常活跃的社区，在 2018 年发布了版本 0.2.1 和 0.3.0，支持 OzoneFS, YARN, HIVE and Spark on OzoneFS, S3 协议接口。2019年发布了版本0.4.0，0

Query Completion Time (in sec) HDFS 0.572 Ozone With FSO Layout 0.854 Ozone With OBS Layout 12.219 Hive 删除表(Rename操作) ● FileSystem delete on table directory path ● Moves table data to trash 举例: fs.d

and S3 Object Store ➢ Scale to 1000’s of nodes with dense storage configurations ➢ Apache Spark, Hive and YARN work without any code modifications by using OFS protocol Ozone Client Apache Ozone Architecture

reserved. IMPALA + OZONE • Impala: SQL engine built to run in Hadoop clusters – Metadata stored in Hive Metastore – Data stored in Hadoop compatible storage • We will store Impala’s data in Ozone instead