Hadoop 迁移到阿里云 MaxCompute 技术方案 （V2.8.5） 编写人：MaxCompute 产品团队 日 期：2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .................................. .............. 6 2 阿里云大数据与开源生态对比 .................................................................................................................. 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ................ ..................... 8 2.1.3 阿里云大数据组件架构 ......................................................................................................... 9 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 ................

Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： https://github 不同机架，或是不同的交换机下面。 2. 隔离和共享：不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离，server不能跨 Pool交互。运维上，建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元，一般来说属于不同zone的机 器至少是部署在不同的机架，一个server必须归属于一个 zone。 • server: 通过结合curve的用户系统，LogicalPool可以通过配置限定特定user使用的方式，实现多个租户数据物理 隔离（待开发）。TOPOLOGY Topology的实际例子，右侧是topo配置文件： 集群有一个物理pool，由3个zone组成，每个zone有1台server。 在物理pool上，还创建了一个逻辑pool，逻辑pool使用3个zone，采用 3副本，有100个copyset。 cluster

skinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del

skinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del

skinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del

skinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del

skinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del

skinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del

skinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del

skinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === --> 鞠躬向公眾 Guía de Referencia del Lenguaje actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del