 Hadoop 迁移到阿里云MaxCompute 技术方案Agent 迁移 Meta 和数据 ................................................................ 32 6.4.3 方案 B:使用 Dataworks 服务迁移 Meta 和数据 ............................................................ 37 6.5 作业迁移 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS,是阿里自研的盘古文件系统,但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发 机制 使用时,存储与计算解耦,不需要仅仅为了存储扩大不必 要的计算资源 SQL MaxCompute SQL TPC-DS 100% 支持,同时语法高度兼容 Hive,有 Hive 背景开发者直接上手,特别在大数据规模下性能强大。 MaxCompute 产品的交互式查询服务,特性如下: 兼容 PostgreSQL:兼容 PostgreSQL 协议的 JDBC/ODBC 接口,所有支持 PostgreSQL 数据库的工 具或应用使用默认驱动都可以轻松地连接到 MaxCompute 项目。支持主流 BI 及 SQL 客户端工具的 连接访问,如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案Agent 迁移 Meta 和数据 ................................................................ 32 6.4.3 方案 B:使用 Dataworks 服务迁移 Meta 和数据 ............................................................ 37 6.5 作业迁移 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS,是阿里自研的盘古文件系统,但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发 机制 使用时,存储与计算解耦,不需要仅仅为了存储扩大不必 要的计算资源 SQL MaxCompute SQL TPC-DS 100% 支持,同时语法高度兼容 Hive,有 Hive 背景开发者直接上手,特别在大数据规模下性能强大。 MaxCompute 产品的交互式查询服务,特性如下: 兼容 PostgreSQL:兼容 PostgreSQL 协议的 JDBC/ODBC 接口,所有支持 PostgreSQL 数据库的工 具或应用使用默认驱动都可以轻松地连接到 MaxCompute 项目。支持主流 BI 及 SQL 客户端工具的 连接访问,如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。0 码力 | 59 页 | 4.33 MB | 1 年前3
 PlantUML 1.2019.4 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 166 页 | 1.82 MB | 1 年前3 PlantUML 1.2019.4 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 166 页 | 1.82 MB | 1 年前3
 PlantUML 1.2019.3 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 158 页 | 1.72 MB | 1 年前3 PlantUML 1.2019.3 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 158 页 | 1.72 MB | 1 年前3
 PlantUML 1.2019.2 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 158 页 | 1.72 MB | 1 年前3 PlantUML 1.2019.2 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 158 页 | 1.72 MB | 1 年前3
 PlantUML 1.2019.6 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 172 页 | 1.91 MB | 1 年前3 PlantUML 1.2019.6 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 172 页 | 1.91 MB | 1 年前3
 PlantUML 1.2019.9 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 172 页 | 1.93 MB | 1 年前3 PlantUML 1.2019.9 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 172 页 | 1.93 MB | 1 年前3
 Curve核心组件之mds – 网易数帆通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理 隔离(待开发)。TOPOLOGY Topology的实际例子,右侧是topo配置文件: 集群有一个物理pool,由3个zone组成,每个zone有1台server。 在物理pool上,还创建了一个逻辑pool,逻辑pool使用3个zone,采用 3副本,有100个copyset。 cluster 任务计算模块包含了多个定时任务 和 触 发任务。 • 定时任务由调度模块定时触发。 • 触发任务由外部触发,管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。 • operatorController 是任务集合,用于存放和获取任务;0 码力 | 23 页 | 1.74 MB | 6 月前3 Curve核心组件之mds – 网易数帆通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理 隔离(待开发)。TOPOLOGY Topology的实际例子,右侧是topo配置文件: 集群有一个物理pool,由3个zone组成,每个zone有1台server。 在物理pool上,还创建了一个逻辑pool,逻辑pool使用3个zone,采用 3副本,有100个copyset。 cluster 任务计算模块包含了多个定时任务 和 触 发任务。 • 定时任务由调度模块定时触发。 • 触发任务由外部触发,管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。 • operatorController 是任务集合,用于存放和获取任务;0 码力 | 23 页 | 1.74 MB | 6 月前3
 PlantUML 1.2020.23 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 305 页 | 3.11 MB | 1 年前3 PlantUML 1.2020.23 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 305 页 | 3.11 MB | 1 年前3
 PlantUML 1.2020.22 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 293 页 | 3.02 MB | 1 年前3 PlantUML 1.2020.22 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 293 页 | 3.02 MB | 1 年前3
 PlantUML 1.2021.2 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === --> 鞠躬向公眾 Guía de Referencia del Lenguaje actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 389 页 | 4.12 MB | 1 年前3 PlantUML 1.2021.2 Guía de Referencia del Lenguajeskinparam handwritten true skinparam backgroundColor #EEEBDC actor 使用者 participant "頭等艙" as A participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === --> 鞠躬向公眾 Guía de Referencia del Lenguaje actorBorderColor black skinparam usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del0 码力 | 389 页 | 4.12 MB | 1 年前3
共 14 条
- 1
- 2













