 Hadoop 迁移到阿里云MaxCompute 技术方案Oozie、Azkaban、Airflow 等工具的工 作流及调度任务进行自动迁移转化,并自动创建为 Dataworks 工作流及调度作业。 5 迁移整体方案及流程 根据迁移工作的内容,我们提供了以下工作方法来保障迁移工作能够科学有序地开展 。 整个迁移工作包含以下几个阶段: Alibaba Cloud MaxCompute 解决方案 20 5.1 阶段 1:调研评估&迁移方案 network-measurement-tool 可以检查 Hadoop 集群与 MaxCompute 各个 Region 的网络连通质量,以及 download/upload 的性能。  工具使用方法  Example Alibaba Cloud MaxCompute 解决方案 27  输出结果 Output: 性能测试报告 [INFO ] Alibaba Cloud MaxCompute 解决方案 29 【说明】:报告中对于 String 类型的 8M 限制的警告:不会截断该字段,但整个 SQL(表或分 区)的写入都会失败,因为 sql-checker 就会报错,不会走到 commit。 6.3.3.2 从 Dataworks 获得评估报告:  查看节点列表:Dataworks 会将客户上传的0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案Oozie、Azkaban、Airflow 等工具的工 作流及调度任务进行自动迁移转化,并自动创建为 Dataworks 工作流及调度作业。 5 迁移整体方案及流程 根据迁移工作的内容,我们提供了以下工作方法来保障迁移工作能够科学有序地开展 。 整个迁移工作包含以下几个阶段: Alibaba Cloud MaxCompute 解决方案 20 5.1 阶段 1:调研评估&迁移方案 network-measurement-tool 可以检查 Hadoop 集群与 MaxCompute 各个 Region 的网络连通质量,以及 download/upload 的性能。  工具使用方法  Example Alibaba Cloud MaxCompute 解决方案 27  输出结果 Output: 性能测试报告 [INFO ] Alibaba Cloud MaxCompute 解决方案 29 【说明】:报告中对于 String 类型的 8M 限制的警告:不会截断该字段,但整个 SQL(表或分 区)的写入都会失败,因为 sql-checker 就会报错,不会走到 commit。 6.3.3.2 从 Dataworks 获得评估报告:  查看节点列表:Dataworks 会将客户上传的0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













