Hadoop 迁移到阿里云MaxCompute 技术方案MaxCompute 解决方案 21 6 迁移详细方案 6.1 MMA 迁移服务架构 6.2 MMA Agent 技术架构及原理介绍 MMA Agent 的工作流程主要分为四个步骤: Alibaba Cloud MaxCompute 解决方案 22 6.2.1 Metadata 抓取 Meta carrier 连接用户的 Hive metastore MaxCompute 表创建 运行上一步生成的 MaxCompute DDL,创建 MaxCompute 的表与分区。 6.2.4 Hive 数据迁移 在用户 Hadoop 集群上运行步骤 2 中生成的 Hive UDTF SQL,传输数据。 6.3 迁移评估报告 6.3.1 迁移评估信息收集 6.3.1.1 使用 MMA Agent 自动采集 Hive Metadata mapreduce.job.queuename=root.hadoop.plarch 6.4.3 方案 B:使用 Dataworks 服务迁移 Meta 和数据 6.4.3.1 操作步骤 1. 客户需要预先开通 MaxCompute 服务,并创建好 project。 2. 安装 MMA Agent 并使用 meta-carrier 获取 hive metadata,参见 60 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













