Hadoop 迁移到阿里云MaxCompute 技术方案SQL,传输数据。 6.3 迁移评估报告 6.3.1 迁移评估信息收集 6.3.1.1 使用 MMA Agent 自动采集 Hive Metadata 1. 工具运行环境要求:JDK8.0、Python3 以上版本。 2. 解压工具包:odps-data-carrier.zip,工具目录结构如下: Alibaba Cloud MaxCompute 解决方案 23 其中,bin 4、5 步 Alibaba Cloud MaxCompute 解决方案 50 7.1.7 运行 odps_ddl_runner.py 生成 odps 表和分区 执行:python3 odps-data-carrier/bin/odps_ddl_runner.py --input processed 可以看到,这个命令自动生成了对应的表和 partition,之后我们用 MaxCompute 解决方案 51 可以看到,分区也已经建好了 7.1.8 运行 hive_udtf_sql_runner.py,将 hive 的数据同步到 odps 执行:python3 odps-data-carrier/bin/hive_udtf_sql_runner.py --input_all processed/ 用 odpscmd 工具验证数据是否被上传到 mc:0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













