 Hadoop 迁移到阿里云MaxCompute 技术方案UDTF SQL 了,用法如下: Alibaba Cloud MaxCompute 解决方案 34 5. ODPS DDL 创建好以后,odps_ddl_runner.py 将会遍历 meta-processor 生成的目录,调 用 odpscmd 自动创建 ODPS 表与分区。 Alibaba Cloud MaxCompute 解决方案 35 【注意】:odps_ddl_runner spm=a2c4g.11186623.2.16.2fbaa9 5emqdrea#concept-qbk-1kv-tdb 6. 表和分区创建完成以后,hive_udtf_sql_runner.py 将会遍历 meta-processor 生成的目 录,调用 hive client 运行 hive udtf sql,从而将数据从 hive 上传至 MaxCompute。 Alibaba Cloud Cloud MaxCompute 解决方案 55 在 input_all 模式下,我们给一个 meta-processor 生成的目录,之后 odps_hive_udtf_runner 会自动遍历该目录下的文件,并串行执行里面的 hive sql, 例如: python3 odps-data-carrier/bin/hive_udtf_sql_runner.py --input_all0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案UDTF SQL 了,用法如下: Alibaba Cloud MaxCompute 解决方案 34 5. ODPS DDL 创建好以后,odps_ddl_runner.py 将会遍历 meta-processor 生成的目录,调 用 odpscmd 自动创建 ODPS 表与分区。 Alibaba Cloud MaxCompute 解决方案 35 【注意】:odps_ddl_runner spm=a2c4g.11186623.2.16.2fbaa9 5emqdrea#concept-qbk-1kv-tdb 6. 表和分区创建完成以后,hive_udtf_sql_runner.py 将会遍历 meta-processor 生成的目 录,调用 hive client 运行 hive udtf sql,从而将数据从 hive 上传至 MaxCompute。 Alibaba Cloud Cloud MaxCompute 解决方案 55 在 input_all 模式下,我们给一个 meta-processor 生成的目录,之后 odps_hive_udtf_runner 会自动遍历该目录下的文件,并串行执行里面的 hive sql, 例如: python3 odps-data-carrier/bin/hive_udtf_sql_runner.py --input_all0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













