Hadoop 迁移到阿里云MaxCompute 技术方案SQL,传输数据。 6.3 迁移评估报告 6.3.1 迁移评估信息收集 6.3.1.1 使用 MMA Agent 自动采集 Hive Metadata 1. 工具运行环境要求:JDK8.0、Python3 以上版本。 2. 解压工具包:odps-data-carrier.zip,工具目录结构如下: Alibaba Cloud MaxCompute 解决方案 23 其中,bin 4、5 步 Alibaba Cloud MaxCompute 解决方案 50 7.1.7 运行 odps_ddl_runner.py 生成 odps 表和分区 执行:python3 odps-data-carrier/bin/odps_ddl_runner.py --input processed 可以看到,这个命令自动生成了对应的表和 partition,之后我们用 MaxCompute 解决方案 51 可以看到,分区也已经建好了 7.1.8 运行 hive_udtf_sql_runner.py,将 hive 的数据同步到 odps 执行:python3 odps-data-carrier/bin/hive_udtf_sql_runner.py --input_all processed/ 用 odpscmd 工具验证数据是否被上传到 mc:0 码力 | 59 页 | 4.33 MB | 1 年前3
Guía de referencia de Debian v2.124es: Utilizadash, si la tarea es sencilla y combina programas CLI con un programa shell. Utiliza python3, si la tarea no es sencilla y la estás escribiendo desde cero. Usa perl, tcl, ruby, ... si hay un REPL para Perl: reply(1) libdevel-repl-perlV:0, I:0 237 REPL para Perl: re.pl(1) python3 V:718, I:953 81 Python: python3(1) y páginas html proporcionadas por python3-doc tcl V:25, I:218 21 Tcl: tcl(3)0 码力 | 285 页 | 1.43 MB | 1 年前3
共 2 条
- 1













