 Hadoop 迁移到阿里云MaxCompute 技术方案meta,以表名为文件名的 json 文件,如果是分区表还会有 partition meta, 同样是以表名为文件名的 json 文件。 5. 基于 Kerberos 做身份认证的 meta 连接参数配置 # sh odps-data-carrier/bin/meta-carrier -u thrift://xxx.xxx.xxx:9083 -o meta --principal hive/xxx 会自动批量将 Hive SQL 转换成 ODPS SQL,对于不能转换的 SQL,系统会给 出错误提示,需要客户手动修改。 6.5.2 UDF、MR 迁移 支持相同逻辑的 UDF、MR 输入、输出参数的映射转换,但 UDF 和 MR 内部逻辑需要客户自己 维护。【注意】:不支持在 UDF、MR 中直接访问文件系统、网络访问、外部数据源连接。 6.5.3 Spark 作业迁移 1. 【作业无需访问 MaxCompute 解决方案 57 8.1.5 单表迁移 8.1.5.1 指定表名获取 Meta 在使用 meta-carrier 工具获取 Hive Meta 数据的时候,可以通过参数指定需要迁移的 database 名称和表名,生成的 meta 目录就会只有这一个 table 的 json 文件。 其余迁移操作步骤与 7.1.4.1 相同。 8.1.6 批量迁移0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案meta,以表名为文件名的 json 文件,如果是分区表还会有 partition meta, 同样是以表名为文件名的 json 文件。 5. 基于 Kerberos 做身份认证的 meta 连接参数配置 # sh odps-data-carrier/bin/meta-carrier -u thrift://xxx.xxx.xxx:9083 -o meta --principal hive/xxx 会自动批量将 Hive SQL 转换成 ODPS SQL,对于不能转换的 SQL,系统会给 出错误提示,需要客户手动修改。 6.5.2 UDF、MR 迁移 支持相同逻辑的 UDF、MR 输入、输出参数的映射转换,但 UDF 和 MR 内部逻辑需要客户自己 维护。【注意】:不支持在 UDF、MR 中直接访问文件系统、网络访问、外部数据源连接。 6.5.3 Spark 作业迁移 1. 【作业无需访问 MaxCompute 解决方案 57 8.1.5 单表迁移 8.1.5.1 指定表名获取 Meta 在使用 meta-carrier 工具获取 Hive Meta 数据的时候,可以通过参数指定需要迁移的 database 名称和表名,生成的 meta 目录就会只有这一个 table 的 json 文件。 其余迁移操作步骤与 7.1.4.1 相同。 8.1.6 批量迁移0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













