Hadoop 迁移到阿里云MaxCompute 技术方案环境进行业务对比验证,确定迁移的正确性。 迁移开展时,您可以选择部分试点业务迁移或全量业务进行迁移。对于规模较大的用户,建 议您选择部分试点业务先行进行迁移验证,待迁移验证通过后,再扩展更大的业务范围以降低迁 移风险、提高迁移质量。 5.3 阶段 3:并行测试,割接 迁移完成后,建议基于增量数据与当前系统进行并行测试,待并行一段时间后,对并行测试 结果进行对比验证,符合业务预期即可将业务全部切换至 meta,以表名为文件名的 json 文件,如果是分区表还会有 partition meta, 同样是以表名为文件名的 json 文件。 5. 基于 Kerberos 做身份认证的 meta 连接参数配置 # sh odps-data-carrier/bin/meta-carrier -u thrift://xxx.xxx.xxx:9083 -o meta --principal hive/xxx 会自动批量将 Hive SQL 转换成 ODPS SQL,对于不能转换的 SQL,系统会给 出错误提示,需要客户手动修改。 6.5.2 UDF、MR 迁移 支持相同逻辑的 UDF、MR 输入、输出参数的映射转换,但 UDF 和 MR 内部逻辑需要客户自己 维护。【注意】:不支持在 UDF、MR 中直接访问文件系统、网络访问、外部数据源连接。 6.5.3 Spark 作业迁移 1. 【作业无需访问0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













