Hadoop 迁移到阿里云MaxCompute 技术方案12 续将提供兼容 ORC 的 Ali-ORC 存储格式 支持外表,将存储在 OSS 对象存储、OTS 表格存储的数 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS,是阿里自研的盘古文件系统,但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发 机制 使用时,存储与计算解耦,不需要仅仅为了存储扩大不必 要的计算资源 Alibaba Cloud MaxCompute 解决方案 20 5.1 阶段 1:调研评估&迁移方案 重点进行迁移前的评估分析,通过迁移工具对 Hadoop 平台的相关信息进行收集和诊断分 析,形成迁移分析报告,供决策者评估使用。 同时,根据诊断分析报告的内容,用户可以根据自身业务现状,制定迁移方案和计划。 5.2 阶段 2:试点/全面业务迁移 在确定开展迁移工作后,需要准备 例子: Alibaba Cloud MaxCompute 解决方案 29 【说明】:报告中对于 String 类型的 8M 限制的警告:不会截断该字段,但整个 SQL(表或分 区)的写入都会失败,因为 sql-checker 就会报错,不会走到 commit。 6.3.3.2 从 Dataworks 获得评估报告: 查看节点列表:Dataworks0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













