 Hadoop 迁移到阿里云MaxCompute 技术方案1 的第 3、4 步。 4. 根据模板生成 DataWorks 项目描述文档,打包为:dataworks_project.tgz 上传到 Dataworks。【注意】:一期仅支持:1)打包文件手动上传;2)支持 OOIZE 调度引擎的配 置模板和 Dataworks 工作流配置模板。 5. 上传完成后,Dataworks 服务会根据 ODPS DDL 批量生成 MaxCompute 的 Dataworks 项目描述文档,参见 6.4.2。 2. Dataworks 会自动批量将 Hive SQL 转换成 ODPS SQL,对于不能转换的 SQL,系统会给 出错误提示,需要客户手动修改。 6.5.2 UDF、MR 迁移 支持相同逻辑的 UDF、MR 输入、输出参数的映射转换,但 UDF 和 MR 内部逻辑需要客户自己 维护。【注意】:不支持在 UDF、MR 中直接访问文件系统、网络访问、外部数据源连接。0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案1 的第 3、4 步。 4. 根据模板生成 DataWorks 项目描述文档,打包为:dataworks_project.tgz 上传到 Dataworks。【注意】:一期仅支持:1)打包文件手动上传;2)支持 OOIZE 调度引擎的配 置模板和 Dataworks 工作流配置模板。 5. 上传完成后,Dataworks 服务会根据 ODPS DDL 批量生成 MaxCompute 的 Dataworks 项目描述文档,参见 6.4.2。 2. Dataworks 会自动批量将 Hive SQL 转换成 ODPS SQL,对于不能转换的 SQL,系统会给 出错误提示,需要客户手动修改。 6.5.2 UDF、MR 迁移 支持相同逻辑的 UDF、MR 输入、输出参数的映射转换,但 UDF 和 MR 内部逻辑需要客户自己 维护。【注意】:不支持在 UDF、MR 中直接访问文件系统、网络访问、外部数据源连接。0 码力 | 59 页 | 4.33 MB | 1 年前3
 Curve核心组件之mds – 网易数帆Value:自身的文件ID。 这种方式可以很好地平衡几个需求: • 文件列目录:列出目录下的所有文件和目 录 • 文件查找:查找一个具体的文件 • 目录重命名:对一个目录/文件进行重命名 当前元数据信息编码之后存储在 etcd 中。COPYSET Curve系统中数据分片的最小单位称之为Chunk。在大规模的存储容量下,会产生大量的Chunk,如此众多的 Chunk,会对元数据的存储、管理产生一定0 码力 | 23 页 | 1.74 MB | 6 月前3 Curve核心组件之mds – 网易数帆Value:自身的文件ID。 这种方式可以很好地平衡几个需求: • 文件列目录:列出目录下的所有文件和目 录 • 文件查找:查找一个具体的文件 • 目录重命名:对一个目录/文件进行重命名 当前元数据信息编码之后存储在 etcd 中。COPYSET Curve系统中数据分片的最小单位称之为Chunk。在大规模的存储容量下,会产生大量的Chunk,如此众多的 Chunk,会对元数据的存储、管理产生一定0 码力 | 23 页 | 1.74 MB | 6 月前3
共 2 条
- 1













