Hadoop 迁移到阿里云MaxCompute 技术方案背景开发者直接上手,特别在大数据规模下性能强大。 * 完全自主开发的 compiler,语言功能开发更灵活,迭 代快,语法语义检查更加灵活高效 * 基于代价的优化器,更智能,更强大,更适合复杂的查 询 * 基于 LLVM 的代码生成,让执行过程更高效 * 支持复杂数据类型(array,map,struct) * 支持 Java、Python 语言的 UDF/UDAF/UDTF * 语法:Values、CTE、SEMIJOIN、FROM SET)、脚本运行模式、参 数化视图 * 支持外表(外部数据源+StorageHandler 支持非结构化 数据) MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce,也提供高度兼容 Hadoop 的 MapReduce 版本) 不暴露文件系统,输入输出都是表 通过 MaxCompute 客户端工具、Dataworks client 运行 hive udtf sql,从而将数据从 hive 上传至 MaxCompute。 Alibaba Cloud MaxCompute 解决方案 36 7. 编程接口:Maven xml 8. 对于 hive 集群上作业提交队列的说明: Alibaba Cloud MaxCompute 解决方案 37 我们工具在创建 hive 作业迁移数据的时候,会把作业提交到0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













