Hadoop 迁移到阿里云MaxCompute 技术方案使用时,存储与计算解耦,不需要仅仅为了存储扩大不必 要的计算资源 SQL MaxCompute SQL TPC-DS 100% 支持,同时语法高度兼容 Hive,有 Hive 背景开发者直接上手,特别在大数据规模下性能强大。 * 完全自主开发的 compiler,语言功能开发更灵活,迭 代快,语法语义检查更加灵活高效 * 基于代价的优化器,更智能,更强大,更适合复杂的查 询 计算资源、模型在线部署的弹性预测服务。 MaxCompute 的数据对 PAI 产品无缝集成。 存储 Pangu 阿里自研分布式存储服务,类似 HDFS。MaxCompute 对外目前只暴露表接口,不能直接访问文件系统。 Alibaba Cloud MaxCompute 解决方案 15 资源调度 Fuxi 阿里自研的资源调度系统,类似 Yarn。 数据上传下载 Tunnel Cloud MaxCompute 解决方案 33 【注意】:配置文件中默认 hiveCompatible 的设置是 false,如果需要把 hive 上的 udf 的 jar 直接上传到 odps 上,需要打开 hive 兼容。 4. 编辑好 metadata 之后,便可以开始生成 ODPS DDL 和 Hive UDTF SQL 了,用法如下: Alibaba Cloud0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













