Hadoop 迁移到阿里云MaxCompute 技术方案SET)、脚本运行模式、参 数化视图 * 支持外表(外部数据源+StorageHandler 支持非结构化 数据) MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce,也提供高度兼容 Hadoop 的 MapReduce 版本) 不暴露文件系统,输入输出都是表 通过 MaxCompute 客户端工具、Dataworks MaxCompute 内建支持的上百种机器学习算法,目前 MaxCompute 的机器学习能力由 PAI 产品进行统一提供 服务,同时 PAI 提供了深度学习框架、Notebook 开发 环境、GPU 计算资源、模型在线部署的弹性预测服务。 MaxCompute 的数据对 PAI 产品无缝集成。 存储 Pangu 阿里自研分布式存储服务,类似 HDFS。MaxCompute 对外目前只暴露表接口,不能直接访问文件系统。 client 运行 hive udtf sql,从而将数据从 hive 上传至 MaxCompute。 Alibaba Cloud MaxCompute 解决方案 36 7. 编程接口:Maven xml 8. 对于 hive 集群上作业提交队列的说明: Alibaba Cloud MaxCompute 解决方案 37 我们工具在创建 hive 作业迁移数据的时候,会把作业提交到0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













