Alibaba Cloud MaxCompute 解决方案 6 1 概要 Hadoop 在企业构建第一代大数据平台中成为主流的技术框架，但是随着企业信息化的高 速发展，在数字化、智能化的转型过程中，Hadoop 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着 MaxCompute 提供了 Spark on MaxCompute 的解决 方案，使 MaxCompute 提供的兼容开源的 Spark 计算 服务，让它在统一的计算资源和数据集权限体系之上，提 供 Spark 计算框架，支持用户以熟悉的开发使用方式提 交运行 Spark 作业。 * 支持原生多版本 Spark 作业：Spark1.x/Spark2.x 作业 都可运行； * 内外部数据开展机器 学习，扩展应用场景； 机器学习 PAI MaxCompute 内建支持的上百种机器学习算法，目前 MaxCompute 的机器学习能力由 PAI 产品进行统一提供 服务，同时 PAI 提供了深度学习框架、Notebook 开发 环境、GPU 计算资源、模型在线部署的弹性预测服务。 MaxCompute 的数据对 PAI 产品无缝集成。 存储 Pangu 阿里自研分布式存储服务，类似

Chunkserver: 用于抽象描述物理服务器上的一块物理磁盘 (SSD)，chunkserver以一块磁盘作为最小的服务单元。TOPOLOGY curve在上物理pool之上又引入逻辑pool的概念，以实现统一存储系统的需求，即在单个存储系统中多副 本PageFile支持块设备、三副本AppendFile（待开发）支持在线对象存储、AppendECFile（待开发）支持 近线对象存储可以共存。 如上