Hadoop 迁移到阿里云MaxCompute 技术方案云计算技术的发展和普及,越来越多的企业客户选择数据上云,在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎,承载了越来越多企业客户的数据业务和数据资产,免运维、低成本、高 度安全和稳定性,让客户的资源更加聚焦在业务开发上,加速业务发展。 本文所描述的解决方案主要解决 Hadoop 客户如何快速、平滑的迁移到 Hbase 实现低延迟的在线服务等 分析与报表:对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。 数据作业编排:将多个数据处理动作(数据移动、处理转换等)编排成为工作流并周期性地 执行以实现数据处理工作的自动化。如 Apache Oozie、Sqoop 等。 2.1.2 开源大数据组件架构 Alibaba Cloud MaxCompute 解决方案 根据模板生成 DataWorks 项目描述文档,打包为:dataworks_project.tgz 上传到 Dataworks。【注意】:一期仅支持:1)打包文件手动上传;2)支持 OOIZE 调度引擎的配 置模板和 Dataworks 工作流配置模板。 5. 上传完成后,Dataworks 服务会根据 ODPS DDL 批量生成 MaxCompute 的 table。 6. MaxCompute0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













