 Hadoop 迁移到阿里云MaxCompute 技术方案..................................................................... 15 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 ......................................................................... 15 3.2 不同的网络环境及部署形态迁移 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈,严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及,越来越多的企业客户选择数据上云,在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎,承载了越来越多企业客户的数据业务和数据资产,免运维、低成本、高 度 Hadoop 及开源生态与阿里云大数据生态对比 2.1.1 主流大数据体系架构 Hadoop 及开源生态由一系列的开源组件共同组成,很多用户基于 Hadoop 及开源生态组件构 建企业数据仓库/数据湖、机器学习、实时分析、BI 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示: 这些逻辑组件包括:  数据源:数据源包括关系型数据库、日志文件、实时消息等。0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案..................................................................... 15 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 ......................................................................... 15 3.2 不同的网络环境及部署形态迁移 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈,严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及,越来越多的企业客户选择数据上云,在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎,承载了越来越多企业客户的数据业务和数据资产,免运维、低成本、高 度 Hadoop 及开源生态与阿里云大数据生态对比 2.1.1 主流大数据体系架构 Hadoop 及开源生态由一系列的开源组件共同组成,很多用户基于 Hadoop 及开源生态组件构 建企业数据仓库/数据湖、机器学习、实时分析、BI 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示: 这些逻辑组件包括:  数据源:数据源包括关系型数据库、日志文件、实时消息等。0 码力 | 59 页 | 4.33 MB | 1 年前3
 Curve核心组件之mds – 网易数帆当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息,自动调度 无需人工干预 • 对io影响几乎无影响欢 迎 大 家 参 与 C U R V E 项 目 ! • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve • 技术讲座直播:https://live.bilibili.com/22585337 • 系列讲座合集:https://space0 码力 | 23 页 | 1.74 MB | 6 月前3 Curve核心组件之mds – 网易数帆当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息,自动调度 无需人工干预 • 对io影响几乎无影响欢 迎 大 家 参 与 C U R V E 项 目 ! • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve • 技术讲座直播:https://live.bilibili.com/22585337 • 系列讲座合集:https://space0 码力 | 23 页 | 1.74 MB | 6 月前3
共 2 条
- 1













