Hadoop 迁移到阿里云MaxCompute 技术方案MLib/ML、Tensorflow 等。 分析型数据存储:对数据进行处理加工后,面向应用场景,将数据以结构化的方式进行存储, 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问,利用 Hbase 实现低延迟的在线服务等 分析与报表:对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。 数据作业编排:将多个数 Studio 组件 Dataworks 数据集成组件 2.2 MaxCompute 特性介绍 MaxCompute 是阿里云提供高效能、低成本,完全托管的“EB 级”大数据计算服务,利用 MaxCompute 可以构建敏捷、高效的企业数据管理平台。 Alibaba Cloud MaxCompute 解决方案 11 2.2.1 MaxComptue 的逻辑架构 Migration Assist) 阿里云 MaxCopute 产品面向 Hadoop 用户提供配套的搬迁工具 MaxCompute Migration Assist(简称 MMA),利用该工具帮助用户进行迁移事前评估、利用工具加速迁移进程并降低迁 移风险。 4.1.1 工具覆盖的场景: 工作负载 Hadoop 开源生态 MaxCompute 产品组件/MaxCompute 生态工具0 码力 | 59 页 | 4.33 MB | 1 年前3
Curve核心组件之mds – 网易数帆心跳模块。跟chunkserver进行交互,收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常(如坏盘、机器宕机)导致的数据丢失不依赖人工处理,可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、cpu、内存等资源的利用率最大化。SCHEDULE Schdedule的具体实现 Coordinator: 调度模块的对外接口。心跳会将 chunkserver上报上来的copyset信息提交给 Coordinator,0 码力 | 23 页 | 1.74 MB | 6 月前3
共 2 条
- 1













