 Hadoop 迁移到阿里云MaxCompute 技术方案Hadoop 的 MapReduce 版本) 不暴露文件系统,输入输出都是表 通过 MaxCompute 客户端工具、Dataworks 提交作业 交互式分析 MaxCompute Lightning MaxCompute 产品的交互式查询服务,特性如下: 兼容 PostgreSQL:兼容 PostgreSQL 协议的 JDBC/ODBC 接口,所有支持 PostgreSQL 数据库的工 Spark 作业:Spark1.x/Spark2.x 作业 都可运行; * 开源系统的使用体验:Spark-submit 提交方式(暂不 支持 spark-shell/spark-sql 的交互式),提供原生的 Spark WebUI 供用户查看; * 通过访问 OSS、OTS、database 等外部数据源,实现 更复杂的 ETL 处理,支持对 OSS 非结构化进行处理; * MapReduce MaxCompute MR Apache Spark MaxCompute Spark 交互式分析 Impala Presto Hawk GreenPlum 等交互式分析 MaxCompute Lightning,提供只读的交互式查 询服务 图计算 Spark GraphX MaxCompute Spark GraphX MaxCompute0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案Hadoop 的 MapReduce 版本) 不暴露文件系统,输入输出都是表 通过 MaxCompute 客户端工具、Dataworks 提交作业 交互式分析 MaxCompute Lightning MaxCompute 产品的交互式查询服务,特性如下: 兼容 PostgreSQL:兼容 PostgreSQL 协议的 JDBC/ODBC 接口,所有支持 PostgreSQL 数据库的工 Spark 作业:Spark1.x/Spark2.x 作业 都可运行; * 开源系统的使用体验:Spark-submit 提交方式(暂不 支持 spark-shell/spark-sql 的交互式),提供原生的 Spark WebUI 供用户查看; * 通过访问 OSS、OTS、database 等外部数据源,实现 更复杂的 ETL 处理,支持对 OSS 非结构化进行处理; * MapReduce MaxCompute MR Apache Spark MaxCompute Spark 交互式分析 Impala Presto Hawk GreenPlum 等交互式分析 MaxCompute Lightning,提供只读的交互式查 询服务 图计算 Spark GraphX MaxCompute Spark GraphX MaxCompute0 码力 | 59 页 | 4.33 MB | 1 年前3
 Curve核心组件之mds – 网易数帆Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。 • Heartbeat: 心跳模块。跟chunkserver进行交互,收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨 Pool交互。运维上,建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元,一般来说属于不同zone的机 器至少是部署在不同的机架,一个server必须归属于一个 zone。 • server: offset in chunk, length in chunk), Chunkserver 完成后通知; 5. Client通知用户请求完成。HEARTBEAT 心跳用于中心节点和数据节点的数据交互,详细功能如下: • 通过chunkserver的定期心跳,检测chunkserver的在线状态(online, unstable, offline) • 记录chunkserver定期上报的状0 码力 | 23 页 | 1.74 MB | 6 月前3 Curve核心组件之mds – 网易数帆Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。 • Heartbeat: 心跳模块。跟chunkserver进行交互,收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨 Pool交互。运维上,建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元,一般来说属于不同zone的机 器至少是部署在不同的机架,一个server必须归属于一个 zone。 • server: offset in chunk, length in chunk), Chunkserver 完成后通知; 5. Client通知用户请求完成。HEARTBEAT 心跳用于中心节点和数据节点的数据交互,详细功能如下: • 通过chunkserver的定期心跳,检测chunkserver的在线状态(online, unstable, offline) • 记录chunkserver定期上报的状0 码力 | 23 页 | 1.74 MB | 6 月前3
共 2 条
- 1













