 Curve核心组件之mds – 网易数帆元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。 • Heartbeat: 心跳模块。跟chunkserver进行交互,收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 offline) • 记录chunkserver定期上报的状态信息(磁盘容量,磁盘负载,copyset负载等),以提供运维工 具查看上述状态信息。 • 通过上述信息的定期更新,作为schedule 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch, 检测chunkserver的copyset与mds差异,同 步两者的copyset信息 端的心跳主要由三个部分组成: • TopoUpdater: 根据 chunkserver 上报的 copyset 信息更新拓扑 中的信息。 • ConfGenerator: 将当前上报的 copyset 信息提交给调度模块, 获取该 copyset 上可能需要执行的任务。 • HealthyChecker: 检查集群中的 chunkserver 在当前时间点距 离上一次心跳的时间,根据这个时间差更新chunkserver状态。0 码力 | 23 页 | 1.74 MB | 6 月前3 Curve核心组件之mds – 网易数帆元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。 • Heartbeat: 心跳模块。跟chunkserver进行交互,收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 offline) • 记录chunkserver定期上报的状态信息(磁盘容量,磁盘负载,copyset负载等),以提供运维工 具查看上述状态信息。 • 通过上述信息的定期更新,作为schedule 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch, 检测chunkserver的copyset与mds差异,同 步两者的copyset信息 端的心跳主要由三个部分组成: • TopoUpdater: 根据 chunkserver 上报的 copyset 信息更新拓扑 中的信息。 • ConfGenerator: 将当前上报的 copyset 信息提交给调度模块, 获取该 copyset 上可能需要执行的任务。 • HealthyChecker: 检查集群中的 chunkserver 在当前时间点距 离上一次心跳的时间,根据这个时间差更新chunkserver状态。0 码力 | 23 页 | 1.74 MB | 6 月前3
 Hadoop 迁移到阿里云MaxCompute 技术方案对象 供后 续使 用。如 Hive、 MapReduce、Spark 等。 Alibaba Cloud MaxCompute 解决方案 8  实时消息采集:用于实时数据采集,可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理:对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习:满足机器学习工作负载的服务。如当前流行的 OSS、OTS、database 等外部数据源,实现 更复杂的 ETL 处理,支持对 OSS 非结构化进行处理; * 使用 Spark 面向 MaxCompute 内外部数据开展机器 学习,扩展应用场景; 机器学习 PAI MaxCompute 内建支持的上百种机器学习算法,目前 MaxCompute 的机器学习能力由 PAI 产品进行统一提供 服务,同时 PAI 提供了深度学习框架、Notebook MaxCompute 环境进行业务对比验证,确定迁移的正确性。 迁移开展时,您可以选择部分试点业务迁移或全量业务进行迁移。对于规模较大的用户,建 议您选择部分试点业务先行进行迁移验证,待迁移验证通过后,再扩展更大的业务范围以降低迁 移风险、提高迁移质量。 5.3 阶段 3:并行测试,割接 迁移完成后,建议基于增量数据与当前系统进行并行测试,待并行一段时间后,对并行测试 结果进行对比验证,符合业务预期即可将业务全部切换至0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案对象 供后 续使 用。如 Hive、 MapReduce、Spark 等。 Alibaba Cloud MaxCompute 解决方案 8  实时消息采集:用于实时数据采集,可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理:对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习:满足机器学习工作负载的服务。如当前流行的 OSS、OTS、database 等外部数据源,实现 更复杂的 ETL 处理,支持对 OSS 非结构化进行处理; * 使用 Spark 面向 MaxCompute 内外部数据开展机器 学习,扩展应用场景; 机器学习 PAI MaxCompute 内建支持的上百种机器学习算法,目前 MaxCompute 的机器学习能力由 PAI 产品进行统一提供 服务,同时 PAI 提供了深度学习框架、Notebook MaxCompute 环境进行业务对比验证,确定迁移的正确性。 迁移开展时,您可以选择部分试点业务迁移或全量业务进行迁移。对于规模较大的用户,建 议您选择部分试点业务先行进行迁移验证,待迁移验证通过后,再扩展更大的业务范围以降低迁 移风险、提高迁移质量。 5.3 阶段 3:并行测试,割接 迁移完成后,建议基于增量数据与当前系统进行并行测试,待并行一段时间后,对并行测试 结果进行对比验证,符合业务预期即可将业务全部切换至0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1













