Curve核心组件之mds – 网易数帆unstable, offline) • 记录chunkserver定期上报的状态信息(磁盘容量,磁盘负载,copyset负载等),以提供运维工 具查看上述状态信息。 • 通过上述信息的定期更新,作为schedule 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch, 检测chunkserver的copyset与mds差异,同 根据 chunkserver 上报的 copyset 信息更新拓扑 中的信息。 • ConfGenerator: 将当前上报的 copyset 信息提交给调度模块, 获取该 copyset 上可能需要执行的任务。 • HealthyChecker: 检查集群中的 chunkserver 在当前时间点距 离上一次心跳的时间,根据这个时间差更新chunkserver状态。 Chunkserver端:chunkserver chunkserver 上的 copyset 信息上报给 MDS。 • Order ConfigChange: 将 MDS 下发的任务提交给对应的 对应 模块执行。HEARTBEAT Chunk server的状态更新: • Online: chunk server在线,正常服务。 • Unstable: chunk server一段时间没收到心跳(默认 30s),但是还没有到达offline的时间(默认0 码力 | 23 页 | 1.74 MB | 6 月前3
Hadoop 迁移到阿里云MaxCompute 技术方案MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce,也提供高度兼容 Hadoop 的 MapReduce 版本) 不暴露文件系统,输入输出都是表 通过 MaxCompute 客户端工具、Dataworks 提交作业 交互式分析 MaxCompute Lightning MaxCompute 提供的兼容开源的 Spark 计算 服务,让它在统一的计算资源和数据集权限体系之上,提 供 Spark 计算框架,支持用户以熟悉的开发使用方式提 交运行 Spark 作业。 * 支持原生多版本 Spark 作业:Spark1.x/Spark2.x 作业 都可运行; * 开源系统的使用体验:Spark-submit 提交方式(暂不 支持 spark-shell/spark-sql 的交互式),提供原生的 3 迁移评估报告 6.3.1 迁移评估信息收集 6.3.1.1 使用 MMA Agent 自动采集 Hive Metadata 1. 工具运行环境要求:JDK8.0、Python3 以上版本。 2. 解压工具包:odps-data-carrier.zip,工具目录结构如下: Alibaba Cloud MaxCompute 解决方案 23 其中,bin 目录下是迁移工具所需的可执行文件,libs0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1













