 Curve核心组件之mds – 网易数帆当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 Mds在分配空间时,轮流在不同的copyset中分配,每次从copyset中分配1个chunk, 这个chunk用copysetId:chunkId来唯一标识。COPYSET Copyset的生成策略:Source code : curve/src/mds/copyset/ bool GenCopyset(const ClusterInfo& cluster, int numCopysets 据集群中copyset的分布情况生成copyset迁移任 务; • LeaderScheduler 是leader均衡调度器,根据集 群中leader的分布情况生成leader变更任务; • ReplicaScheduler 是副本数量调度器,根据当 前copyset的副本数生成副本增删任务; • RecoverScheduler 是恢复调度器,根据当前 copyset副本的存活状态生成迁移任务。 触发任务:0 码力 | 23 页 | 1.74 MB | 6 月前3 Curve核心组件之mds – 网易数帆当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 Mds在分配空间时,轮流在不同的copyset中分配,每次从copyset中分配1个chunk, 这个chunk用copysetId:chunkId来唯一标识。COPYSET Copyset的生成策略:Source code : curve/src/mds/copyset/ bool GenCopyset(const ClusterInfo& cluster, int numCopysets 据集群中copyset的分布情况生成copyset迁移任 务; • LeaderScheduler 是leader均衡调度器,根据集 群中leader的分布情况生成leader变更任务; • ReplicaScheduler 是副本数量调度器,根据当 前copyset的副本数生成副本增删任务; • RecoverScheduler 是恢复调度器,根据当前 copyset副本的存活状态生成迁移任务。 触发任务:0 码力 | 23 页 | 1.74 MB | 6 月前3
 Hadoop 迁移到阿里云MaxCompute 技术方案........................................................... 22 6.2.2 MaxCompute DDL 与 Hive UDTF 生成 .......................................................................... 22 6.2.3 MaxCompute 表创建 meta-carrier 的输出,调整 hive 与 odps 的映射 ................................................... 46 7.1.5 生成 ODPS DDL、Hive SQL 以及兼容性报告 ................................................................. 48 7 查看兼容性报告,调整直到兼容性报告符合预期 ............................................................. 49 7.1.7 运行 odps_ddl_runner.py 生成 odps 表和分区 .............................................................. 50 7.1.8 运行 hive_udtf_sql_runner0 码力 | 59 页 | 4.33 MB | 1 年前3 Hadoop 迁移到阿里云MaxCompute 技术方案........................................................... 22 6.2.2 MaxCompute DDL 与 Hive UDTF 生成 .......................................................................... 22 6.2.3 MaxCompute 表创建 meta-carrier 的输出,调整 hive 与 odps 的映射 ................................................... 46 7.1.5 生成 ODPS DDL、Hive SQL 以及兼容性报告 ................................................................. 48 7 查看兼容性报告,调整直到兼容性报告符合预期 ............................................................. 49 7.1.7 运行 odps_ddl_runner.py 生成 odps 表和分区 .............................................................. 50 7.1.8 运行 hive_udtf_sql_runner0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1













