深入 Kubernetes 的“无人区” —— 蚂蚁金服双十一的调度系统 曹寅2/19 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 目 录 contents 目录3/19 一、蚂蚁金服的Kubernetes现状 Part 1：4/19 发展历程与落地规模 Part 1：蚂蚁金服的Kubernetes现状 平台研发 灰度验证 Pods业务 6/19 统一资源调度架构 Part 1：蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 k8s 核心 CRI Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化 服务 Cluster Control Panel 在线应用 计算型混部任务 CSI CNI Device 资源分时调度 Part 2：双十一 Kubernetes 实践 快速腾挪的问题 1.实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性技术风险 9/19 资源分时链路切换 Part 2：资源分时调度 Kubernetes Node 分时调度 Agent Pod 资源 Node 分时调度 Agent Pod 资源 Node 分时调度 Agent

库分库分表等 Sharding 方案。同时它也 让开发运维人员不用关注数据库 Scale 的细节问题，专注于业务开发，极大的提升研发的生产力。 三篇文章了解 TiDB 技术内幕： 说存储 说计算 谈调度 TiDB 简介 TiDB 整体架构 README - 11 - 本文档使用 书栈(BookStack.CN) 构建 要深入了解 TiDB 的水平扩展和高可用特点，首先需要了解 TiDB 的整体架构。 F5）对外提供统一的接入地址。 Placement Driver (简称 PD) 是整个集群的管理模块，其主要工作有三个： 一是存储集群的元信息（某个 Key 存储在哪个 TiKV 节点）；二是对 TiKV 集群进行调度和负载均衡（如数据的迁移、Raft group leader 的迁 移等）；三是分配全局唯一且递增的事务 ID。 PD 是一个集群，需要部署奇数个节点，一般线上推荐至少部署 3 个节点。 TiKV Server 协议做复制，保持数据的一致性和容灾。副本以 Region 为单位进行管理，不同节点上的多个 Region 构成一个 Raft Group，互为副本。数据在多个 TiKV 之 间的负载均衡由 PD 调度，这里也是以 Region 为单位进行调度。 TiDB Server PD Server TiKV Server 核心特性 水平扩展 README - 12 - 本文档使用 书栈(BookStack.CN) 构建 无限水平扩展是

· · · · · · · 943 7.7.1 TiCDC 同步任务出现中断 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 943 7.7.2 如何处理 TiCDC 创建同步任务或同步到 MySQL 时遇到 Error 1298: Unknown 后配置文件不兼容的问题？ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 945 7.7.4 TiCDC 启动任务的 start-ts 时间戳与当前时间差距较大，任务执行过程中同步中断，出现错误 [CDC:ErrBufferReachLimit]，怎么办？ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 946 7.8.1 TiCDC 创建任务时如何选择 start-ts？· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 947 7.8.2 为什么 TiCDC 创建任务时提示部分表不能同步？ · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1541 12.5.6 PD 调度策略最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2537 14.1.4 TiDB 数据库的调度· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2605 14.3.13 TiFlash MinTSO 调度器 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1474 12.5.6 PD 调度策略最佳实践 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2528 14.1.4 TiDB 数据库的调度· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2596 14.3.13 TiFlash MinTSO 调度器 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

进程管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663 16.1.8 调度器接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675 16.1.9 其他系统信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 914 17.5.1 Executor 对象 . . . . . . . . . . . . . . . . . . . . . . . 939 17.7 sched --- 事件调度器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 939 17.7.1 调度器对象 . . . . . . . . . . . . . . . . . . . . . . . .

进程管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659 16.1.8 调度器接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671 16.1.9 其他系统信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910 17.5.1 Executor 对象 . . . . . . . . . . . . . . . . . . . . . . . 935 17.7 sched --- 事件调度器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 935 17.7.1 调度器对象 . . . . . . . . . . . . . . . . . . . . . . . .

进程管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635 16.1.8 调度器接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648 16.1.9 其他系统信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.5.1 Executor 对象 . . . . . . . . . . . . . . . . . . . . . . . 910 17.7 sched --- 事件调度器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911 17.7.1 调度器对象 . . . . . . . . . . . . . . . . . . . . . . . .

进程管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635 16.1.8 调度器接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648 16.1.9 其他系统信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.5 concurrent.futures --- 启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.5.1 Executor 对象 . . . . . . . . . . . . . . . . . . . . . . . 910 17.7 sched --- 事件调度器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 911 17.7.1 调度器对象 . . . . . . . . . . . . . . . . . . . . . . . .

启动并行任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 813 17.6 subprocess --- 子进程管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819 17.7 sched --- 事件调度器 . 它包含通常被视为语言“核心”中的一部分的数据类型，例如数字和列表。对于这些类型，Python 语言核心 定义了文字的形式，并对它们的语义设置了一些约束，但没有完全定义语义。（另一方面，语言核心确实定 义了语法属性，如操作符的拼写和优先级。） 这个库也包含了内置函数和异常 --- 不需要 import 语句就可以在所有 Python 代码中使用的对象。有一些是 由语言核心定义的，但是许多对于核心语义不是必需的，并且仅在这里描述。 (customization)。 29 The Python Library Reference, 发布 3.8.20 4.2 布尔运算 --- and, or, not 这些属于布尔运算，按优先级升序排列: 运算 结果： 备注 x or y if x is false, then y, else x (1) x and y if x is false, then x, else y (2)