深入 Kubernetes 的“无人区” —— 蚂蚁金服双十一的调度系统 曹寅2/19 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 目 录 contents 目录3/19 一、蚂蚁金服的Kubernetes现状 Part 1：4/19 发展历程与落地规模 Part 1：蚂蚁金服的Kubernetes现状 平台研发 灰度验证 单集群规模 90%+ 应用服务 数十万 应用 Pods业务 6/19 统一资源调度架构 Part 1：蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 k8s 核心 CRI Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化 服务 Cluster Control Panel 在线应用 资源分时调度 Part 2：双十一 Kubernetes 实践 快速腾挪的问题 1.实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性技术风险 9/19 资源分时链路切换 Part 2：资源分时调度 Kubernetes Node 分时调度 Agent Pod 资源 Node 分时调度 Agent Pod 资源 Node 分时调度 Agent

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 提纲 5 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 • 人力调度派单峰值为每人 800单/天 调度 系统 3 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单 配送距离 期望送达时间 骑士运力 订单相似度 调度 系统 1.0 外卖订单智能调度要解决的核心问题 7 调度系统算法

备更新集群 更新集群 2.1. 准备升级到 OPENSHIFT CONTAINER PLATFORM 4.14 2.2. 准备使用手动维护的凭证更新集群 2.3. PREFLIGHT 验证内核模块管理 (KMM) 模块 第 第 3 章 章 执 执行集群更新 行集群更新 3.1. 使用 CLI 更新集群 3.2. 使用 WEB 控制台更新集群 3.3. 执行 EUS 到 EUS 更新 3.4. 执行 CANARY 第 1 章 章 了解 了解 OPENSHIFT 更新 更新 13 注意 注意 当节点被封锁时，工作负载无法调度到其中。 2. 更新节点的系统配置和操作系统 (OS) 3. 重新引导节点 4. 取消协调节点 一个节点无法处理这个过程，直到它被取消封锁，且工作负载可以再次调度到其中。MCO 开始更新节 点，直到不可用节点的数量等于 .spec.maxUnavailable 的值。 当节 的更新通常会在一周或两个时间内提升到 stable 频道，但最初向最新 次版本进行更新的时间更长时的延迟（通常为 45-90 天）。在选择所需频道时请考虑提升延迟，以等待 到 stable 频道的提升可能会影响您的调度计划。 另外，有几个因素可能会导致机构永久或临时将集群移至 fast 频道，包括： 想要应用特定的修复，以便在不延迟的情况下影响您的环境。 在没有延迟的情况下修复 CVE 的应用程序。CVE

CoreOS 项目 简介 工具 快速搭建 CoreOS 集群 Kubernetes 项目 简介 快速上手 基本概念 kubectl 使用 架构设计 Mesos - 优秀的集群资源调度平台 Mesos 简介 安装与使用 原理与架构 Mesos 配置项解析 日志与监控 常见应用框架 本章小结 容器与云计算 简介 亚马逊云 腾讯云 阿里云 小结 5 1.24 Ubuntu 14.04 可选内核模块 从 Ubuntu 14.04 开始，一部分内核模块移到了可选内核模块包 ( linux-image-extra-* ) ，以 减少内核软件包的体积。正常安装的系统应该会包含可选内核模块包，而一些裁剪后的系统 可能会将其精简掉。 AUFS 内核驱动属于可选内核模块的一部分，作为推荐的 Docker 存储层 驱动，一般建议安装可选内核模块包以使用 AUFS 。 。 如果系统没有安装可选内核模块的话，可以执行下面的命令来安装可选内核模块包： $ sudo apt-get update $ sudo apt-get install \ linux-image-extra-$(uname -r) \ linux-image-extra-virtual 使用 APT 安装 Ubuntu 25 由于 apt 源使用 HTTPS 以

九大能力 4 多云编排 4 中间件服务 4 微服务治理 5 可观测性 5 应用商店 6 应用交付 6 信创异构 7 云边协同 7 云原生底座 8 模块化搭建 8 容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 化 和自动化，并集成各类精选数据库和中间件，使运维治理更加高效。各个产品 模块独立解耦，支持灵活升级，对业务没有影响，并且能够与众多云原生生态 产品对接，提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 验，构建了坚实、可靠的数字底座，帮助企业定义数字边界，释放云原生生产 力。 DCE 5.0 的各个产品模块独立解耦，灵活升级，业务无感知，开放对接超百家 云原生生态产品，形成完整的 业定义数字边界。 版权 © 2023 DaoCloud 第 4 页 九大能力 DCE 5.0 云原生操作系统提供了 9 大能力，自由搭配各种模块，可以应对海量 应用场景。 这些模块就像乐高搭积木一样，糅合社区最优秀的几十种开源技术，经过众多 辩证选型、攻坚克难、编码调试、海量测试，“十年磨一剑，一朝试锋芒，全新 搭建的新一代容器化平台能够满足企业上云的各类场景需求。

set-�mezone Asia/Shanghai #设置时区 # systemctl restart chronyd # chronyc sources -v ⑦设置网络参数 #首先加载模块 # cat > /etc/modules-load.d/br_ne�ilter.conf <模块 # cat > /etc/modules-load.d/k8s-ipvs.conf <模块 ★最后重启操作系统 # reboot ★第1章、部署k8s版本<=1.23 k8s在1.23及之前版本默认是调用docker作为底层的容器运行时，从1.24版本开 始移除了

OPERATOR 条件 4.8. 允许非集群管理员安装 OPERATOR 4.9. 管理自定义目录 4.10. 在受限网络中使用 OPERATOR LIFECYCLE MANAGER 4.11. 目录源 POD 调度 4.12. 管理平台 OPERATOR （技术预览） 4.13. TROUBLESHOOTING OPERATOR 的问题 第 第 5 章 章 开 开发 发 OPERATOR 5.1. 关于 OPERATOR 中的新内容会因为第 3 步而解包。捆绑包部署会检测更改，并探测到新版本的 内容。 这与 pod 的行为类似，其中一个 pod 的容器镜像使用标签，标签将移到不同的摘要中，然后在将来将现 有 pod 重新调度到其他节点上。此时，节点会将新镜像拉取到新摘要中，并在没有用户明确要求的情况下 运行不同的镜像。 为了确定底层 Bundle spec 内容没有改变，请在创建捆绑包时使用基于摘要的镜像或 Git 提交引用。 OperatorHub 红帽提供的 Operator 目录 在集群中添加目录源 目录优先级 使用 CLI 查看 Operator 目录源状态 了解并管理 pod 安全准入 目录源 pod 调度 2.4.1.2.2.1. 自定 自定义目 目录源的 源的镜像模板 像模板 与底层集群的 Operator 兼容性可以通过目录源以各种方式表示。其中一种用于红帽默认提供的目录源的 方法是识别为特定平台发行版本（如

RHEL 加 密库，在 x86_64、ppc64le、s390x 架构上提交给 NIST 的 FIPS 140-2/140-3 Validation。 有关 NIST 验证程序的更多信息，请参阅加密模块验证程序。有关为验证提交的 RHEL 加密库的单独版本 的最新 NIST 状态，请参阅 Compliance Activities 和 Government Standards。 1.2. OPENSHIFT 1.3.2.9. Azure 的可信 的可信启动 启动（技 （技术预览 术预览） ） 在 Azure 上安装集群时，您可以启用可信启动功能（技术预览）。这些功能包括安全引导和虚拟化受信任 的平台模块。如需更多信息，请参阅为 Azure 虚拟机启用可信启动。 1.3.2.10. Google Cloud Platform 的用 的用户 户定 定义 义的 的标签 标签和 和标签 标签（技 （技术预览 分配创建配置。 1.3.9.6. 排除 排除 NUMA 感知 感知调 调度的 度的 SR-IOV 网 网络 络拓扑 拓扑 在这个版本中，您可以将 SR-IOV 网络的 Non-Uniform Memory Access (NUMA)节点公告到拓扑管理 器。如果没有为 SR-IOV 网络公告 NUMA 节点，您可以在 NUMA 感知 pod 调度过程中允许更灵活的 SR- IOV 网络部署。 例如，在某些情况下，最好在单个

WeiboMesh �4 Java Server Java Client Registry Motan ➢ 服务治理理 ➢ 动态路路由 Vintage ➢ 注册中⼼心 Opendcp ➢ 智能弹性调度 Graphite ➢ 实时统计监控 平台微服务相关建设⽐比较完善 Notify Subscribe RegisterService Mesh Meetup · BeiJing 业务部⻔门调⽤用链 RestFul API 业务部⻔门 Motan ➢ 业务部⻔门语⾔言种类繁多 ➢ 微服务体系建设不不完善/重复 ➢ ⽹网络抖动，dns不不稳定 ➢ 4，7层冗⻓长调⽤用链及资源消耗 4,7层调度Service Mesh Meetup · BeiJing 趋势 �6 微博Service Mesh实践 - WeiboMesh 微服务 1 容器器化 2 DevOps 3 云原⽣生 服务治理理Service Mesh Meetup · BeiJing 跨语⾔言服务化⽅方式对⽐比 �11 微博Service Mesh实践 - WeiboMesh Http代理理 RPC模块 Agent代理理 研发成本 低 ⾼高 中 维护成本 低 ⾼高 中 使⽤用成本 低 低 中 治理理功能 中 ⾼高 ⾼高 扩展能⼒力力 低 中 ⾼高Service Mesh Meetup ·

13.3.13. 创建安装配置文件 13.3.14. 自定义 install-config.yaml 13.3.15. 生成清单文件 13.3.16. 使 control-plane 节点不可调度 13.3.17. 构建 Ignition 文件 13.3.18. 创建模板和虚拟机 13.3.19. 创建 bootstrap 机器 13.3.20. 创建 control plane 节点 16.1. 在安装过程中配置集群范围代理 13.4.17. 自定义 install-config.yaml 13.4.18. 生成清单文件 13.4.19. 使 control-plane 节点不可调度 13.4.20. 构建 Ignition 文件 13.4.21. 创建模板和虚拟机 13.4.22. 创建 bootstrap 机器 13.4.23. 创建 control plane 节点 自定义节点 17.1.1. 添加 day-1 内核参数 17.1.2. 在节点中添加内核模块 17.1.2.1. 构建并测试内核模块容器 17.1.2.2. 为 OpenShift Container Platform 置备内核模块 17.1.2.2.1. 通过 MachineConfig 对象置备内核模块 17.1.3. 在安装过程中加密磁盘 17.1.3.1. 启用 TPM v2 磁盘加密