深入 Kubernetes 的“无人区” —— 蚂蚁金服双十一的调度系统 曹寅2/19 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 目 录 contents 目录3/19 一、蚂蚁金服的Kubernetes现状 Part 1：4/19 发展历程与落地规模 Part 1：蚂蚁金服的Kubernetes现状 平台研发 灰度验证

OPENSHIFT CONTAINER PLATFORM 集群支持的平台 第 第 2 章 章 选择 选择集群安装方法并 集群安装方法并为 为用 用户 户准 准备 备它 它 2.1. 选择集群安装类型 2.2. 安装后为用户准备集群 2.3. 为工作负载准备集群 2.4. 支持的用于不同平台的安装方法 第 第 3 章 章 集群功能 集群功能 3.1. 选择集群功能 3.2. OPENSHIFT CONTAINER 21.1. 准备在 IBM POWER VIRTUAL SERVER 上安装 21.2. 配置 IBM CLOUD 帐户 21.3. 创建 IBM POWER VIRTUAL SERVER 工作区 21.4. 使用自定义在 IBM POWER VIRTUAL SERVER 上安装集群 21.5. 在 IBM POWER VIRTUAL SERVER 上将集群安装到现有的 VPC 中 21.6 Platform 安装程序提供了四个部署集群的方法，相关信息包括在以下列表中： 交互式 交互式 ：您可以使用基于 Web 的 辅助安装程序（Assisted Installer）部署集群。对于可以连接到 互联网的网络，这是一个理想的方法。Assisted Installer 是安装 OpenShift Container Platform 的最简单方法，它提供智能默认值，并在安装集群前执行预动态验证。它还提供了一个

OPENSHIFT CONTAINER PLATFORM 集群支持的平台 第 第 2 章 章 选择 选择集群安装方法并 集群安装方法并为 为用 用户 户准 准备 备它 它 2.1. 选择集群安装类型 2.2. 安装后为用户准备集群 2.3. 为工作负载准备集群 2.4. 支持的用于不同平台的安装方法 第 第 3 章 章 集群功能 集群功能 3.1. 选择集群功能 3.2. OPENSHIFT CONTAINER 20.1. 准备在 IBM POWER VIRTUAL SERVER 上安装 20.2. 配置 IBM CLOUD 帐户 20.3. 创建 IBM POWER VIRTUAL SERVER 工作区 20.4. 使用自定义在 IBM POWER VIRTUAL SERVER 上安装集群 20.5. 在 IBM POWER VIRTUAL SERVER 上将集群安装到现有的 VPC 中 20.6 Platform 安装程序提供了四个部署集群的方法，相关信息包括在以下列表中： 交互式 交互式 ：您可以使用基于 Web 的 辅助安装程序（Assisted Installer）部署集群。对于可以连接到 互联网的网络，这是一个理想的方法。Assisted Installer 是安装 OpenShift Container Platform 的最简单方法，它提供智能默认值，并在安装集群前执行预动态验证。它还提供了一个

OPENSHIFT CONTAINER PLATFORM 集群支持的平台 第 第 2 章 章 选择 选择集群安装方法并 集群安装方法并为 为用 用户 户准 准备 备它 它 2.1. 选择集群安装类型 2.2. 安装后为用户准备集群 2.3. 为工作负载准备集群 2.4. 支持的用于不同平台的安装方法 第 第 3 章 章 断开 断开连 连接的安装 接的安装镜 镜像 像 3.1. 关于断开连接的安装镜像 其他资 资源 源 如需了解每个支持的平台可用的安装类型的更多信息，请参阅不同平台支持的安装方法。 有关选择安装方法以及准备所需资源的信息，请参阅选择集群安装方法并为用户准备。 第 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 安装概述 安装概述 13 第 2 章 选择集群安装方法并为用户准备它 在安装 OpenShift Container Platform 前， Cloud, AWS, Azure, Azure Stack Hub, GCP, 或 VMC on AWS 的情况下部署安装程序置备的基础架构集群。这些安装方法是部署具有生产环境性 OpenShift Container Platform 集群的最快方法。 如果需要为安装程序置备的基础架构集群执行基本配置，如集群机器的实例类型，您可以自定义 Alibaba Cloud, AWS, Azure, GCP

OPENSHIFT CONTAINER PLATFORM 集群支持的平台 第 第 2 章 章 选择 选择集群安装方法并 集群安装方法并为 为用 用户 户准 准备 备它 它 2.1. 选择集群安装类型 2.2. 安装后为用户准备集群 2.3. 为工作负载准备集群 2.4. 支持的用于不同平台的安装方法 第 第 3 章 章 为 为断开 断开连 连接的安装 接的安装 MIRROR 镜 镜像 像 3.1. 其他 其他资 资源 源 如需了解每个支持的平台可用的安装类型的更多信息，请参阅不同平台支持的安装方法。 有关选择安装方法以及准备所需资源的信息，请参阅选择集群安装方法并为用户准备。 OpenShift Container Platform 4.8 安装 安装 12 第 2 章 选择集群安装方法并为用户准备它 在安装 OpenShift Container Platform 前，请确定您具备为用户准备集群所需的所有所需资源。 的安装过程中为集群机器部署操作系统。请参阅 OpenShift Container Platform 3 和 OpenShift Container Platform 4 的比较。 第 第 2 章 章 选择 选择集群安装方法并 集群安装方法并为 为用 用户 户准 准备 备它 它 13 由于需要置备机器作为 OpenShift Container Platform 集群安装过程的一部分，所以无法将 OpenShift Container

采用安装程序置备的基础架构的安装过程 采用用户置备的基础架构的安装过程 安装过程详细信息 安装范围 1.2. OPENSHIFT 集群支持的平台 第 第 2 章 章 选择 选择集群安装方法并 集群安装方法并为 为用 用户 户准 准备 备它 它 2.1. 选择集群安装类型 2.1.1. 您要自己安装和管理 OpenShift Container Platform 集群吗？ 2.1.2. 您是否已使用了 1.3. 您是否希望在您的集群中使用已存在的组件？ 2.1.4. 您的集群是否需要额外的安全性？ 2.2. 安装后为用户准备集群 2.3. 为工作负载准备集群 2.4. 支持的用于不同平台的安装方法 第 第 3 章 章 为 为断开 断开连 连接的安装 接的安装 MIRROR 镜 镜像 像 3.1. 先决条件 3.2. 关于镜像 REGISTRY 3.3. 准备您的镜像主机 3.3.1. 4.1.2. 在 AWS 上安装 OpenShift Container Platform 的要求 4.1.3. 选择在 AWS 上安装 OpenShift Container Platform 的方法 4.1.4. 后续步骤 4.2. 配置 AWS 帐户 4.2.1. 配置路由 53（Route 53） 4.2.1.1. AWS Route 53 的 Ingress Operator 端点配置

只能批准 kubelet 客户端 CSR。 machine- approver 无法保证使用 kubelet 凭证请求的提供证书的有效性，因为它不能确认是正确的机器发出了该 请求。您必须决定并实施一种方法，以验证 kubelet 提供证书请求的有效性并进行批准。 1.1.4. 创建用户置备的基础架构 在部署采用用户置备的基础架构的 OpenShift Container Platform 集群前，您必须创建底层基础架构。 服务器已配置为向集群机器提供持久 IP 地址和主机名。 Kubernetes API 服务器必须能够解析集群机器的节点名称。如果 API 服务器和 worker 节点位于不同的区 域中，您可以配置默认 DNS 搜索区域，以便 API 服务器能够解析节点名称。另一种支持的方法是始终在 节点对象和所有 DNS 请求中使用完全限定域名来指代主机。 您必须配置机器间的网络连接，以便集群组件进行通信。每台机器都必须能够解析集群中所有其他机器的 命令来验证名称解析。您可以使用 dig -x 命令来验证 PTR 记录的反向名称解析。 下面的 BIND 区文件的例子展示了关于名字解析的 A 记录的例子。这个示例的目的是显示所需的记录。这 个示例不是为选择一个名称解析服务提供建议。 例 例 1.1. DNS 区数据 区数据库 库示例 示例 $TTL 1W @ IN SOA ns1.example.com. root ( 2019070700

CONTAINER PLATFORM 中的 FIPS 验证 2.2. 集群使用的组件支持 FIPS 2.3. 在 FIPS 模式下安装集群 第 第 3 章 章 安装配置 安装配置 3.1. 不同平台的安装方法 3.2. 自定义节点 3.3. 创建用于在受限网络中安装的镜像 REGISTRY 3.4. 可用的集群自定义 3.5. 配置防火墙 3.6. 配置私有集群 3 3 4 5 6 6 6 .tar.gz" 如果需要创建关安装失败的红帽支持问题单，请在问题单中附上压缩日志。 1.2. 通过到主机的 SSH 连接手动收集日志 在 must-gather 或自动收集方法无法正常工作的情况下手动收集日志。 先决条件 先决条件 必须有到主机的 SSH 访问权限。 流程 流程 1. 运行以下命令，使用 journalctl 命令从 bootstrap 主机收集 bootkube /var/log/containers/* OpenShift Container Platform 4.4 安装 安装 4 1.3. 在不使用 SSH 连接到主机的情况下手动收集日志 在 must-gather 或自动收集方法无法正常工作的情况下手动收集日志。 如果您无法对节点进行 SSH 访问，则可以通过访问系统日志来调查主机上发生的情况。 先决条件 先决条件 OpenShift Container Platform

集群，Machine API 在集群安装完成后执行所有节点主机置备管 理操作。由于此系统的缘故，OpenShift Container Platform 4.14 在公有或私有云基础架构之上提供了一 种弹性动态置备方法。 两种主要资源分别是： Machines 描述节点主机的基本单元。机器具有 providerSpec 规格，用于描述为不同云平台提供的计算节点的 类型。例如，计算节点的机器类型可能会定义特定的机器类型和所需的元数据。 动扩展 展 此资源基于上游集群自动扩展项目。在 OpenShift Container Platform 实现中，它通过扩展计算机器 设置 API 来与 Machine API 集成。您可以使用以下方法使用集群自动扩展来管理集群： 为内核、节点、内存和 GPU 等资源设置集群范围的扩展限制 设置优先级，以便集群对 pod 和新节点进行优先排序，而在不太重要的 pod 时不会上线 设置扩展策略，以便您可以扩展节点，但不会缩减节点 版本 3.11 中，您无法轻松地推出多区架构，因为集群不负责管理机器置 备。自 OpenShift Container Platform 版本 4.1 起，此过程变得更加容易。每个计算机器集限定在一个 区，因此安装程序可以代表您的可用区向计算机器集发送。然后，由于您的计算是动态的，因此在面对区 域故障时，您始终都有一个区域来应对必须重新平衡机器的情况。在没有多个可用区的全局 Azure 区域， 您可以