TiDB Operator: Design & Implemention Presented by Yecheng Fu (@cofyc) PingCAP.com Agenda ● TiDB Operator 简介 ● 扩展 Kubernetes 的几种方式 ● TiDB Operator 实现 TiDB Operator 是什么 PingCAP.com Cloud Native Automated Full lifecycle management of TiDB cluster - Deployment - Upgrading - Scaling - Handle network, hardware failures, etc. - Backup/Restore/Data migration - ... TiDB Operator TiDB PingCAP implemented TiDB Operator Kubernetes Pattern - Declarative Model PingCAP.com Operator Pattern - Extending Kubernetes TiDB Operator TiDB PD API Kubernetes API PingCAP.com Operator Pattern - Custom

Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 从被收购到卷王（si） 回到初（qi）心（dian） KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 TPR Operator CRD Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR； controller-runtime

TUNING OPERATOR 4.1. 关于 NODE TUNING OPERATOR 4.2. 访问 NODE TUNING OPERATOR 示例规格 4.3. 在集群中设置默认配置集 4.4. 验证是否应用了 TUNED 配置集 4.5. 自定义调整规格 4.6. 自定义调整示例 4.7. 支持的 TUNED 守护进程插件 第 第 5 章 章 使用 使用 CPU MANAGER 和拓扑管理器 和拓扑管理器 和拓扑管理器 5.1. 设置 CPU MANAGER 5.2. 拓扑管理器策略 5.3. 设置拓扑管理器 5.4. POD 与拓扑管理器策略的交互 第 第 6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第 第 7 章 章 扩 扩展 展 CLUSTER MONITORING OPERATOR 7.1. PROMETHEUS 数据库存储要求 7.2. 配置集群监控 第 第 8 章 章 根据 根据对 对象限制 象限制规 规划您的 划您的环 环境 境 8.1. OPENSHIFT

Cluster Version Operator (CVO) 的自定义资源 (CR) 时，更新开始。要将集群与新指定版本协调，CVO 从镜像 registry 检索目标发行镜像，并开始将更改应 用到集群。 注意 注意 之前通过 Operator Lifecycle Manager (OLM) 安装的 Operator 会遵循不同的更新过程。 如需更多信息，请参阅更新安装的 Operator。 目标发行镜像包含组成特定 的独立阶段应用清单。大多数（但不是全部清单）支持其中一个集群 Operator。当 CVO 将清单应用到集群 Operator 时，Operator 可能会执行更新任务将其与新的指定版本协调。 CVO 监控每个应用的资源的状态，以及所有集群 Operator 报告的状态。只有活跃 Runlevel 中的所有清 单和集群 Operator 都达到稳定条件时，CVO 才会继续更新。在 CVO 通过此过程更新整个 通过此过程更新整个 control plane 后，Machine Config Operator (MCO) 会更新集群中每个节点的操作系统和配置。 1.1.1. 有关更新可用性的常见问题 OpenShift Container Platform 集群使用更新时，有几个因素会影响到 OpenShift Container Platform 集 群。以下列表提供有关更新可用性的常见问题： 每个更新 每个更新频

配置 1.1.11.3.4. 高级 RHCOS 安装参考 1.1.12. 创建集群 1.1.13. 使用 CLI 登录到集群 1.1.14. 批准机器的证书签名请求 1.1.15. 初始 Operator 配置 1.1.15.1. 安装过程中删除的镜像 registry 1.1.15.2. 镜像 registry 存储配置 1.1.15.2.1. 为裸机和其他手动安装配置 registry install-config.yaml 文件示例 1.2.9. 网络配置阶段 1.2.10. 指定高级网络配置 1.2.11. Cluster Network Operator 配置 1.2.11.1. Cluster Network Operator 配置对象 defaultNetwork 对象配置 配置 OpenShift SDN CNI 集群网络供应商 配置 OVN-Kubernetes CNI 配置 1.2.13.3.4. 高级 RHCOS 安装参考 1.2.14. 创建集群 1.2.15. 使用 CLI 登录到集群 1.2.16. 批准机器的证书签名请求 1.2.17. 初始 Operator 配置 1.2.17.1. 安装过程中删除的镜像 registry 1.2.17.2. 镜像 registry 存储配置 1.2.17.3. 配置块 registry 存储 1.2.18

https://console.redhat.com/openshift。使用 OpenShift Container Platform 的 Red Hat OpenShift Cluster Manager 应用程序，您可以将 OpenShift Container Platform 集群部署到内部环境或云环境中。 OpenShift Container Platform 4.14 需要运行在 Red 生命周期政策 。 从 4.14 发行版本开始，为了简化对红帽所提供的 Operator 的管理和维护，红帽引入了三个新的生命周期 类别：Platform Aligned, Platform Agnostic, 和 Rolling Stream这些生命周期类别为集群管理员提供了额 外的简易性和透明度，以更好地了解每个 Operator 的生命周期策略，并以可预测的支持界限来计划对集 群进行维护和升级。如需更多信息，请参阅 群进行维护和升级。如需更多信息，请参阅 OpenShift Operator 生命周期。 OpenShift Container Platform 专为 FIPS 设计。当以 FIPS 模式运行 Red Hat Enterprise Linux (RHEL) 或 Red Hat Enterprise Linux CoreOS (RHCOS)时，OpenShift Container Platform 核心组件使用

3. 在安装过程中配置集群范围代理 1.3.10. 网络配置阶段 1.3.11. 指定高级网络配置 1.3.12. Cluster Network Operator 配置 1.3.12.1. Cluster Network Operator 配置对象 defaultNetwork 对象配置 配置 OpenShift SDN CNI 集群网络供应商 配置 OVN-Kubernetes CNI 3. 在 macOS 上安装 OpenShift CLI 1.4.15. 创建集群 1.4.16. 使用 CLI 登录到集群 1.4.17. 批准机器的证书签名请求 1.4.18. 初始 Operator 配置 1.4.18.1. 安装过程中删除的镜像 registry 1.4.18.2. 镜像 registry 存储配置 1.4.18.2.1. 为 VMware vSphere 配置 registry 8.2. 在安装过程中配置集群范围代理 1.5.9. 网络配置阶段 1.5.10. 指定高级网络配置 1.5.11. Cluster Network Operator 配置 1.5.11.1. Cluster Network Operator 配置对象 defaultNetwork 对象配置 配置 OpenShift SDN CNI 集群网络供应商 配置 OVN-Kubernetes CNI

新功能及功能增强 1.2.1. Operators 1.2.1.1. Operator Lifecycle Manager (OLM) 1.2.2. 安装和升级 1.2.2.1. OperatorHub 1.2.3. 存储 1.2.4. 扩展 1.2.4.1. 集群的限制 1.2.4.2. Node Tuning Operator 1.2.5. Cluster Monitoring 1.2.5 Multi-stage Dockerfile 镜像构建功能 1.2.7. Registry 1.2.7.1. registry 现在由一个 Operator 管理 1.2.8. 网络 1.2.8.1. Cluster Network Operator (CNO) 1.2.8.2. OpenShift SDN 1.2.8.3. Multus 1.2.9. Web 控制台 1.2.9.1. 开发者目录 x on RHCOS and Red Hat Enterprise Linux. oc adm diagnostics 基于 Operator 的诊断工具。 oc adm registry Replaced by the Image Registry Operator. 使用 Docker 进行自定义（custom）策略构建镜像 如果希望继续使用自定义构建，则需要把 Docker 替换 为 Podman

3.7. 镜像 OPENSHIFT CONTAINER PLATFORM 镜像存储库 3.8. 在断开连接的环境中的 CLUSTER SAMPLES OPERATOR 3.8.1. 协助镜像的 Cluster Samples Operator 3.9. 后续步骤 3.10. 其他资源 第 第 4 章 章 在 在 AWS 上安装 上安装 4.1. 准备在 AWS 上安装 4.1.1. 先决条件 Platform 的方法 4.1.4. 后续步骤 4.2. 配置 AWS 帐户 4.2.1. 配置路由 53（Route 53） 4.2.1.1. AWS Route 53 的 Ingress Operator 端点配置 4.2.2. AWS 帐户限值 4.2.3. IAM 用户所需的 AWS 权限 50 50 51 52 52 52 54 54 56 56 56 56 57 57 57 的自定义 install-config.yaml 文件示例 4.6.6.4. 在安装过程中配置集群范围代理 4.6.7. Cluster Network Operator 配置 4.6.7.1. Cluster Network Operator 配置对象 defaultNetwork 对象配置 配置 OpenShift SDN CNI 集群网络供应商 配置 OVN-Kubernetes CNI

CONFIG OPERATOR 1.0.6 发行注记 2.4. RED HAT WINDOWS MACHINE CONFIG OPERATOR 1.0.5 发行注记 2.5. RED HAT WINDOWS MACHINE CONFIG OPERATOR 1.0.4 发行注记 2.5.1. 程序错误修复 2.6. RED HAT WINDOWS MACHINE CONFIG OPERATOR 1.0 0.3 发行注记 2.7. RED HAT WINDOWS MACHINE CONFIG OPERATOR 1.0.2 发行注记 2.8. 已知限制 第 第 3 章 章 了解 了解 WINDOWS 容器工作 容器工作负载 负载 3.1. WINDOWS 工作负载管理 3.2. WINDOWS 节点服务 3.3. 已知限制 第 第 4 章 章 启 启用 用 WINDOWS 容器工作 容器工作负载 安装 WINDOWS MACHINE CONFIG OPERATOR 4.1.1. 使用 Web 控制台安装 Windows Machine Config Operator 4.1.2. 使用 CLI 安装 Windows Machine Config Operator 4.2. 为 WINDOWS MACHINE CONFIG OPERATOR 配置 SECRET 其它资源 第 第 5 章