Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 试解决 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller-

Storage, DNS, Load Balancer, Security) master master api api © 2017 Rancher Labs, Inc. Kubernetes 1.7的扩展特性 • API aggregation(beta) • CustomResourceDefinitions(beta) • Support for extensible admission controllers

1 阿里云 — 云原生应用平台团队 孙健波/周正喜 基于 Kubernetes 构建标准可扩展的云原生应用管理平台 2 3 有奖品？ 我的工作内容？ • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的？ PaaS Serverless Operator Platform 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 构建一个具备“以应用为中心的 API 抽象”、“用户友好” 且“高度可扩展”的 K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 route $ rio up riofile 抽象程度 vs 可扩展性 • 随着抽象程度的增高可以显著降低学习曲线，但是却不得不在扩展性上妥协 抽象程度 可扩展性 高 低 低 高 CRD + Controllers = Everything 通过编写遵循严格限制 的 Buildpack 和 Addon 进行扩展 没有直接扩展 工作负载 和 运维能力 的途径 通过 annotations

防部在 2023 年 2 月又发布了《国防云战略路线图》，该路线图明确定义了到 2025 年 的云愿景和战略成果，提供了建立国防云的实施路径，大力推动云 计算在英国国防现代化转型变革中的应用与扩展,明确了云是实现国 防数字骨干和数据战略的关键推动因素。澳大利亚明确云计算是推 进产业数字化转型的必由之路，在 2021 年 12 月份先后更新和发布 了其“数字政府”战略和首个《2023-2025 持 续交织发展放大赋能效用，以满足多样化用户群体的个性需求。云 计算充分发挥数字基础设施作用，全球厂商正积极基于云底座提供 全新的大数据、区块链、人工智能服务。2022 年谷歌提出开放、可 扩展的“数据云”愿景，构建信息统一化的“数据云”平台。百度 智能云践行“云智一体”发展路线，充分结合 AI 能力与自身云基础 设施能力，发布全栈自研的 AI 大底座。 安全防护方面，云原生安全成为厂商抢占市场的新赛道。近年 月，党的二十大报告强调，推动战略性新兴产业融 合集群发展，构建新一代信息技术等一批新的增长引擎。云计算作 为新型数字基础设施，已成为新一代信息技术的核心引擎。2022 年 12 月，国务院发布《扩大内需战略规划纲要（2022-2035 年），提出 云计算白皮书（2023 年） 10 要加快建设信息基础设施，推动云计算广泛、深度应用，促进“云、 网、端”资源要素相互融合、智能配置。2023 年 1 月，工业和信息

17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5.0）是一款高性能、可扩展的云原生操作系统。 它能够在任何基础设施和任意环境中提供一致、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 帮助 间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵 求，打造完整的解决方案体系。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。

OpenStack社区数据保护项⽬目联合发起⼈人� Outline� ➔ 边缘计算 & 应⽤用场景 & ⾯面临的挑战� ➔ Why KubeEdge & 基础架构 & 设备管理理 & 实战� ➔ 后续规划 & 社区贡献 & 技术交流� 边缘计算� 云计算是集中化的，离终端设备（如摄像头、传感器器等）和⽤用户较远，对于实时性要求⾼高的计算需求，把计算放在云上会引起较⻓长的⽹网络延 时、⽹网络拥塞 协同：AI/安全等业务在云和边的智能协同、弹性迁移。� ➔ ⽹网络：云和边缘之间的⽹网络可靠性和带宽限制。� ➔ 管理理：边缘节点的资源管理理与边缘应⽤用⽣生命周期管理理。� ➔ 扩展：⾼高度分布和⼤大规模的可扩展性。� ➔ 异构：边缘侧异构AI硬件接⼊入。� Why KubeEdge� KubeEdge通过更更优的架构和技术实现，完美应对边缘计算遇到的挑战：� ➔ 通过将AI能⼒力 result� Send pod update to cloud� Update pod� Kubectl get� Get result� 应⽤用场景：智能家居应⽤用⽣生命周期管理理� 后续规划� Release V1.0 Function List：（May 2019）� ➔ 云端和边缘端的开源实现。� ➔ 使⽤用 kubectl 从云端向边缘节点部署应⽤用。� ➔ 使⽤用

Kubernetes是⼀个旨在⾃动部署、扩展和运⾏应⽤容器的开源平台 。 使⽤Kubernetes，您可以快速有效地回应客户需求： 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 模块化、可插拔、提供Hook、可组合 。应⽤程序特定的⼯作流程可被简化，从⽽加快开发 ⼈员的速度。可接受的特别编排最初常常需要⼤规模的⾃动化。这就是为什么Kubernetes也被设计为提供构建组件和⼯ 具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes 您也可实现⾃⼰的定制 PaaS，与您选择的CI系统集成，或者仅使⽤Kubernetes部署容器。 由于Kubernetes在应⽤层⾯⽽⾮硬件层⾯上运⾏，因此它提供了PaaS产品通⽤的功能，例如部署，扩展，负载均衡， ⽇志和监控。然⽽，Kubernetes并不是⼀个单体，这些默认解决⽅案是可选、可插拔的。 另外Kubernetes不仅仅是⼀个编制系统 。实际上，它消除了编制的需要。编制的技术定义，就是执⾏定义的⼯作流：

chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 com 10.99.1.53 k8s-node01.cof-lee.com 10.99.1.61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # pod网络和service网络都要求为16位的地址块，且不能与环境中其他网络地址 段冲突 # hostnamectl set-hostname github.io/scripts/kube-flannel-v0.13.0.yml # vi kube-flannel.yml #将里面的net-conf.json下面的Network网段改为规划的pod网段 #默认使用的docker镜像是quay.io/coreos/的仓库，可改为自己集群的docker仓库 保存，退出 # kubectl apply -f kube-flannel.yml

敏捷开发 极致弹性 成本优化 • 无需购买和安装机器 • 无需管理服务器 • 无需升级和更新OS • 快速部署和更新应用 • 快速发布 • “无限”容量 • 秒级弹性 • 更好的扩展性 • 更好的灵活性 • 按需创建 • 无资源闲置 Serverless容器 敏捷开发 极致弹性 成本优化 容器 Build once, Run anywhere 没有语言和库的限制 AI Serverless 大数据计算 CI/CD • 30s 500pod • 非预期突发流量 • 适用电商、在线教育等行业 • Spark／Presto • 高弹性低成本 • 免容量规划 • Jenkins/Gitlab-Runner • 低成本 • 强隔离 • 免运维 • 高弹性 • 低成本 Serverless Kubernetes - 在Kubernetes中使用Serverless容器 Cloud Controller Manager Serverless Scheduler ECI ASK-Scheduler K8S API Server • Nodeless：最佳弹性和扩展性，无传统调度器的复杂调度逻辑，最优的调度效率。 • 支持多可用区、多规格调度。 • 支持批量调度。 • AZ亲和性和反亲和性。 • ECI Pod生命周期管理：直通ECI Pod（Pod状

. 北北京 UCloud Container Service for Kubernetes （UK8S） 是⼀一项基于Kubernetes的容器器管理理服务，你可以在 UK8S上部署、管理理、扩展你的容器器化应⽤用，⽽而⽆无需关 ⼼心Kubernetes集群⾃自身的搭建及维护等运维类⼯工作。 UK8S UK8S完全兼容原⽣生的Kubernetes API，以UCloud私有 ⽹网络为 所有管理理服务全部运⾏行行在k8s上。 C. 基于k8s的api对服务模块（job&watcher）进⾏行行动态管理理。 D. ⼀一个集群对应⽣生成⼀一个watcher，容易易进⾏行行横向扩展。 E. 基于watcher+redis缓存的⽅方式，保证⽤用户在控制台获取集群信息的速度⾜足够快。 Think in Cloud . 北北京 UK8S托管⽅方案 合理理利利⽤用存量量物理理资源 Master节点部署在公有云上。Node节点分为公有云区 和托管区两部分，两个区的⽹网络实现了了互联互通。 • Node上都采⽤用underlay模式的cni插件，保证node/ pod/公有云上其他资源都可以互通，需要规划好⽹网段 保证互不不冲突。 • 公有云上underlay模式cni插件已经实现 • 托管区underlay模式cni插件可有以下⼏几种⽅方法实现： A. 基于⾃自定义路路由 B. 基于⼆二层bridge