Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks （ThirdPartyResource），首次尝 试解决 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta （create、update、delete）完一个对象后马上去 读（get、list）最新版本，等controller-runtime 触发下一次 reconcile 遵循惯例开发模式 即 controller 用读 cache，UT 中不用 cache 附加题：Stale Cache 情况下 情况下 Operator 正确性如何保证 Cache\Planned Action Create Update Delete

............. 9 （一）国家政策指引云计算创新发展，地方积极推进企业上云用云............ 9 （二）云计算市场处于快速增长阶段，运营商引领新一轮市场增长.......... 12 （三）云计算技术不断推陈出新，满足多样性场景需求助力产业升级...... 15 （四）行业上云用云呈阶梯状分布，中小企业成影响上云进程关键.......... 22 三、云计算正向数字世界操作系统转变 ........ 37 图 目 录 图 1 全球云计算市场规模及增速（亿美元）.........................................................3 图 2 2022 年全球各区域云计算市场规模占比.........................................................4 图 3 2022 年全球主要厂商的云计算业务营收（亿美元） ...................5 图 4 中国云计算市场规模及增速（亿元）...........................................................13 图 5 中国云计算细分领域市场规模及增速（亿元）...........................................14 图 6 2022 年中国公有云 IaaS 厂商市场占比

微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码，触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark • 全链路压测 • 集成测试 • 以前gitlab ci，docker in docker • 目前结合配置中心拓扑图，自动生成jekins编排，ing 微服务的测试阶段 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 protoc --proto_path=${ROOT}/examples/helloworld --go-test_out=pkg=main,paths=source_relative:. helloworld.proto • 业务代码中不要有框架、组件代码，减少单侧用例 • 业务代码做好接口级别单测，简单，快速 • • protobuf工具的插件，拿到gRPC服务的描述信息，生成单元测试用例 • 业务人员只需要填写红框内容的断言内容，就可以完成单元测试 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • gitlab.yaml or docker-compose.yaml • 构建MySQL、Redis • 创建表 ./app --job=install • 初始化数据 ./app

io/pause:3.2 k8s.gcr.io/etcd:3.4.13-0 k8s.gcr.io/coredns:1.7.0 #可以先下载以上7个镜像，传到每台k8s服务器上，再docker load导入；或者使 用内部registry仓库（内部registry镜像仓库里要有以上7个镜像） ★直接使用命令行方式初始化集群 （以下是非HA模式的master初始化，如果要部署高可用集群，则参考第4章） kubeadm "passwdxx" /etc/containerd/config.toml 这个配置文件是给crictl和kubelet使用的，ctr不使用 这 个 配 置 文 件 ， 因 为 ctr 不 使 用 CRI ， 所 以 它 不 读 取 plugins."io.containerd.grpc.v1.cri" 配置。 # systemctl enable containerd # systemctl /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem ②安装k8s二进制组件 #使用aliyun的源（如果用的是RHEL8系列的系统，也是用的el7的仓库源，因为 k8s组件是用go语言写的，直接二进制文件就可用，不需要特殊的库依赖，于是 和系统弱相关，8或9系列的系统也直接可用这些rpm软件） # cat >> /etc/yum.repos

Expectations 等工具自动化数据质量检查。 数 据可观测性可同时通过 Monte Carlo 等平台实现。 我们已经看到数据产品随着时间的推移，演变为多个用例的可重用构建块。随着我们在识别和构建价值驱动的 数据产品上的进展，后续用例的上市时间也随之加快。因此，我们的建议是，采纳针对 FAIR 数据的数据产品 思维。 技术 © Thoughtworks, Inc. All Rights Inc. All Rights Reserved. 15 11. 基于风险的故障建模 试验 基于风险的故障建模是一种用于了解系统发生故障的可能性、潜在影响和检测手段的方法。交付团队逐渐开始使 用这种方法来设计和评估预防故障所需的控制措施。该方法源自故障模式与影响分析（FMEA）的实践。FMEA 是一种诞生于上世纪 40 年代的风险评分技术，成功运用于航空航天和汽车等建造复杂物理系统的行业中。与这 工具，该实践正在获得新的关注。 17. 设计系统决策记录 评估 在迭代速度快、用户需求不断演进的产品开发环境中，设计是一个不断变化的领域。这意味着对设计决策输入 的需求会一直持续下去。我们借鉴了用 ADR（架构决策记录）记录软件架构决策的思路，采用类似的格式，以 设计系统决策记录来记录设计系统决策以及相应的依据、研究洞见和实验结果，这有效地传达了设计系统决策 似乎已成为产品开发团队新的需求。这种轻量级的方式也被

运⾏状态可视化，数据化，降低 部署⻛险，快速反馈 运营统计 全链路指标统计，为持续改进提 供数据⽀撑 学习培训 保障平台使⽤效果，快速实践落 地 DEVOPS⼯具 DEVOPS体系构成 企业级DEVOPS全景图 调度 ⺴络 存储 K8S 基础设施 租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 单次迭代开发交付过程 需求分析 工程活动 子过程 DevOps整体流程框架 生命周期 概念 迭代0 持续部署 每日站会 可视化管理 需求收集和分析 产品Backlog （Story验收用 例） 迭代需求列表 工作件 迭代1 迭代2 迭代3 迭代n 2.应用设计 3.开发 4.测试 1.需求分析 6.运维 5.发布 7.迭代回顾 系统总体架构 设计 系统总体架构 系统原型 功能接⼝性能测试 • 产品质量保证 • 测试团队管理 • 团队管理 • 为系统应⽤稳定性负责 • 定义监控指标 • 修改配置⽂件 • 应⽤运⾏稳定保障 • 功能接⼝性能测试 • 测试⽤例编写 • 产品质量保证 • 需求理解 • 编码实现 • 产出交付 ⽀撑的场景 需求管理 开发管理 持续部署 持续测试 持续集成 持续监控 需求提出 需求管理场景 需求完成 需求处理

入門 1.1 Kubernetes 是什麼？ Kubernetes 是什麼？ 首先，它是一個全新的基於容器技術的分散式架構解決方案。這個方案雖然還很 新，但它是 Google 十幾年來大規模應用容器技術的經驗累積和演進的一個重要成 果。確切地說，Kubernetes 是 Google 嚴格保密十幾年的秘密武器——Borg 的開源 專案版本。Borg 是 Google 久負盛名的一個內部使用的大規模叢集管理系統，它基 久負盛名的一個內部使用的大規模叢集管理系統，它基 於容器技術，目的是實現資源管理的自動化，以及跨多個資料中心的資源利用率最 大化。十幾年來，Google 一直透過 Borg 系統管理著數量龐大的叢集式應用系統。 由於 Google 員工都簽署了保密協議，即便離職也不能洩露 Borg 的內部設計，所 以外界一直無法瞭解它的相關資訊。直到 2015 年 4 月，傳聞許久的 Borg 論文伴 隨著 Kubernetes 這個前輩的肩膀上，吸取了 Borg 過去十年間的經驗與教訓，所以 Kubernetes 一經開源就一鳴驚人，並迅速席捲了容器技術領域。 1-9 1.3 從一個不簡單的 Hello World 範例說起 瀏覽器訪問 讀 寫 虛擬機 Kubernetes 服務 圖 1.3 Kubernetes 部署架構圖 1.3.1 建立 redis-master Pod 及服務 我們可以先定義

超级账本项目概览 2 Kubernetes架构简介 3 用Kubernetes部署Fabric 4 总结 SACC2017 超级账本项目概览 SACC2017 商用区块链的要求 5 共享账本 智能合约 隐私性 共识算法 多方共享数据 访问权限控制 交易具有合适的可见性 交易需认证身份 用代码描述业务 可验证和签名确认 多方共同认可交易 满足需求的吞吐量 Go, Java等多种开发语言 无 Solidity SACC2017 超级账本项目生命周期 • 多个子项目并存 • 每个子项目可有5个阶段 11 提案 孵化 活跃 弃用 终止 SACC2017 超级账本子项目 12 Fabric Sawtooth Lake Iroha Cello Blockchain Explorer Burrow Indy node 2 Worker node 3 Master SACC2017 Pod的概念 • Pod是K8s中一个或多个容器组成的部署单位 • 容器共享一个IP地址和端口空间，互相之间用 localhost访问 • 容器间还共享数据卷Volumes • 有点类似虚拟机中的多个进程 22 SACC2017 Pod部署在K8s中 23 Pod 1 Container

Addon manager创建并维护addon的资源。详⻅这⾥： here 。 DNS 虽然其他Addon不是严格要求的，但所有Kubernetes集群都应该有 cluster DNS ，许多⽤例都依赖于它。 Cluster DNS是⼀个DNS服务器，它为Kubernetes服务提供DNS记录。 Kubernetes启动的容器会⾃动将该DNS服务器包含在DNS搜索中。 Web UI (Dashboard) Kubernetes也会存储其API资源⽅⾯的序列化状态（⽬前存在 etcd 中）。 Kubernetes本身被分解成了多个组件，通过其API进⾏交互。 API更改 根据我们的经验，任何成功的系统都需要随着新⽤例的出现或现有的变化⽽发展和变化。因此，我们预计Kubernetes API将会不断变化和发展。但是，在很⻓⼀段时间内并不会破坏与现有客户端的兼容性。⼀般来说，新的API资源和新的 资源字段通常可被频繁添加。消除资源或字段将需遵循 有记录，每个 schema的IDL⽂件都存放在定义该API对象的Go语⾔包中。 API版本 为了更容易地消除字段或重组资源表示，Kubernetes⽀持多种API版本，每种API版本都有不同的API路径，例 如 /api/v1 或 /apis/extensions/v1beta1 。 我们选择在API级别，⽽⾮资源级别/字段级别使⽤版本控制，从⽽确保API提供清晰、⼀致的系统资源和⾏为视图，以