域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR； controller-runtime 加入 K8s 社 区并正式发布； 自此，CRD + controller-runtime 逐渐成为开发 operator Application; Operator = CRD + control loop, i.e, Declaretive API + Automation; kubebuilder + controller-runtime + helm Operator Capability Levels Installation of the workload • Operator deploys an the user leveraging the status block of the Custom Resource Configuration of the workload • Operator provides configuration via the spec section of the Custom Resource • Operator reconciles configuration

Installing Kubernetes On-premises/Cloud Providers with Kubespray:https://kubernetes.io/docs/setup/custom- cloud/kubespray/ 03-使⽤Kubespray部署⽣产可⽤的Kubernetes集群（1.11.2） 14 K8s组件 本⽂概述了Kubernetes集群中所需的各种组件。 种组件。 Master组件 Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策（例如调度），以及检测和响应集群事件（例如：当 replication controller所设置的 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个VM上启动所有Master组件，并且不会 在该VM上运⾏⽤户的容器。请阅读 d数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controller，它们是处理集群中常规任务的后台线程。逻辑上来讲，每个Controller都是⼀ 个单独的进程，但为了降低复杂性，它们都被编译成独⽴的⼆进制⽂件并运⾏在⼀个进程中。 这些控制器包括： Node Controller：当节点挂掉时，负责响应。 Replication

#查看k8s其他组件的docker镜像名，默认用 k8s.gcr.io/的镜像源地址 k8s.gcr.io/kube-apiserver:v1.19.4 k8s.gcr.io/kube-controller-manager:v1.19.4 k8s.gcr.io/kube-scheduler:v1.19.4 k8s.gcr.io/kube-proxy:v1.19.4 k8s.gcr.io/pause:3 /etc/kubeadm-init.yaml #查看需要的镜 像 cof-lee.com:5443/k8s/kube-apiserver:v1.19.4 cof-lee.com:5443/k8s/kube-controller-manager:v1.19.4 cof-lee.com:5443/k8s/kube-scheduler:v1.19.4 cof-lee.com:5443/k8s/kube-proxy:v1 #查看k8s其他组件的docker镜像名，默认用 k8s.gcr.io/的镜像源地址 registry.k8s.io/kube-apiserver:v1.28.2 registry.k8s.io/kube-controller-manager:v1.28.2 registry.k8s.io/kube-scheduler:v1.28.2 registry.k8s.io/kube-proxy:v1.28.2 registry

Kubernetes developers: • The Golang programming patterns of Kubernetes (Controller, codegen etc) • Write your own Controller • gPRC based interface design in Kubernetes (CRI as example) • For Pattern 1: Controller • Control everything by Controller • Level driven, not edge driven edge level Image: https://speakerdeck.com/thockin/edge-vs-level-triggered-logic Controller • The heart getDesiredState() current := getCurrentState() makeChanges(desired, current) } • Write your own controller! Why DIY? Container Pod Deployment I need co-scheduling I have many Pod replicas Service

Pod Controller 调度 Node Sidecar CNI CSI 研发都要做 Kubernetes 专家？ Kubernetes 构建 Platform on Kubernetes 控制器 各种各样的控制器（Controller） 容器 虚拟机 负载均衡 数据库 安全服务 网络 存储 Pod Deployment Service Node Custom Resource CI/CD 流水线 应用 扩容策略 发布策略 分批策略 访问控制 流量配置 Pod Deployment Service Node Custom Resource 业务运维 业务研发 按需绑定 关键词：用户友好，应用层语义和抽象 平台工程师 Controller 目标二：一个高可扩展的应用管理平台 关键词：可插拔，可扩展，模块化，没有抽象程度锁定 应用 Deployment Knative

ElasticSearch ElasticSearch Prometheus Push Gateway push metric data • Build task can also expose custom metric data • Ephemeral build task can push metric to gateway if needed • Cluster autoscaler autoscaler will add/remove node from build group for scaling • HA is guaranteed by cluster HA, k8s Job controller and cluster autoscaler, can also use container probe if needed Infrastructure Layer Cloud capabilities, such as external service registration, service catalog, integrate using CRD and controller, etc… CI/CD Examples - Build Docker Image dockerfile using ConfigMap Job - pod template -

典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 自动安装依赖 firewalld 网络未知原因导致异常 Node Pod eth0 调用 iptables 增加阻断规则 FORWARD_IN_ZONES_SOURCE { 自动化 Ver.1 自动化 Autopilot Engine Command Policy Executor Task Node Node Node Global Job Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 • 正则表达式 Ver.2 动态化 Dynamic Engine Command Policy Executor Task Node Node Node Global Job Custom Job Node Script Image Report Builder Report Executor Autopilot Engine Ver.2 动态定制 Report

Monitor Manager Custom Containers Custom Containers Think in Cloud . 北北京 监控系统⽅方案 • 监控基于 Prometheus 构建，Prometheus 部署于 K8s 集群中，使⽤用 HostPath 存储数据； • Metrics 采集： A. 采集 apiserver、controller-manager、s

如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo （内部项⽬目）- ⽣生产级镜像仓库解决⽅方案，基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 典型企业应⽤用的架构 CAICLOUD/RUDDER • 2 CRDs - Release, Release History • 1 控制器器 - Rudder aka Release Controller • 开源 • https://github.com/caicloud/rudder • https://github.com/caicloud/canary-release • https://github

上运行，被测对象也运行在 Kubernetes 上 ● 测试的最小单元是 Pod 或 Container ● 使用 Helm 一键部署 友善的接口 ● 实验是作为 Kubernetes Custom Resource 管理的 友善的接口 强大的工具箱 ● PodChaos: kill / fail / ... ● NetworkChaos: delay / lose / dup / 中使用 ○ 使用预先定义的 Github Actions ○ 使用 Kubernetes Client 创建实验 Chaos Mesh 的结构 以 NetworkChaos 为例 ● Controller 向 chaos-daemon 发送请求 ● [Pod network namespace] 设置 ipset 和 iptables ● [Pod network namespace] 设置