Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 试解决 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- Pattern 是官方定义的标准扩 展机制，是 K8s Native Application; Operator = CRD + control loop, i.e, Declaretive API + Automation; kubebuilder + controller-runtime + helm Operator Capability Levels Installation 机制获取某种资源的 全量 objects。list 可以简单理解为一个 HTTP GET 请求，watch 为一 个 HTTP/2 长连接 Cache 如何保持与 API Server 一致性 list & watch 机制中，list 获取 API Server 中数据的一份快照，并记 录 ResourceVersion 版本信息，watch 从 ResourceVersion 开始，获取后 续的增量数据。

01-什么是Kubernetes 02-安装单机版Kubernetes 03-使⽤Kubespray部署⽣产可⽤的Kubernetes集群（1.11.2） 04-K8s组件 05-Kubernetes API 06-理解K8s对象 07-Name 08-Namespace 09-Label和Selector 10-Annotation 11-K8s架构及基本概念 12-Master与Node的通信 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes control plane 所⽤的API 与开发⼈员和⽤户可⽤的API相同。⽤户可以使⽤ their own API 编写⾃⼰ 的控制器，例如 scheduler ，这些API可由通⽤ command-line tool 定位。 这种 design 使得许多其他系统可以构建在Kubernetes上。 ⾸先执⾏A，然后B，然后执⾏C。相反，Kubernetes由⼀组独⽴、可组合的控制进程组成，这些控制进程可将当前状 态持续地驱动到所需的状态。 如何从A到C不要紧，集中控制也不需要；这种做法更类似于编排 。 这使系统更易⽤、更 强⼤，更具弹性和可扩展性。 译者按：编排和编制：https://wenku.baidu.com/view/ad063ef2f61fb7360b4c65cd.html K

Install API server - Config them correctly - Start them Installation - etcd - SSH - Install etcd - Config them correctly - Start them Installation kops, kubeup.sh, kube-AWS,... AWS, GCP API node1 AWS, GCP API node1 node2 node3 Rollback ??? AWS, GCP API node1 node2 node3 Healing AWS, GCP API node2 node3 Healing AWS, GCP API node2 node3 node1’ Create node Healing AWS, GCP API node2 node3 compile_c(argv[1]); } gcc Self hosting go // golang source code package main import "os" func main() { compile_go(os.Args[1:]) } go Self hosting Self hosting $ uname -s minix $ gcc linux.c Self

分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . 北北京 基于RBAC实现 Service IP的地址段 Bgpd 负责将 Service IPv6 地址段通过 BGP 路路由协议宣告给接⼊入交换机 P o d 返 回 的 包 ， 会 先 回 给 S e r v i c e Gateway，由于做了了SNAT，基于连接 追踪（conntrack），再返回给请求的 客户端。 每个接⼊入交换机下，选择两台节点作为Service Gateway，作为集群外部访问Service的⽹网关 Operator 于 API server 交互，Watch 全部的 Namespace 或者特 定Namespace中对CR的创建、更更新、删除事件 • Operator 处理理这些事件，可以使⽤用 k8s 中的pod、deployment、 statefulset 对象构建应⽤用 Operator⼯工作原理理 Operator Kubernetes API Server Informer

Highest Level • Container Cluster = “Desired State Management” – Kubernetes Cluster Services (w/API) • Node = Container Host w/agent called “Kubelet” • Application Deployment File = Configuration File be running Worker Node Worker Node Worker Node Kubernetes Master Node (Master & etcd nodes) API K K K App_Y.yaml ContainerImage1 Replicas: 1 ContainerImage2 Replicas: 2 https://youtu.be/PH-2FfFD2PU Master API Cluster A Worker Worker Worker Kubernetes Master API Cluster B Operator Developer Architecture PKS Controller IaaS Worker Worker Kubernetes Cluster Services API Cluster3

Service DevOps Operator DevOps Operator DevOps Service DevOps Manager CronJob k8s API MySQL k8s API MySQL MySQL • Pipeline configuration and history in MySQL • Logging in central logging Monitor/Alert Service DevOps Operator Cluster AutoScaler k8s API DevOps Service DevOps Service DevOps Manager Restful API realtime log history log pull metric data ElasticSearch ElasticSearch improve DevOps • Help integration test - use sidecar container as dependent environment • Encapsulate API / SDK of other tools using image for better integration/ collaboration • Leverage k8s integration

Kubernetes基础介绍 综合产品支持部——李树兵 2 www.h3c.com Confidential 秘密 22 Kubernetes基础架构介绍 01 03 Kubernetes常见命令介绍 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 3 www.h3c.com Confidential 秘密 33 Kubernetes基础架构介绍 Kubernetes基础架构介绍 01 03 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 Kubernetes常见命令介绍 4 www.h3c.com Confidential 秘密 44 Kubernetes基础结构介绍 Kubernetes（来自希腊语，意为“舵手”或者“飞行员”又称为k8s），它是谷歌开源的容器集群管理系统，是谷歌多年大规模 我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具，涵盖开发、部署测试、运维监控等各个环节。 5 www.h3c.com Confidential 秘密 55 Kubernetes基础结构介绍 Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故

• All about community • A sad story: • https://github.com/google/lmctfy • Now think about a C/C++ based Kubernetes? • And, well designed programming patterns with powerful extensibility Understand targetAverageUtilization: 50 • API Object Oriented Programming Core of API “OO” 1.API objects stores in etcd 2.Control loops (Sync Loop) to reconcile API objects Example kubelet SyncLoop proxy proxy 1 Pod created etcd scheduler api-server Example kubelet SyncLoop kubelet SyncLoop proxy proxy 2 Object added etcd scheduler api-server Example kubelet SyncLoop kubelet SyncLoop

kubeadm init --kubernetes- version=v1.19.4 \ --apiserver-adver�se- address=10.99.1.51 \ # api server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster kubeadm init --kubernetes- version=v1.28.2 \ --apiserver-adver�se- address=10.99.1.51 \ # api server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster tools/releases/download/v1.28.0/crictl-v1.28.0-linux-amd64.tar.gz # tar -xf crictl-v1.28.0-linux-amd64.tar.gz -C /usr/bin/ # crictl -v #查看crictl版本 crictl version v1.28.0 # crictl images

Kubernetes, Feb, 2019 https://assets.contentstack.io/v3/assets/blt58b49a8a0e43b5ff/blt2218fac49ab28d5f/5c742622670387985f9fd09d/vmware-enterprise-pks-security-white-paper.pdf ©2019 VMware, Inc. 13 企業可 PKS API BOSH Ops Manager BOSH Director IaaS K8s API K8s API Platform Reliability Engineer Ops Manager / BOSH Admin Manages OpsMan Tiles Developer Consumes K8s API/kubectl Ci/CD Application DevOPS Owner Consumes PKS API/CLI Day 1 & Day 2 for k8s clusters Manages access to k8s API for developers IT Operator IaaS Management Internet User Application User