Node Operator: Kubernetes Node Management Made Simple 陈俊(Joe), Ant Financial Agenda • Background and Motivation • Introduction of Operators • Node-Operator • Advanced Topic: Topic: Kube-on-Kube-Operator • Achievement • Q&A Background: DC/OS From Sigma 2.0(Swarm) to Sigma 3.1(Kubernetes) Background: Cluster Scale • Production environment: • Dozens of Cluster • 5k+ Nodes / Cluster Teardown Cluster fast and convenient • Add & delete Node at any time • Upgrade Master & Node Components reliably • Canary Rollout • Master & Node Component Versions Management Motivation: Work Order

Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 从被收购到卷王（si） 回到初（qi）心（dian） KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 TPR Operator CRD Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR； controller-runtime

○ Healing ○ Discovery/load balancing ○ Scaling Scheduling Scheduler Scheduler Scheduling Scheduler Scheduling color=yellow Discovery Select color = yellow color=yellow Discovery yellow.mycluster Config them correctly - Start them Installation kops, kubeup.sh, kube-AWS,... AWS, GCP API node1 node2 node3 Upgrade - SSH - Upgrade container runtime - Upgrade Kubelet Upgrade - master - SSH - Upgrade API node1 node2 node3 Rollback ??? AWS, GCP API node1 node2 node3 Healing AWS, GCP API node2 node3 Healing AWS, GCP API node2 node3 node1’ Create node Healing AWS, GCP API node2 node3 node1’

51 k8s-master2.cof-lee.com 10.99.1.52 k8s-master3.cof-lee.com 10.99.1.53 k8s-node01.cof-lee.com 10.99.1.61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # 99.1.53 k8s-master3.cof-lee.com k8s-master3 10.99.1.61 k8s-node01.cof-lee.com k8s-node01 10.99.1.62 k8s-node02.cof-lee.com k8s-node02 EOF ★k8s初始化时要求系统里有/etc/resolv.conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 #加载配置 ⑧防火墙放行端口 TCP: 6443，2379，2380，10250~10252，30000~32767 UDP: 8285，8472 ★最好是允许整个k8s的node网段以及pod网段入站 # firewall-cmd --add-rich-rule='rule family="ipv4" source address="10.99.1.0/24" accept'

集群需要至少 4 台主机/虚拟机，下面是参考配置： 1 台作为 k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master /dev/mapper/centos-docker df –Th A2. 创建 k8s-node1, k8s-node2, k8s-node3 内存：16GB, 系统盘：40GB，docker 数据盘：40GB，ceph 数据盘：200GB 【注】所有节点(k8s-master, k8s-node1, k8s-node2, k8s-node3)均需做以下 B~D： B. 升级&配置 centos7 hosts vi /etc/hosts 202.114.193.101 k8s-master 202.114.193.102 k8s-node2 202.114.193.103 k8s-node3 202.114.193.104 k8s-node4 Step3. 禁用防火墙 systemctl stop firewalld systemctl disable firewalld

Level • Container Cluster = “Desired State Management” – Kubernetes Cluster Services (w/API) • Node = Container Host w/agent called “Kubelet” • Application Deployment File = Configuration File of desired Runs in a Pod (~1:1) • Replicas = QTY of Pods that must be running Worker Node Worker Node Worker Node Kubernetes Master Node (Master & etcd nodes) API K K K App_Y.yaml ContainerImage1 Replicas: https://youtu.be/PH-2FfFD2PU 14 VM VM VM VM Kubernetes Trend Worker Node The Kubernetes Master Node Basic Components Master Node ETCD kube-apiserver kube-controller-manager kube-scheduler • Key/Value

10-Annotation 11-K8s架构及基本概念 12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 主机规划 IP 作⽤ 172.20.0.87 ansible-client 172.20.0.88 master,node 172.20.0.89 master,node 172.20.0.90 node 172.20.0.91 node 172.20.0.92 node 准备⼯作 关闭selinux 所有机器都必须关闭selinux，执⾏如下命令即可。 ~]# setenforce /proc/sys/net/bridge/bridge-nf-call-iptables ~]# sysctl -w net.ipv4.ip_forward=1 如果关闭了防⽕墙，则只需执⾏最下⾯三⾏。 在node机器上 ~]# firewall-cmd --permanent --add-port=10250/tcp ~]# firewall-cmd --permanent --add-port=10255/tcp

deleted in a certain period. 5. Nodes Availability A number value indicates the number of unhealthy node in the cluster. Pods scheduled to unhealthy nodes may not be delivered in time, success rate would master components. The success standard and reason classification The success standard: Pod Feature Time limit Success condition Pod RestartPolicy=Always 1min (example value) the status of {.Status etcd Unhealthy Node Taint/Degrade 1min Node has taints or is degraded Processing Base on the failure reason Unhealth node is healed or removed. Reason classification: Source Feature Example System

构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的？ PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台： 电商 PaaS Kubernetes 用户 ( 应用开发者和运维人员 ) 我所在的团队 为什么 我们需要在 Istio Virtual Service Deployment Ingress Service YAML 文件 代码、应用、CICD 流水线 容器 Pod Controller 调度 Node Sidecar CNI CSI 为了更好的用户体验： 用户 期望： K8s 提供： 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 抽象程度 学习曲线 高 低 低 高 Deployment Pod Service Node … PodTemplate Configuration Revision Route $ heroku apps $ heroku domains $ heroku releases $ heroku

resource allocation, external shuffle service, Kerberos etc. How it works Spark on Kubernetes Spark-operator Gaps for spark Ø Dynamic Resource Allocation Ø Spark external shuffle service Ø Performance Pending pod node1 Job9 Driver Job10 Driver Job11 Driver Job12 Driver node3 Job5 Driver Job6 Driver Job7 Driver Job8 Driver node2 Job13 Driver Job14 Driver Job15 Driver Job16 Driver node4 Submit Pending pod Driver node Job1 executor Job2 executor Job3 executor Job4 executor Executor node Job1 executor Job2 executor Job3 executor Job4 executor Executor node Job1 executor Job2