Node Operator: Kubernetes Node Management Made Simple 陈俊(Joe), Ant Financial Agenda • Background and Motivation • Introduction of Operators • Node-Operator • Advanced Topic: Teardown Cluster fast and convenient • Add & delete Node at any time • Upgrade Master & Node Components reliably • Canary Rollout • Master & Node Component Versions Management Motivation: Work Order Order Deployment Worker Order • Upgrade Nodes Versions • Upgrade Node 10.10.10.1 • Upgrade docker • Upgrade kubelet • Upgrade Node 10.10.10.2 • Upgrade docker • Upgrade kubelet …. Motivation: Work Order

解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 ip地址 k8s-master1.cof-lee.com 10.99.1.51 k8s-master2.cof-lee.com 10.99.1.52 k8s-master3.cof-lee.com 10.99.1.53 k8s-node01.cof-lee 10.99.1.61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # pod网络和service网络都要求为16位的地址块，且不能与环境中其他网络地址 段冲突 # hostnamectl set-hostname k8s-master1.cof-lee.com 99.1.51 k8s-master1.cof-lee.com k8s-master1 10.99.1.52 k8s-master2.cof-lee.com k8s-master2 10.99.1.53 k8s-master3.cof-lee.com k8s-master3 10.99.1.61 k8s-node01.cof-lee.com k8s-node01 10.99.1.62

10-Annotation 11-K8s架构及基本概念 12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 主机规划 IP 作⽤ 172.20.0.87 ansible-client 172.20.0.88 master,node 172.20.0.89 master,node 172.20.0.90 node 172.20.0.91 node 172.20.0.92 node 准备⼯作 关闭selinux 所有机器都必须关闭selinux，执⾏如下命令即可。 ~]# setenforce ELINUX=disabled/g' /etc/sysconfig/selinux 03-使⽤Kubespray部署⽣产可⽤的Kubernetes集群（1.11.2） 10 ⽹络配置 在master机器上 ~]# firewall-cmd --permanent --add-port=6443/tcp ~]# firewall-cmd --permanent --add-port=2379-2380/tcp

1 台作为 k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master CPU：2 核, 数据盘：80GB step1. 从模板上新建虚拟机 Step2. 配置虚拟机网络 打开虚拟机的控制台： 设置主机名： hostnamectl set-hostname k8s-master 设置网络： cd /etc/sysconfig/network-scripts vi ifcfg-ens160 TYPE=Ethernet BOOTPROTO=static /dev/mapper/centos-docker df –Th A2. 创建 k8s-node1, k8s-node2, k8s-node3 内存：16GB, 系统盘：40GB，docker 数据盘：40GB，ceph 数据盘：200GB 【注】所有节点(k8s-master, k8s-node1, k8s-node2, k8s-node3)均需做以下 B~D： B. 升级&配置 centos7

www.h3c.com Confidential 秘密 77 Kubernetes基础结构介绍 Kubernetes Master架构组成： 8 www.h3c.com Confidential 秘密 88 Kubernetes基础结构介绍 Kubernetes Node（Worker）架构组成： 9 www.h3c.com Confidential 秘密 99 Kubernetes基础架构介绍 Confidential 秘密 10 10 k8s基本概念和术语介绍（Master） 主节点（Master）： Master是集群的控制节点，每个k8s集群中至少需要一个Master节点来维护整个集群的管理和控制，几乎所有的控制命 令都是发给它，它负责执行具体的动作。它很重要，如果它不可用，那么我们所有的控制命令都会失效。 Master节点上运行一组关键进程： API Server API服务器 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）： Node是集群的工作节点，运行具体的Pod，当某个Node宕机时，其工作负载会被Master自动转移到其他Node节点上。 默认情况下kubelet会向Master注册自己。一旦Node被纳入集群管理，kubelet进程就会定时向Master节点汇报自身的 情况，比如操作系统等信息，这样Master就可以获取每个Node节点的资源使

3.1 建立 redis-master Pod 及服務 我們可以先定義 Service，然後再定義一個 RC 來建立和控制相對應的 Pod，或者先 定義 RC 來建立 Pod，然後定義與其關聯的 Service，這兩種方式最終的結果都一 樣，這裡我們採用後面這種方式。 首 先 為 redis-master 服 務 建 立 一 個 名 為 redis-master 的 RC 定 義 檔：redis-master- 檔：redis-master- controller.yaml。下面提供該檔的完整內容： apiVersion: v1 kind: ReplicationController metadata: name: redis-master labels: name: redis-master spec: replicas: 1 selector: name: redis-master redis-master template: metadata: labels: name: redis-master 1-42 Kubernetes 入門 1 1.4.9 小結 上述這些元件是 Kubernetes 系統的核心元件，它們共同構成 Kubernetes 系統的框 架和運算模型。透過對它們進行靈活組合，使用者就可快速、方便地對容器叢集進 行配置、建置和管理。

App 2 Bins/Libs App 3 Bins/Libs Container Engine Docker Host Kubernetes Slave Kubernetes Master P1R3 P2R2 P2R2 P1R2 P1R2 P2R1 P1R1 P1R1 P2R1 P1R1 P2R1 App_X.yaml ContainerImage1 Replicas: Level • Container Cluster = “Desired State Management” – Kubernetes Cluster Services (w/API) • Node = Container Host w/agent called “Kubelet” • Application Deployment File = Configuration File of desired a Pod (~1:1) • Replicas = QTY of Pods that must be running Worker Node Worker Node Worker Node Kubernetes Master Node (Master & etcd nodes) API K K K App_Y.yaml ContainerImage1 Replicas: 1

Pod 异常 影响 • 通过 API Server 访问集群概率失败 • 升级集群失败 Load Balancer Service Master API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 自动安装依赖 firewalld 网络未知原因导致异常 Node Pod eth0 调用 iptables 增加阻断规则 FORWARD_IN_ZONES_SOURCE FORWARD_OUT_ZONES 容器网络不通 异常 VS 异常检测 ？ 硬件（CPU、内存、磁盘） • 操作系统（ NTP、内核死锁、文件系统异常） • Container Runtime（无响应） 问题上报 • API server • Prometheus node-problem-detector Sonobuoy 运行模式 • 集群节点（Collector Pod + DaemonSet/One Shot） • 需要特定版本来对接兼容的 K8s 版本

集群 需通过⾸云集群管理⻚⾯进⾏上述操作 创建集群 进⼊集群⻚⾯ -> 右上⻆点击创建集群 设置集群名称 -> 选择虚拟数据中⼼ -> 选择集群私⽹ip⽹段 -> 选择计费⽅式-> 设置master节点 - > 设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 确认 2.使⽤须知 集群管理 1.简介 2.使⽤须知 集群节点的⼿动管理，包括节点的增加、删除和设置节点是否可调度操作 需通过⾸云集群管理⻚⾯进⾏上述操作 添加master节点 进⼊集群⻚⾯ -> 选择需要操作的集群 -> 点击集群扩容 节点管理 1.简介 2.使⽤须知 3.操作说明 7 核对集群ID -> 选择增加节点类型为master -> 选择计算类型与规格 -> 添加云盘（可不选）-> 设 置添加数量 -> 输⼊登录⽤户密码 -> 设置 添加数量 -> 输⼊登录⽤户密码 -> 核对⽆误后，点击确定进⾏添加 9 进⼊节点查看⻚⾯ -> 选择对应集群，新添加节点状态由创建中 -> 正常代表添加成功 删除worker节点（master节点不可移除） 进⼊节点查看⻚⾯ -> 选择对应集群，选择要删除的worker节点 -> 点击删除 10 点击删除后，仔细阅读提示后，没问题点击确认执⾏删除操作 进⼊节点查看⻚⾯ -> 选择对应集群，删除节点状态由删除中

continuously pull pods off the queue, evaluates the pod’s requirements, and assigns it to a worker node. 6 Kubenetes scheduling What does the scheduler do: As pod are created, they are place in a queue continuously pull pods off the queue, evaluates the pod’s requirements, and assigns it to a worker node. Placement Decision Stages: 1. Filter out impossible worker nodes a. Filters are called predicates continuously pull pods off the queue, evaluates the pod’s requirements, and assigns it to a worker node. Placement Decision Stages: 1. Filter out impossible worker nodes a. Filters are called predicates