12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress Distributing secrets Checking application health Replicating application instances Using Horizontal Pod Autoscaling Naming and discovering Balancing loads Rolling updates Monitoring resources Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策（例如调度），以及检测和响应集群事件（例如：当 replication controller所设置的 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个VM上启动所有Master组件，并且不会 在该VM上运⾏⽤户的容器。请阅读 Building High-Availability

DestinationRule Service Kubernetes层 POD-2 pilot-agent Container v5897 POD-1 pilot-agent Containermaster POD-n … jenkins Client Chrome • 无状态服务的扩缩容 Traffic serviceA Pod A1 Pod A2 RC/Deployment Scale 服务画像 监控中台 serviceB Pod B1 Pod B2 Pod B3 RC/Deployment Scale Horizontal Pod Autoscaler Horizontal Pod Autoscaler 获取metrics CPU Mem已经支持指标自定 义metrics(用户自定义指标) 获取metrics CPU Mem已经支持指标自定 义metrics(用户自定义指标)

点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所有的资源对象。数据存储采用的是键值对存储。保存了整个集群的状态。 11 www.h3c.com Confidential Confidential 秘密 11 11 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）： Node是集群的工作节点，运行具体的Pod，当某个Node宕机时，其工作负载会被Master自动转移到其他Node节点上。 默认情况下kubelet会向Master注册自己。一旦Node被纳入集群管理，kubelet进程就会定时向Master节点汇报自身的 情况，比如操作系统等信 Node节点上运行一组关键进程： kubelet：主节点代理，负责Pod对应的容器的创建启停等任务，同时与Master节点密切协作，实现集群管理的基本功 能。 kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。

MultiCluster-Route-Manager Application & Route Management VWA Controller (Vertical Workload Autoscaler) HPAPlus Controller HNA Controller Auto Scale CronHPA Controller CLB-Service/Ingress-Controller ordinal Service (Kube-proxy, CLB, etc.) 0 n-1 … StatefulSetPlus ordinal 2/2 Original Pod Updating Pod Updated Pod OK StatefulSetPlus StatefulSetPlus Batch Gray Release Key Features: Ø Manual/Auto CronHPA, VWA (Vertical Workload Autoscaler) Ø Keep share memory during Pod upgrade Ø Scaled Up with LGV (Last Good Version) Ø Per Pod Per PV Ø Per Workload Per PV Ø Pod Auto Migrate when Node Abnormal

Facilitate our PaaS and micro-service product Kubernetes Capabilities/Advantages to Build DevOps Solution Pod Job CronJob • k8s itself is NOT a PaaS or DevOps platform，but … • k8s resources that can be used Affinity • And more … Kubernetes Capabilities/Advantages to Build DevOps Solution [] InitContainers Pod Spec [] Containers Affinity / SchedulerName [] Volumes Initialize the build environment Configure Capabilities/Advantages to Build DevOps Solution parallelism Job Spec activeDeadlineSeconds completions Pod Template Expected maximum number of parallel build tasks Expected number of completed build tasks

集群核心数据的备份和恢复 ① Etcd ② 核心数据库 • 云盘机制保护应用数据 • 举例：1.4升级1.9版本 • Pod Hash发生变化 • Container名称发生变化，点分隔改为了下划线分隔 • 容器标签发生变化 pause容器的标签io.kubernetes.container.name=POD改为 io.kubernetes.docker.type=podsandbox io.kubernetes kubernetes.container.restartCount改为 annotation.io.kubernetes.container.restartCoun • Cgroup目录结构发生变化，新增Pod层级 平台容灾 应用容灾 数据容灾 企业内部各个集群灰度运营。 可靠 资源管 理 CPU Memory Disk Space Network TX Network RX Disk 能力扩展：弹性伸缩 Pod Pod Pod 微服务/通用服 务 Autoscaler controller prometheus Metrics-server APP弹性伸缩： • 主动扩缩容 • 扩容可以指定新版本 • 缩容可以定点裁撤 自动扩缩容 • 资源阈值 • 自定义指标阈值 • 实例个数范围 • 周期性自动伸缩 Autoscaler controller

authenticator • Amazon EKS AMI AWS团队贡献或管理着超过20个与Kubernetes相关的开源项目 • /kubernetes • /kubernetes/autoscaler • /aws-labs/aws-service-operator • /weaveworks/eksctl • Amazon EBS, Amazon EFS, Amazon FSx CSI Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 云原生的CNI插件 Pod与EC2相同， 拥 有VPC地址段中地址 简单安全 GitHub开源 … { } Amazon VPC CNI Plugin 支持 © 2019, Amazon Web Services, Inc On-premises 10.1.0.0/16 VPN / DX Pod Outbound Traffic SNAT EKS worker node Primary elastic network interface Pod Secondary elastic network interface Pod – 100.64. 0.200 © 2019, Amazon

支持丰富的标签Label发现机制 Ø 原生负载均衡，高可用方案 Ø 原生的Rolling Update设计 Ø 为生产环境专门打造的容器集群 Ø 多镜像Pod Ø 多种业务类型：Service+RC/Job/DaemonSet Ø 自动伸缩：AutoScaler Ø 多种Volumn驱动 Ø emptyDir, hostPath, gcePersistentDisk, … Ø persistentVolumn persistentVolumn, persistentVolumnClaim Kubernetes的统一资源模型和 丰富的标签选择器 Kubernetes的架构 Ø Pod： 最小部署单元，可支持多容器镜像 Ø RC：控制Pod的个数和Pod的生命周期 Ø Service：服务入口，由Kube-proxy支持负载均衡 Ø 原生负载均衡，高可用方案 Kubernetes所支持的存储卷类型 Kubernetes最新支持的资源类型

⽬前只⽀持扩容操作，不可缩容 15 卸载NAS盘 对于已挂载的NAS盘，可以从集群中卸载，卸载后的NAS盘可以挂在到同⼀区域下的其他集群使⽤ NAS盘⼀旦卸载，会导致该集群内所有依赖该存储的POD的PV皆不可⽤，请谨慎操作 卸载需要邮箱验证 删除NAS盘 16 对于已经卸载的NAS盘，可以永久删除 删除后的NAS盘，所有数据均会被删除，且⽆法找回，请谨慎操作 删除需要⼿机或邮箱验证 a) 在容器服务菜单下，单击左侧导航栏中的应⽤>⽆状态，选择所需的命名空间（默认为deafult）， 然后单击⻚⾯右上⻆的创建。 b) 设置应⽤名称、集群 、命名空间、副本数量（即应⽤包含的 Pod 数量）、标签和注解。然后单击 下⼀步进⼊容器配置⻚⾯ 应⽤管理 1. 简介 2. 前提条件 3. 操作说明 22 c) 设置容器配置 i. 基本配置 镜像名称：填写所⽤镜像名称， s）。健康检查⽤于 检测何时重启容器；就绪检查⽤于确定容器是否已经就绪，且可以接受流量。更多信息，请参 ⻅https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness- readiness-probes。 24 请求类型 配置说明 HTTP/HTTPS 即向容器发送⼀个

Service Monitor Istio Virtual Service Deployment Ingress Service YAML 文件 代码、应用、CICD 流水线 容器 Pod Controller 调度 Node Sidecar CNI CSI 为了更好的用户体验： 用户 期望： K8s 提供： 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 抽象”、“用户友好” 且“高度可扩展”的 K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 抽象程度 学习曲线 高 低 低 高 Deployment Pod Service Node … PodTemplate Configuration Revision Route $ heroku apps $ heroku domains $ heroku releases Encrypt Flagger Virtual Service Manual Scaling App CRD HPA Knative Service Cert Canary AutoScaler AutoScaling Route Job Deployment 缺乏交互、复用、可移植能 力。不同重复造轮子只是适 配不同 API 如何基于 K8s ，构建出一个既用户友好，又高可扩展，还