21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress Resources 28-动态⽔平扩容 29-实战：使⽤K8s编排Wordpress博客 2 简介 Kubernetes开源书。不啰嗦了，JUST READ IT. GitHub地址：https://github.co 3 什么是kubernetes Kubernetes是⼀个旨在⾃动部署、扩展和运⾏应⽤容器的开源平台 。 使⽤Kubernetes，您可以快速有效地回应客户需求： 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 为什么我需要Kubernetes，它能⼲啥？ 最基本的功能：Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽，Kubernetes还允许开发⼈员将物理

-c 3 1.1.1.1" ] #容器入口程序及参数 resources: requests: #资源需求，定义了容器所需要的最小资源量，便于调度，不 能小于jvm中的Xms memory: "256Mi" cpu: "200m" limits: #资源限制，定义了容器最大可以消耗的资源上限，对应jvm中 resourceQuota-testxx.yaml ★第7章、pod控制器 pod控制器是由kube-controller-manager组件提供的一些资源，负责控制pod的创 建、删除、重新调度、运行时间等。常用的pod控制器有ReplicaSet, Deployment, DaemonSet, Job, CronJob等，如果pod被删除，则可以重新拉起一个 ★通过kind: Pod创建的容器组，在kubectl -f pod-nginx-use-volume.yml ④存储类与动态pv供给 PV动态供给表示：当没有匹配的PV时，k8s集群会尝试为PVC动态创建符合需求 的PV，此方式依赖于存储类的辅助，PVC必须向一个已申明的存储类发起动态 分配PV的请求，没有指定存储类的PVC请求会被禁止动态创建PV ★第10章、ConfigMap和Secret ConfigM

它能够在任何基础设施和任意环境中提供一致、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 帮助您洞察集群、节点、应用和服务的详细指标，并通 过动态仪表盘和拓扑大图可视化掌握应用健康状态。 DCE 5.0 原生支持 DevOps 开发运维模式，可以实现应用交付的全流程标准化 和自动化，并集成各类精选数据库和中间件，使运维治理更加高效。各个产品 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 向企业实际业务需 求，打造完整的解决方案体系。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。

网络性能、架构可靠性的最佳折中 存储架构 根分区 /home分区 DeviceMapper Docker Volumn LVM  比拟物理磁盘IO性能  磁盘空间隔离  调度扩展磁盘资源  异步清理 Build IMAGE  封装规范Dockerfile  Dockerfile分片，构建编译 和运行环境  CMD固定为Docker-init 营商自动划分线路 docker-init和ELB服 务都会动态更新LVS 配置，可重入 云厂商集群，多一层 HAProxy 日志服务  更轻量的客户端FileBeat  容器退出后延迟回收  日志目录规范+自发现  行检索的挑战 免密安全登录 基于服务树节点授权 每登录认证凭据 动态服务安全 仅需Server端嵌入SDK和配置 数据库，DB-Proxy简化接入 数据库，DB-Proxy简化接入 IP+JOBNAME共同生效，防 御ZK故障 监控 Push采集，与动态 环境更亲和 促成自动发现能力 监控  节点内增加主机或容器  主机或容器增加分区 转向K8S 双引擎 Kubernetes API Server Marathon/ Mesos Adapter O  翻译为Marathon/Mesos

•Kube-Router •Macvlan •… (剩余几十个) 方案一：Flannel网络方案 基础网络IP可达就可用，适用性高，有一定网络延迟 方案二：Calico网络方案 基于BGP做动态路由发现的网络模型，需要基础网络支持BGP，架构复杂 方案三：Macvlan网络方案 Macvlan是Linux操作系统内核提供的网络虚拟化方案之一 它可以为一张物理网卡设置多个mac地址 一个超大集群还是多个中小集群？ 集群方案 •超级部署屏蔽K8S的各类资源 •一个部署调度到多个集群 •业务可自定调度策略 •达到机架、机房、集群级容灾 服务发现方案 •K8S自带的服务发现不可用 •基于Pod事件的服务发现 •现状妥协导致服务发现链路变长 集群失败了 •没有办法操作K8S？ •基于假事件的重新调度 •灾难场景可迁移至备份集群 部署平台 •研发平台支持混合部署 •和老方式保持一至 •极速发版，快速扩容，自动伸缩 私有云建设收益 上云成果 遇到的问题 问题⼀：上容器后时延变⼤了 问题⼀：上容器后时延变⼤了 • GOMAXPROCS默认会根据CPU数创建调度线程 • 容器内看到的是宿住机的CPU • Go不是NUMA友好的 解决⽅案⼀：Lxcfs • 通⽤⽅案，适合任何语⾔ • 重新mount部署proc⽬录mock机器信息 • 守护进程失败会导致当前运⾏的容器⽆法获取

•曾凡松（逐灵），当前主要负责 k8s 在阿里巴巴场景中的规模化落地，将 k8s 应用于阿里最核心的业务，帮助客 户以云原生的方式管理应用并获得效率、 稳定性及成本的改善。 •汪萌海（木苏），经历了阿里巴巴集团 集群调度从自研 sigma 系统迁移到 k8s 体系的过程，目前主要负责解决阿 里巴巴集团在大规模场景下使用 k8s 碰到的稳定性、容器编排质量和性能问 题。❖ 阿里巴巴容器的发展历程 ❖ 基于 k8s 初步探索 使用容器的方式替换传统使用 VM 部署应用的，基于 lxc 自研 了 t4 容器并构建了 AI 集团管理 系统 2017 统一资源池 构建了 Sigma 调度系统，收敛了 众多运维平台之下的资源调度系 统，并构建了集团统一资源池， 在此基础上发展出弹性、混部等 技术成果，大幅降低了数据中心 的资源成本 2019 全面拥抱云原生 阿里业务全面上云，运维体系全 面拥抱云原生，基于 平台，包括 AliSwarm，Zeus， Hippo 等，极大地降低了业务运 维的成本 2018 转型 kubernetes 从自研的 Sigma 调度转型到 k8s 体系，初步尝试面向终态的运维 体系，通过 k8s 的方式将 Sigma 调度能力提供给客户为什么 k8s 在阿里能成功 繁荣的社区和生态系统 Available to customers on/under cloud, within/outside

的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具，涵盖开发、部署测试、运维监控等各个环节。 5 www.h3c.com Confidential 秘密 55 Kubernetes基础结构介绍 Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所有的资源对象。数据存储采用的是键值对存储。保存了整个集群的状态。 11 www 默认情况下kubelet会向Master注册自己。一旦Node被纳入集群管理，kubelet进程就会定时向Master节点汇报自身的 情况，比如操作系统等信息，这样Master就可以获取每个Node节点的资源使用情况合理的进行调度。如果Node节点在 指定时间不上报，那么Master就会认为它“失联”，标记成“Not Ready”状态。 Node节点上运行一组关键进程： kubelet：主节点代理，负责Pod对应的容器的

容器在业界的默认标准是Docker，定义容器标 准的组织是OCI。 容器技术是一种轻量级的操作系统虚拟化方案， 可以基于操作系统虚拟出更加细粒度的资源单位。 5 什么是容器编排调度引擎？ • 容器编排引擎提供资源的管理和容器的调度技术，提供容器应用生命周期管理、弹性伸缩、监控运维的基本机制，决定容器 之间如何进行交互。 • Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google 宰容器编排调度引擎市场 2017年10月，Docker公司宣布支持Kubernetes 2017年10月17 日，在 DockerCon 欧洲大会上，容器供应商 Docker 宣布重磅消息，将拥抱容器编排对手Kubernetes。 在全球3大容器调度编排引擎中，Kubernetes占据近70%的市场份额， 已成为行业事实标准。 Kubernetes已成为业界最主流的容器调度编排引擎 7 首批KSCP认证厂商之一  主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略

添加一条或多条rules。使用数组管理rules。 • 仅支持随机的调度算法 • kube-proxy代码实现比较简单 • iptables 在linux 已经广泛部署 优势 iptables mode 不足之处 • 控制平面的时间复杂度是O(N^2), 当service达到上千时，修改rule耗时超过半小时。 • 数据平面的时间复杂度是O(N) • 调度算法比较少，仅仅支持random的 • 仅仅提供了DNAT，还需要借用 iptables+conntrack 做SNAT • 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 V.S. Taobao IPVS SNAT patch • 复用了IPVS timer来回收eBPF map。避开了eBPF map没有timer的问题 • 继承了IPVS丰富的功能，稳定性。例如调度算法丰富。 • 优势 • 完全绕过了conntrack/iptables • 对内核修改更小 04 性能测试 性能测试踩过的坑 设置测试环境 • 配置一样的cluster，性能可能不同。

厂商均在金融领域有落地实践，通过灵活调度云资源，保障多样化 金融业务在云上平滑运行；中国电子云、天翼云、移动云、联通云、 华为云等厂商均在政务领域有落地实践，利用一云多芯技术打造具 有安全性和高效性的政务云平台。同时，一云多芯已逐渐完成从底 层硬件至上层云原生应用的多芯全栈式适配兼容。作为 IT 产业发展 承上启下的关键环节，一云多芯不仅可以对底层各种异构资源统一 调度，还可以实现对上层应用和软件的适配操作，同时保证云平台 调度，还可以实现对上层应用和软件的适配操作，同时保证云平台 性能高效稳定。硬件芯片方面，通过屏蔽底层芯片差异实现资源池 化，从而满足对各种芯片的统一调度，这不仅包含对飞腾、鲲鹏、 龙芯、海光等芯片兼容，还包含不同指令集架构的 CPU，以及除 CPU 以外的专有芯片的兼容，如 GPU、DPU 等。软件应用方面，一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等，同时 还能够支撑虚拟化和云原生应用形态。性能调优方面，一云多芯可 时在 数据处理方面，模型训练涉及 PB 级的存储数据集、中间结果和训练 好的模型参数等，且数据类型各异，也需要云计算平台提供的存储 方案，实现复杂数据的统一调度和处理。计算芯片多样化、异构数 据复杂化也加速云计算向能够一体化调度、处理计算、网络、存储 资源的操作系统方向演进。 向上来看，数字应用呈现出分布式、多模态、超大量级的特点。 以 ChatGPT 为例，ChatGPT 的模型参数已达千亿，且模型训练数据