Kubernetes全栈容器技术剖析 陈弘 华为云PaaS解决方案架构师 3 华为云应用服务：让企业应用上云更简单，运行更高效 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 OCI & Docker 社区 CNCF/OCI基金会的初创会员、白金会员， K8S TOC 成员，12个 Maintainer 8 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务 开源原生平台

个整体 Sealos是云操作系统发行版本 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 有了 sealos 就可以一条命令构建一朵云 抛弃 IaaS PaaS SaaS 拥抱 云内核 交付者无需关心业务逻辑，一条命令 完成任意分布式高可用应用交付 支持完全离线场景，小白操 作 20min 自动化完成 全国多个 02 交付环境： 各大公有云 不同版本liux发行版 裸金属 AMD ARM ······ 数月 数十人 依赖中间数十款软件 SaaS 机房1 机房2 机房n ·· ·· ·· 打包 监控 系统 日至 系统 数据库 消息队列 对象存储 计算 储存 网络 kubernetes 极易管理 使用场景 私有云 完全 离线 公有云 注册 使用 自助 服务 一键 构建 到处运行 Sealos Centos ubuntu redhat suse 麒麟 欧拉 ARM 裸金属/云服务器/私有云虚拟机 x86 除了 kubelet 其他都跑容器里 为了更好的兼容性，不用系统依赖如rpm 只 依赖内核如 systemd 借助集群镜像能力自动识别系统架构 自己实现控制器对接公有云对比其他方案

容器器运⾏行行时 ⽀支持 Docker / Containerd； Day 1 部署 部署 ⽀支持在线和离线安装模式；⽀支持 Kubeadm 部署；⽀支持 x86 64 和 ARM64 CPU 架构；⽀支持 x86 64 和 ARM64 混合部署；⽀支持可视化⽅方式展示部署过程；⽀支持⼀一键⾃自动化部 署（使⽤用 Ansible）；⽀支持已有集群导⼊入； Day 2 运营 管理理 ⽀支持以项⽬目

一樣簡單。相較於OpenShift IPI，MAAS針對設定選項提供更高的控制權，並 以更少的先決條件降低入門門檻。 17.GPGPU支援加速工作負載 對許多工作負載而言，將部分應用程式運算密集作業由中央處理器(CPU)卸載 至 通 用 繪 圖 處 理 器 (GPGPU)， 有 助 於 加 速 效 能 。 GPU 加 速 也 適 用 於 位 在 Kubernetes 的應用程式，只要 Kubernetes 發行版本支援即可。 次 依 序 領 先 OpenShift 及 Rancher： • Canonical Kubernetes支援x86、ARM、IBM POWER及IBM Z。 • Red Hat OpenShift支援X86、IBM POWER及IBM Z。 • Rancher支援x86及ARM。 7 20.價格 Canonical Kubernetes的價格效能，是這三種發行版本中最出色的，主要原因是能

同时保证云平台 性能高效稳定。硬件芯片方面，通过屏蔽底层芯片差异实现资源池 化，从而满足对各种芯片的统一调度，这不仅包含对飞腾、鲲鹏、 龙芯、海光等芯片兼容，还包含不同指令集架构的 CPU，以及除 CPU 以外的专有芯片的兼容，如 GPU、DPU 等。软件应用方面，一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等，同时 还能够支撑虚拟化和云原生应用形态。性能调优方面，一云多芯可 工程化创新的操作系统演进。 云计算白皮书（2023 年） 27 向下来看，算力资源呈现出计算异构、算网融合的特点。以 GPT-4 为例，其模型训练借助公有云能力在通用 CPU 的基础上整合 上万个 GPU 芯片，通过云计算平台实现 GPU 集群和 CPU 集群的标 准化封装，保障训练任务可以直接下发到大规模计算集群。同时在 数据处理方面，模型训练涉及 PB 级的存储数据集、中间结果和训练 好的模型参数 的方式统一接入， 极大地丰富了科研机构、企业、高校以及个人触达算力的便捷性与 普惠度。同时，东数西算、大模型训练等场景带来了多样性数据， 也催生了可高效满足不同业务诉求的多性化计算架构，如 ARM、 RISC-V 等通用计算技术路线，以及 GPU、DPU、NPU 等融合架构 计算平台，云计算使得不同架构、不同类型算力资源的统一感知、 调度成为可能。例如，阿里云飞天平台通过公共云或专有云模式，

请注意，由于延迟时间⼩，通常少于1秒，在观察condition和产⽣污点的时间段内，启⽤此功能可能会稍微增加成功调 度但被kubelet拒绝的Pod的数量。 Capacity（容量） 描述Node上可⽤的资源：CPU、内存，以及可调度到该Node的最⼤Pod数。 Info（信息） 关于Node的⼀般信息，如内核版本、Kubernetes版本（kubelet和kube-proxy版本）、Docker版本（如果使⽤了Docker Controller创建的Pod会绕过Kubernetes调度程序，并且不遵循节点上的unschedulable属性。 因为，我们假设daemon进程属于机器，即使在准备重启时正被耗尽。 Node容量 Node的容量（CPU数量和内存⼤⼩）是Node对象的⼀部分。 通常来说，Node在创建Node对象时注册⾃身，并报告其 容量。如果您正在进⾏ manual node administration ，则需要在添加Node时设置Node容量。 io/google_containers/pause:0.8.0 resources: requests: cpu: 100m memory: 100Mi 13-Node 39 将 cpu 和 memory 值设置为您要保留的资源量。将该⽂件放在清单⽬录中（kubelet的 --config=DIR 标志）。 在想要 预留资源的每个kubelet上执⾏此操作。

舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使 能小于jvm中的Xms memory: "256Mi" cpu: "200m" limits: #资源限制，定义了容器最大可以消耗的资源上限，对应jvm中 的Xmx memory: "256Mi" cpu: "200m" #1核cpu为 1000m，这个m是mili（千分之一）的意思 ports: LimitRange资源在每个命名空间中为每个容器/pod指定最小及最大计算资源/内 存使用量限制，任何违反LimitRange定义的资源使用最大用量的请求都将被直接 拒绝 LimitRange对pod和容器的资源限制为cpu和内存使用量 LimitRange对PVC的资源限制为存储空间的使用量 资源限额只对新创建的资源生效，对于已经存在的对象不产生任何限制 limitrange和resourcequota都是有命名空间之分的

est。 最⼩申请：为该应⽤所需最⼩资源额度，包括 CPU 和内存两种资源。该资源由容器独占，以 防资源不⾜⽽被其他服务或进程争占资源，导致应⽤不可⽤。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 最⼤申请：可指定该应⽤所能使⽤的最⼤资源额度，包括 CPU 和内存两种资源，防⽌占⽤过 多资源。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 完成容器配置后，单击下⼀步。 iv. 进⾏⾼级设置。 可选：⽔平伸缩。您可勾选是否开启⽔平伸缩，为了满⾜应⽤在不同负载下的需求，容器服务 ⽀持容器组（Pod）的弹性伸缩，即根据容器 CPU 和内存资源占⽤情况⾃动调整容器副本数 量。 指标：可选 CPU 使⽤量和内存使⽤量，需要和设置的所需资源类型相同。 触发条件：资源使⽤率的百分⽐，超过设置的Pod request值，容器开始扩容。 最⼤副本数：该 Deployment 7。如不指定，默认为latest。 最⼩申请：为该应⽤所需最⼩资源额度，包括 CPU 和内存两种资源。该资源由容器独占，以 防资源不⾜⽽被其他服务或进程争占资源，导致应⽤不可⽤。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 最⼤申请：可指定该应⽤所能使⽤的最⼤资源额度，包括 CPU 和内存两种资源，防⽌占⽤过 多资源。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。

Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 静态pod：不存储在etcd中，而是存放在某个具体的node上的一个具体文件中，并只在此node上启动运行。 每个pod可以设置限额，目前可以设置CPU和内存，cpu的单位为core的数量， 是一个绝对值而不是相对值。k8s中是以千分之一为最小单位，一般一个pod 设置为100m到300m，也是就是0.1-0.3个cpu。内存是以MB为单位 k8s设置2个参数： requests:该资源的最小申请量，系统必须满足的要求 limit 否需要针对性的调整Pod 的副本数，这是HPA的实现原理。HPA可以通过以下两种方式作为Pod负载的度量指标： 1. CPUUtilizationPercentage ，目标Pod所有副本自身的CPU利用率的平均值。比如设置Pod Request为0.4，当前为 0.2，那么就是50%。比如如果所有的超过了80% ，那么就自动创建Pod。高峰过去之后自动减少Pod 2. 应用程序自定义的度量指

k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master CPU：2 核, 内存：8GB，系统盘：40GB，docker resources: limits: cpu: 2000m memory: 1024Mi requests: cpu: 1000m memory: 1024Mi securityContext: and remove the curly braces after 'resources:'. # limits: # cpu: 100m # memory: 128Mi # requests: # cpu: 100m # memory: 128Mi autoscaling: enabled: false minReplicas: