Scaling a Multi-Tenant k8s Cluster in a Telco Pablo Moncada October 28, 2020 About MasMovil group ● 4th telecom company in Spain ● Provides voice and broadband services to +12M customers ● Several

时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本，聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 openEuler 作为一个操作系统发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供了一个安全稳定可靠 的操作系统。 openEuler KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8s 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+Qemu 方案，底噪和启动时间优化 40%。 • 双平面部署工具 eggo：ARM/x86 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 (Cloud) Global- Manager Local- Controller Local- Controller 智能协同 管理协同 边缘南向服务 服务协同 数据协同 网络协同 K8s OS Core 通信 Kit 容器引擎 KubeEdge (Cloud) EdgeMesh Agent KubeEdge (Edge) Sedna (Edge) CloudCore

同时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本，聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 年 9 月 30 日，发布 openEuler 22.09 创新版本，持续补齐全场景的支持。 2022 年 12 月 30 日，发布 openEuler 的影响。 • 混部多优先级：允许 cgroup 配置 -2~2 的 cpu.qos_level，即多个优先级，使用 qos_level_weight 设置不同优先级权 重，按照 CPU 的使用比例进行资源的划分。并提供唤醒抢占能力。在提高机器利用率的同时，保证高优和延迟敏感的 在线业务不受离线业务的影响。 • 可编程调度：基于 eBPF 的可编程调度框架，支持内核调度器动态扩展调度策略，以满足不同负载的性能需求，具备 子系统提供对系统中一组进程打开的文件数量（即句柄数）进行分组管理，相比于已 有的 rlimit 方法，能更好的实现文件句柄数的资源控制（资源申请及释放、资源使用动态调整、实现分组控制等）， 并为资源管理提供方便调用的接口，实现避免某个进程打开过多文件造成整个系统资源不足无法正常工作。 • cgroupv1 使能 cgroup writeback：cgroup writeback 用于控制和管

KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad + shimv2 + StratoVirt 安全容器方案，相比传统 docker + qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具 eggo：ARM/X86 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 探索场景创新 处理，提升网络性能。可用于 DDOS 防御、防火墙、 网络 QOS 等场景。 SVA （Shared Virtual Addressing) 支持： 进程虚拟地址在主机进程和设备间共享，实 现资源跨主机与设备免拷贝复用，提升跨主 机和设备业务通讯性能。 openEuler 21.09 技术白皮书 11 新介质文件系统 非易失性内存（NVDIMM，比如 Intel Optane）是一种 05/ 云化基座 openEuler 21.09 技术白皮书 14 云原生调度增强 在云业务场景中，交互类延时敏感在线业务存在潮汐现象，CPU 资源利用率普遍较低 (~15%)，在线和离线业务混合部署 是提升资源利用率的有效方式。在现有的内核资源分配和管理机制，混部后的在线业务的性能抖动大，服务质量无法的到有效 保障。openEuler 面向云原生业务混部场景，创新 CPU 调度算法和内存回收算法，支撑提升系统的

同时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本，聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 年 9 月 30 日，发布 openEuler 22.09 创新版本，持续补齐全场景的支持。 2022 年 12 月 30 日，发布 openEuler KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+Qemu 方案，底噪和启动时间优化 40%。 • 双平面部署工具 eggo：ARM/X86 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 特性。用于解决服务器系统中，混部不同类型业务时，由于共享资源的竞争（Cache，DMC， Interconnect），而带来的某些关键应用性能下降或者系统整体性能下降的问题。 14 openEuler 22.03 LTS SP2 技术白皮书 内核创新 SMT 驱离防止优先级反转特性 目前云场景中，在线业务与离线业务混合部署提升资源利用率的同时，如何保证在线业务的 QoS 是当前亟需解决的问

嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本， 聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 年 9 月 30 日，发布 openEuler 22.09 创新版本，持续补齐全场景的支持。 2022 年 12 月 30 日，发布 openEuler KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+QEMU 方案，底噪和启动时间优化 40%。 • 双平面部署工具 eggo：Arm/x86 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 提供各自擅长服务的框架，例如 Linux 提供通用的文件系统、网络服务，实时操作系统提供实时控制、 实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上有机融合在一起的一系列机制，包括资源表达与分配，统一 构建等功能。 混合关键性部署框架当前能力： - 支持裸金属模式下 openEuler Embedded Linux 和 RTOS（Zephyr/UniProton）的生命周期管理、跨

缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 openEuler 22.03 LTS 版本， 聚焦算力释放，持续提升资源利用率，打造全场景协同的数字基础设施操作系统。 2022 年 9 月 30 日，发布 openEuler 22.09 创新版本，充分释放多样性算力，持续深化全场景创新，打造极致迁移能力， 实现欧拉鸿蒙互联互通。 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8s 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+Qemu 方案，底噪和启动时间优化 40%。 • 双平面部署工具 eggo：ARM/x86 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 格式容器镜像，管理本地函数镜像资源 2. Wasm 轻量级协程调度框架 抽象 Wasm 实例执行上下文，支持轻量级高性能的用户态协程调度模型，并支持 JIT/AOT 多种 Wasm 实例执行模型。 应用场景 适用于按需启动短时间运行时的无状态 FaaS 函数任务，例如在 CDN 边缘计算场景下，可以部署客户自定义实现的请求 预处理函数，实现按需拉取、快速响应。 数控分离 HCK 大规模集群中的一个重要应用是

工具链 OpenStack Kubernetes 麒麟HA 集群调度 和管理 CPU: X86、Arm、RISC-V GPU NPU 芯片 APPS 虚拟化 容器 QEMU Docker libvirt 虚拟化/ 容器 StratoVirt iSula 编译器 应用 桌面系统 UKUI/DDE/Xfce DB Web 资源编排 消息中间件 内核热升级 文件系统 芯片、外设驱动 Linux IO 子系统、通过多通道并发提升 IO 性能。 • OpenStack&Kubernetes：向云而生，集成两大主流云计算调度和管理软件，构筑云化基座 。 • HA 高可用集群方案：麒麟软件贡献的 HA 高可用集群方案，故障秒级切换。 繁荣社区生态： • 更多桌面环境支持：UKUI、DDE 、Xfce 桌面环境，丰富社区桌面环境生态。 平台架构 6 7 openEuler 21.03 内核热升级 修复内核高危安全 CVE 漏洞 , 升级加载新的安全内核 , 内核热升级可以保证关键核心业务不中断。内核在升级前检测业 务使用资源状态，利用快速冻结技术对业务使用资源的状态进行冻结，利用快速加载技术对新内核进行加载，然后对冰冻的 资源状态进行恢复。 为了在修复内核问题的过程中保证业务不中断，热补丁技术应运而生。但热补丁技术有很多局限性，例如：不能改变数 据结构、不能修复 inline

KCM， etcd，api-server, coredns… 系统调用异常：网络请 求，内存申请，文件操 作，CGroup… 内核异常：进程调度， 内存管理，文件管理， 夯机宕机，资源异 常… 应用组件异常：线程池满，数据库连接无法获取， OOM，文件读取错误… 无法自顶向下端到端 串联导致棘手问题频 发。 Kubernetes下的可观测 Golang + eBPF实现数据采 ✅ perf ✅ … eBPF的编程实践 bcc libbpf + bpf + core 编程  bcc 依靠运行时汇编，将整个大型LLVM/Clang 库带入并嵌入其中  编译过程中资源用量大，对Cpu、Mem有要求  依赖内核的头包  bpf 程序跟其他的用户空间的程序没有太大区别  编译成二进制文件，可以适应不同运行环境  libbpf 扮演bpf程序装载机角色 自身服务实例的 运行情况，进一步提升问题定位能力，通常在已经定位到某个异常节点后使用。 实例 全栈数据源，70+个告警模板开箱即用： 应用级别：Pod/Service/Deployment K8S控制面：apiserver/ETCD/Scheduler 基础设施：节点、网络、存储 云服务界别：Kafka/MySQL/Redis/ 告警 拓扑图排查 根因定位 修复 告警收敛，幸福感UP

10 ，cilium github 项目已有 9.3K star，Contributors 316位 cilium的特色功能： • 网络功能 • 负载均衡 • 网络安全 • 可观察性 • 多集群连通 注：本 PPT 基于 cilium v1.10.4 进行分析 ��������������� ��������������� �������������������� �������������������� 、 sendmsg、 recvmsg 、getpeername 、 bind等系统调用，实现 service 的地址解 析，并且伪装通信目的地址，让上层应用 无感知 DNAT 的发生 效果： • 集群内访问nodePort、LoadBalancer 的service时，能够减少数据包转发跳 数，极大提高网络性能 • 相比传统 iptables 等 技术，降低了访 问延时。例如在相同环境下，service nodePort 访问 cilium 借助 eBPF 程序 ，能快速完 成 nodePort 、 LoadBalancer service 的解析和转发，其转发性能能比肩 DPDK 技术，且能节省大量CPU资源 当 PPS 压力越大，提升效果越发显 著，相比 kube-proxy，测量得出以下 效果： 1. TC 转发方式，在10Mpps input压 力下提升 1 倍的吞吐量，在2Mpps 压力下，节省了30%的CPU利用率