North-South Load Balancing of Kubernetes Services with eBPF/XDP Martynas Pumputis (Isovalent) October 28, 2020 10.0.0.1 10.0.0.2 10.0.0.3 httpd httpd “httpd” service 10.0.0.1:30000 10.0.0.2:30000 KUBE-FORWARD -m comment --comment "kubernetes forwarding rules" -m mark --mark 0x4000/0x4000 -j ACCEPT -A KUBE-FORWARD -s 10.217.0.0/16 -m comment --comment "kubernetes forwarding conntrack pod source rule" --ctstate RELATED,ESTABLISHED -j ACCEPT -A KUBE-FORWARD -d 10.217.0.0/16 -m comment --comment "kubernetes forwarding conntrack pod destination rule" -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT

openEuler 是一个面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算， 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 openEuler 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持 多种处理器架构、覆盖数字基础设施全场景，推动企 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日， openEuler 20.03 LTS （Long Term Support，简写为 LTS，中文为长生命周期支持）版本正式发布， 为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版发布，该版本是 openEuler 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是 openEuler 全新发布后的第一个社区版本，实现了 全场景支持。增强服务器和云计算的特性，发布面向云原生的业务混部CPU调度算法、容器化操作系统KubeOS等关键技术； 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核

openEuler 是一个面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算， 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 openEuler 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种处 理器架构、覆盖数字基础设施全场景，推动企 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日， openEuler 20.03 LTS （Long Term Support，简写为 LTS，中文为长生命周期支持）版本正式发布，为 Linux 世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版发布，该版本是 openEuler 扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021年 9 月 30 日，全新openEuler 21.09创新版如期而至，这是openEuler全新发布后的第一个社区版本，实现了全场景支持。 增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术；同时发布边缘和 嵌入式版本。 2022 年 3 月 30 日，基于统一的 5

旨在通过社区合作，打造创新平台，构建支持多种处理器架构、统一和开放的操作系统社区， 推动软硬件应用生态繁荣发展。 2019 年 12 月 31 日，一个面向多样性算力的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日，首个 openEuler 20.03 LTS （Long Term Support，简写为 LTS，中文为长生命周期支持）版本 正式发布，为 Linux 术。发 行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 面向多样性算力的创新 openEuler 支持 X86、Arm、RISC-V 等多处理器架构，是一个推动多样性计算架构不断创新的操作系统平台。 openEuler 支持以 Intel/ 兆芯为代表的 X86 架构，以鲲鹏、飞腾为代表的 ARM 架构，同时发布了 RISC-V 的体验版本。 openEuler 等组件。 创新架构，全栈优化，打造全场景协同的 One OS，充分释放多样性算力。 IDE 自调优工具 A-Tune 测试平台 Compass-CI 工具链 OpenStack Kubernetes 麒麟HA 集群调度 和管理 CPU: X86、Arm、RISC-V GPU NPU 芯片 APPS 虚拟化 容器 QEMU Docker libvirt 虚拟化/ 容器 StratoVirt

03-LTS 技术白皮书 03 openEuler 22.03-LTS 技术白皮书 02 openEuler 覆盖全场景的创新平台 openEuler 已支持 x86、ARM、SW64、RISC-V 多处理器架构，未来还会扩展 PowerPC 等更多芯片架构支持，持续 完善多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边 Edge、面向嵌入式的版本 openEuler 22.03 LTS Embedded。 openEuler 希望与广大生态伙伴、用户、开发者一起，通过联合创新、社区共建，不断增强场景化能力，最终实现统 一操作系统支持多设备，应用一次开发覆盖全场景。 openEuler 对 Linux Kernel 的持续贡献 openEuler 内核研发团队持续贡献 Linux Kernel 上游社区，回馈主要集中在：芯片架构、ACPI、内存管理、文件系统、 服务器操作系统正式升级为面向数字基础设施的操作系统，支持 服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应 用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。

复杂度上升，埋点成本居高不下 Kubernetes 容器 网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3：数据散落，工具多， 缺少上下文，排查效率低下 业务应用 应用框架 容器虚拟化 系统调用 内核 应用性能监控（APM） Kubernetes监控 Kubernetes组件异常： Scheduler, KCM， etcd，api-server, coredns… 串联导致棘手问题频 发。 Kubernetes下的可观测 Golang + eBPF实现数据采 集 第四部分 eBPF在可观测领域的优势 无侵入 多语言/多协议/多框架 全栈覆盖 无侵入性 • 无需修改代码 • 无需重启应用 • Verifier保证运行安全 多协议、多框架、多语言 • 捕获网络字节流 • 无需适配编程语言 • 无需适配协议框架 • 同时支持用户态插桩 全栈覆盖

technical deep dive of eBPF and XDP technology, primarily focused at developers. API Reference : Details the Cilium agent API for interacting with a local Cilium instance. Development Guide : Gives background Concepts Component Overview Terminology Networking Network Security eBPF Datapath Observability Kubernetes Integration Multi-Cluster (Cluster Mesh) Getting Help FAQ Slack GitHub Training Enterprise support Layer 4 Examples Layer 7 Examples Deny Policies Host Policies Layer 7 Protocol Visibility Using Kubernetes constructs in policy Endpoint Lifecycle Troubleshooting Monitoring & Metrics Cilium Metrics Hubble

technical deep dive of eBPF and XDP technology, primarily focused at developers. API Reference : Details the Cilium agent API for interacting with a local Cilium instance. Development Guide : Gives background Concepts Component Overview Terminology Networking Network Security eBPF Datapath Observability Kubernetes Integration Multi-Cluster (Cluster Mesh) Getting Help FAQ Slack GitHub Training Enterprise support Layer 4 Examples Layer 7 Examples Deny Policies Host Policies Layer 7 Protocol Visibility Using Kubernetes constructs in policy Endpoint Lifecycle Troubleshooting Monitoring & Metrics Cilium Metrics Hubble

technical deep dive of eBPF and XDP technology, primarily focused at developers. API Reference : Details the Cilium agent API for interacting with a local Cilium instance. Development Guide : Gives background Concepts Component Overview Terminology Networking Network Security eBPF Datapath Observability Kubernetes Integration Multi-Cluster (Cluster Mesh) Getting Help FAQ Slack GitHub Training Enterprise support Layer 4 Examples Layer 7 Examples Deny Policies Host Policies Layer 7 Protocol Visibility Using Kubernetes constructs in policy Endpoint Lifecycle Troubleshooting Monitoring & Metrics Cilium Metrics Hubble

the Cilium architecture and how these components integrate with existing architectures, such as Kubernetes. Installation : Details instructions for installing, configuring, and troubleshooting Cilium in technical deep dive of BPF and XDP technology, primarily focused at developers. API Reference : Details the Cilium agent API for interacting with a local Cilium instance. Developer / Contributor Guide : Datapath Scale Kubernetes Integration Getting Help FAQ Slack GitHub Security Bugs Integrations Kubernetes Introduction Concepts Requirements Configuration Network Policy Endpoint CRD Kubernetes Compatibility