Kubernetes是云操作系统内核，整个集群是一个整体 Sealos是云操作系统发行版本 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 有了 sealos 就可以一条命令构建一朵云 抛弃 抛弃 IaaS PaaS SaaS 拥抱 云内核 架构 传统云计算架构 基于云内核的云计算架构 SaaS PaaS IaaS 分层架构代表 openstack 内核架构代表 linux 我快黄了 我经久不衰 我一锅大杂烩 我高内聚高抽象 我装起来都费劲 我一键安装 我运行起来一堆问题 我小白都能稳定运行 我一堆模块 我大道至简海纳百川 不求最好，但求最贵 优秀还便宜 你真的需要虚拟机？真的需要 30s，不能 怪 terraform 某些底层 driver 写的不好 云驱动层 01 对接 firecracker cilium openebs 等技术 无性能损失的网络层计量 与隔离 rust 自研分布式文件系统 sealfs 直接对接 rustvmm 绕 开 fuse 02 client manger manger metadata data data metadata

相比，它更轻量、更快速并且更容易部署和使用。这个工具仍在开发阶段，所以目前功能较少，但其简洁和速 度已经显示出了它的巨大潜力。您也可以使用 OrbStack 在 macOS 上创建和管理 Linux 虚拟机。 81. Pixie 评估 Pixie 是一个用于 Kubernetes 原生应用程序的可观察性工具。它通过利用 eBPF 从多个 数据源 自动地采集遥测 数据，以一种有趣的方式 促进了互操作性并简化了与其他监控和分析工具的集成。随着我们继续探索该协议的集成潜力，我们正在评估 它对我们的监控和可观察性策略以及整个监控领域的长期影响。 94. Polars 试验 Polars 是 Rust 实现的一个内存运行的 DataFrame 库。 与其他 DataFrame 库（如 Pandas）不同，Polars 是多 线程、支持惰性求值、并且并行操作安全的。 Polars 使用 Apache Apache Arrow 格式作为内存模型，以高效实现分析 操作，并实现与其他工具的互用性。 如果您熟悉 Pandas，就可以快速上手 Polars 的 Python 绑定。 基于 Rust 实现和 Python 绑定的 Polars 是一个高性能内存 DataFrame 库，可满足您的分析需求。 我们的团队在 Polars 方面继续拥有良好的体验，因此我们将其将其移至 “试验”。 95. Pushpin

• Biz scenarios • Solutions evaluated • Go KMS Plugin + C Go SGX Functions • C++ KMS Plugin • Rust KMS Plugin ü Go KMS Plugin + TEE LibOS (Occlum [1]) [1] https://github.com/occlum/occlum Occlum:

集装箱 kubernetes 舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master /etc/yum.repos.d/ # wget h�ps://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo #aliyun的源 或者： h�ps://download.docker.com/linux/centos/docker-ce.repo #官方的 源 然后在/etc/yum.repos $basearch baseurl=h�ps://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stable enabled=1 gpgcheck=1 gpgkey=h�ps://mirrors.aliyun.com/docker-ce/linux/centos/gpg # yum install containerd.io -y #

uname -s minix $ gcc linux.c Self hosting $ uname -s minix $ gcc linux.c Self hosting Self hosting $ uname -s linux $ gcc linux.c Self hosting $ uname -s linux $ gcc linux.c Self hosting Self-hosted

at PREROUTING chain • SNAT at POSTROUTING chain • Pros • Iptables is widely adopted in popular Linux distributions • Cons • O(N^2) in control plane / O(N) in data plane • Poor in scheduling algorithm support in eBPF verifier (Linux 4.14) • #param unroll • Size limitation of BPF program <= 4096 • Move SNAT allocate port loop into IPVS kernel module • Bounded loop support in Linux 5.3 • Size limitation limitation of BPF program is one million after Linux 5.2 Lessons from eBPF • Too strict check in eBPF verifier • Example: s64 bpf_csum_diff(__be32 * from, u32 from_size, __be32 * to, u32 to_size); pass

Nomad Container OpenStack Others Why We Run VM on Kubernetes? • Traditional Applications • No linux based Applications • Functions provided by host kernel are not satisfied • OpenStack is too complex portion of the Linux system surface https://github.com/google/gvisor Why does gVisor exist? ü a single, shared kernel also mean that container escape is possible ü gVisor implements Linux by way of Linux Linux ü another approach to enhance container isolation gVisor is special Machine-level virtualization Rule-based execution gVisor Technology landscape DEMO

post-routing阶段做SNAT • 每个service 添加一条或多条rules。使用数组管理rules。 • 仅支持随机的调度算法 • kube-proxy代码实现比较简单 • iptables 在linux 已经广泛部署 优势 iptables mode 不足之处 • 控制平面的时间复杂度是O(N^2), 当service达到上千时，修改rule耗时超过半小时。 • 数据平面的时间复杂度是O(N) -> ip_finish_output • 修改成： • 对kenel 做了hack，直接访问ip_finish_output IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF map时，将map的id • 解决方法 • eBPF代码在分配lport和插入hash的外围，加了一个大循环，插入失败会重新分配lport。 06 未来的工作 未来的工作 • 适配更多的linux 发行版本 • Tencent linux , ubuntu, centos • 独立开源 • 内核修改在github.com/Tencent/TencentOS-kernel/ THANK YOU 感谢聆听

【注】所有节点(k8s-master, k8s-node1, k8s-node2, k8s-node3)均需做以下 B~D： B. 升级&配置 centos7 Step1. 升级 linux 内核 uname –r wget https://cbs.centos.org/kojifiles/packages/kernel/4.9.220/37.el7/x86_64/kernel-4 device-mapper-persistent-data lvm2 # 添加 yum 源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 查看 docker-ce 安装包 yum list | grep docker-ce # 安装 docker-ce yum install --key=tls.key K. 安装 helm3 wget https://get.helm.sh/helm-v3.3.4-linux-amd64.tar.gz tar xvf helm-v3.3.4-linux-amd64.tar.gz cp linux-amd64/helm /usr/local/bin/ helm version helm repo add stable

memory as possible. Where does this lead? Node 0 32GB Node 1 21GB 2 CPU Nodes – NUMA host When Linux initially allocates a threads, it is assigned a preferred node, by default memory allocations come Kubernetes -> container runtime -> Linux -> hypervisor (optional) ​Kubernetes control plane manages desired policy. ​Enforcement passes Pod -> container runtime -> Linux OS ​Cgroups are used to map Pod