集装箱 kubernetes 舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master /etc/yum.repos.d/ # wget h�ps://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo #aliyun的源 或者： h�ps://download.docker.com/linux/centos/docker-ce.repo #官方的 源 然后在/etc/yum.repos $basearch baseurl=h�ps://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stable enabled=1 gpgcheck=1 gpgkey=h�ps://mirrors.aliyun.com/docker-ce/linux/centos/gpg # yum install containerd.io -y #

Kubernetes是云操作系统内核，整个集群是一个整体 Sealos是云操作系统发行版本 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 有了 sealos 就可以一条命令构建一朵云 抛弃 抛弃 IaaS PaaS SaaS 拥抱 云内核 架构 传统云计算架构 基于云内核的云计算架构 SaaS PaaS IaaS 分层架构代表 openstack 内核架构代表 linux 我快黄了 我经久不衰 我一锅大杂烩 我高内聚高抽象 我装起来都费劲 我一键安装 我运行起来一堆问题 我小白都能稳定运行 我一堆模块 我大道至简海纳百川 不求最好，但求最贵 优秀还便宜 你真的需要虚拟机？真的需要 用户态内核态反复横跳 在 Sealos 上使用 GPU 在 Sealos 上利用 Cilium + BPF 实现流量统计 Slide source credit to: How to Make Linux Microservice-Aware with Cilium and eBPF (InfoQ, 2019) 集群生命周期管理 创建集群 装其它应用 增删集群节点 离线交付 sealos

uname -s minix $ gcc linux.c Self hosting $ uname -s minix $ gcc linux.c Self hosting Self hosting $ uname -s linux $ gcc linux.c Self hosting $ uname -s linux $ gcc linux.c Self hosting Self-hosted

at PREROUTING chain • SNAT at POSTROUTING chain • Pros • Iptables is widely adopted in popular Linux distributions • Cons • O(N^2) in control plane / O(N) in data plane • Poor in scheduling algorithm support in eBPF verifier (Linux 4.14) • #param unroll • Size limitation of BPF program <= 4096 • Move SNAT allocate port loop into IPVS kernel module • Bounded loop support in Linux 5.3 • Size limitation limitation of BPF program is one million after Linux 5.2 Lessons from eBPF • Too strict check in eBPF verifier • Example: s64 bpf_csum_diff(__be32 * from, u32 from_size, __be32 * to, u32 to_size); pass

Nomad Container OpenStack Others Why We Run VM on Kubernetes? • Traditional Applications • No linux based Applications • Functions provided by host kernel are not satisfied • OpenStack is too complex portion of the Linux system surface https://github.com/google/gvisor Why does gVisor exist? ü a single, shared kernel also mean that container escape is possible ü gVisor implements Linux by way of Linux Linux ü another approach to enhance container isolation gVisor is special Machine-level virtualization Rule-based execution gVisor Technology landscape DEMO

post-routing阶段做SNAT • 每个service 添加一条或多条rules。使用数组管理rules。 • 仅支持随机的调度算法 • kube-proxy代码实现比较简单 • iptables 在linux 已经广泛部署 优势 iptables mode 不足之处 • 控制平面的时间复杂度是O(N^2), 当service达到上千时，修改rule耗时超过半小时。 • 数据平面的时间复杂度是O(N) -> ip_finish_output • 修改成： • 对kenel 做了hack，直接访问ip_finish_output IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF map时，将map的id • 解决方法 • eBPF代码在分配lport和插入hash的外围，加了一个大循环，插入失败会重新分配lport。 06 未来的工作 未来的工作 • 适配更多的linux 发行版本 • Tencent linux , ubuntu, centos • 独立开源 • 内核修改在github.com/Tencent/TencentOS-kernel/ THANK YOU 感谢聆听

【注】所有节点(k8s-master, k8s-node1, k8s-node2, k8s-node3)均需做以下 B~D： B. 升级&配置 centos7 Step1. 升级 linux 内核 uname –r wget https://cbs.centos.org/kojifiles/packages/kernel/4.9.220/37.el7/x86_64/kernel-4 device-mapper-persistent-data lvm2 # 添加 yum 源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo # 查看 docker-ce 安装包 yum list | grep docker-ce # 安装 docker-ce yum install --key=tls.key K. 安装 helm3 wget https://get.helm.sh/helm-v3.3.4-linux-amd64.tar.gz tar xvf helm-v3.3.4-linux-amd64.tar.gz cp linux-amd64/helm /usr/local/bin/ helm version helm repo add stable

memory as possible. Where does this lead? Node 0 32GB Node 1 21GB 2 CPU Nodes – NUMA host When Linux initially allocates a threads, it is assigned a preferred node, by default memory allocations come Kubernetes -> container runtime -> Linux -> hypervisor (optional) ​Kubernetes control plane manages desired policy. ​Enforcement passes Pod -> container runtime -> Linux OS ​Cgroups are used to map Pod

memory as possible. Where does this lead? Node 0 32GB Node 1 21GB 2 CPU Nodes – NUMA host When Linux initially allocates a threads, it is assigned a preferred node, by default memory allocations come Kubernetes -> container runtime -> Linux -> hypervisor (optional) Kubernetes control plane manages desired policy. Enforcement passes Pod -> container runtime -> Linux OS Cgroups are used to map Pod CPU

• 快速部署应用程序 • 弹性负载均衡 • 无缝升级应用 • 硬件隔离 Kubernetes 介绍 LXC (Linux Container) 介绍 在单一系统的内核层通过一套 API 在应用层提供硬件及软 件环境隔离的 Linux 环境（containers 。在内核层，通过 cgroup 来提供硬件环境的隔离（例如 CPU，Memory， Block I/O，网络等等 • 同一个 Image 会有版本记录。 • 只包含软件环境的配置 • 硬件配置需要运行时去指定 OCI (Open Container Initiative) • From Linux Foundation • 旨在为 Container 格式和运行时创建开放行业标准。 • 该组织于2015年6月22日由Docker，CoreOS等 Container 行 业的领导人推出。