阿里云云原生应用平台 阿里巴巴 k8s 超大规模实践 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •曾凡松（逐灵），当前主要负责 k8s 在阿里巴巴场景中的规模化落地，将 k8s 应用于阿里最核心的业务，帮助客 户以云原生的方式管理应用并获得效率、 稳定性及成本的改善。 •汪萌海（木苏），经历了阿里巴巴集团 集群调度从自研 sigma 系统迁移到 k8s 体系的过程，目前主要负责解决阿 体系的过程，目前主要负责解决阿 里巴巴集团在大规模场景下使用 k8s 碰到的稳定性、容器编排质量和性能问 题。❖ 阿里巴巴容器的发展历程 ❖ 基于 k8s 云原生改造实践 ❖ k8s 规模及性能优化实践 ❖ 云原生应用管理演进路线 主要内容阿里巴巴容器的发展历程 2013 初步探索 使用容器的方式替换传统使用 VM 部署应用的，基于 lxc 自研 了 t4 容器并构建了 AI 集团管理 系统 统，并构建了集团统一资源池， 在此基础上发展出弹性、混部等 技术成果，大幅降低了数据中心 的资源成本 2019 全面拥抱云原生 阿里业务全面上云，运维体系全 面拥抱云原生，基于 k8s 生态在 阿里内部蓬勃发展。在 2019 双 11 中，k8s 体系支撑了阿里史上 规模最大的集群，并提供了极速 的应用扩容体验 2015 野蛮生长 体验到使用容器部署应用的优势 后，阿里内部发展出众多的运维 平台，包括

TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性，功能足够丰富 弯路 • 为什么DPDK不行？

2 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 8.4 小结 . . . danielsss、curtishd、night‑cruise、S‑N‑O‑R‑L‑A‑X、msk397、gvenusleo、khoaxuantu、RiverTwilight、 rongyi、gyt95、zhuoqinyue、K3v123、Zuoxun、mingXta、hello‑ikun、FangYuan33、GN‑Yu、yuelinxin、 longsizhuo、Cathay‑Chen、guowei‑gong、xBLA 、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈

2 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 8.4 小结 . . . danielsss、curtishd、night‑cruise、S‑N‑O‑R‑L‑A‑X、msk397、gvenusleo、khoaxuantu、RiverTwilight、 rongyi、gyt95、zhuoqinyue、K3v123、Zuoxun、mingXta、hello‑ikun、FangYuan33、GN‑Yu、yuelinxin、 longsizhuo、Cathay‑Chen、guowei‑gong、xBLA 、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈

2 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 8.4 小结 . . . danielsss、curtishd、night‑cruise、S‑N‑O‑R‑L‑A‑X、msk397、gvenusleo、khoaxuantu、RiverTwilight、 rongyi、gyt95、zhuoqinyue、K3v123、Zuoxun、mingXta、hello‑ikun、FangYuan33、GN‑Yu、yuelinxin、 longsizhuo、Cathay‑Chen、guowei‑gong、xBLA 、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈

2 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 8.4 小结 . . . danielsss、curtishd、night‑cruise、S‑N‑O‑R‑L‑A‑X、msk397、gvenusleo、khoaxuantu、RiverTwilight、 rongyi、gyt95、zhuoqinyue、K3v123、Zuoxun、mingXta、hello‑ikun、FangYuan33、GN‑Yu、yuelinxin、 longsizhuo、Cathay‑Chen、guowei‑gong、xBLA 、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈

2 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 8.4 小结 . . . danielsss、curtishd、night‑cruise、S‑N‑O‑R‑L‑A‑X、msk397、gvenusleo、khoaxuantu、RiverTwilight、 rongyi、gyt95、zhuoqinyue、K3v123、Zuoxun、mingXta、hello‑ikun、FangYuan33、GN‑Yu、yuelinxin、 longsizhuo、Cathay‑Chen、guowei‑gong、xBLA 、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈

2 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 8.4 小结 . . . danielsss、curtishd、night‑cruise、S‑N‑O‑R‑L‑A‑X、msk397、gvenusleo、khoaxuantu、RiverTwilight、 rongyi、gyt95、zhuoqinyue、K3v123、Zuoxun、mingXta、hello‑ikun、FangYuan33、GN‑Yu、yuelinxin、 longsizhuo、Cathay‑Chen、guowei‑gong、xBLA 、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈

2 建堆操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 8.3 Top‑k 问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 8.4 小结 . . . danielsss、curtishd、night‑cruise、S‑N‑O‑R‑L‑A‑X、msk397、gvenusleo、khoaxuantu、RiverTwilight、 rongyi、gyt95、zhuoqinyue、K3v123、Zuoxun、mingXta、hello‑ikun、FangYuan33、GN‑Yu、yuelinxin、 longsizhuo、Cathay‑Chen、guowei‑gong、xBLA 、图，它们可以从“逻辑结构”和“物理结构” 两个维度进行分类。 3.1.1 逻辑结构：线性与非线性 逻辑结构揭示了数据元素之间的逻辑关系。在数组和链表中，数据按照一定顺序排列，体现了数据之间的线 性关系；而在树中，数据从顶部向下按层次排列，表现出“祖先”与“后代”之间的派生关系；图则由节点 和边构成，反映了复杂的网络关系。 如图 3‑1 所示，逻辑结构可分为“线性”和“非线性”两大类。线性结构比较直观，指数据在逻辑关系上呈