曾凡松、汪萌海 阿里云云原生应用平台 阿里巴巴 k8s 超大规模实践 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •曾凡松（逐灵），当前主要负责 k8s 在阿里巴巴场景中的规模化落地，将 k8s 应用于阿里最核心的业务，帮助客 户以云原生的方式管理应用并获得效率、 稳定性及成本的改善。 •汪萌海（木苏），经历了阿里巴巴集团 集群调度从自研 sigma 系统迁移到 系统迁移到 k8s 体系的过程，目前主要负责解决阿 里巴巴集团在大规模场景下使用 k8s 碰到的稳定性、容器编排质量和性能问 题。❖ 阿里巴巴容器的发展历程 ❖ 基于 k8s 云原生改造实践 ❖ k8s 规模及性能优化实践 ❖ 云原生应用管理演进路线 主要内容阿里巴巴容器的发展历程 2013 初步探索 使用容器的方式替换传统使用 VM 部署应用的，基于 lxc 自研 了 t4 容器并构建了 技术成果，大幅降低了数据中心 的资源成本 2019 全面拥抱云原生 阿里业务全面上云，运维体系全 面拥抱云原生，基于 k8s 生态在 阿里内部蓬勃发展。在 2019 双 11 中，k8s 体系支撑了阿里史上 规模最大的集群，并提供了极速 的应用扩容体验 2015 野蛮生长 体验到使用容器部署应用的优势 后，阿里内部发展出众多的运维 平台，包括 AliSwarm，Zeus， Hippo 等，极大地降低了业务运

远程交付解决方案日臻成熟 尽管远程软件开发团队多年来利用技术克服地理限制，但疫情的影响进一步推动了这一领域的创新，巩固了向 完全远程或混合工作演进的趋势。在本期技术雷达中，我们讨论了远程软件开发实践和工具的成熟，和团队们 如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储 备），但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环，并且需要意识到在转向远程工作时所 做的取舍。 © Thoughtworks, Inc. All Rights Reserved. 8 1 21 29 33 34 35 36 37 38 有多个团队参与 不同产品开发的大型组织中。设计系统定义了一系列的设计模式、组件库以及良好的设计和工程实践，以确保 数字产品的一致性。设计系统从过去的企业风格指南演变而来，提供易于查找和使用的共享组件库和文档。通 常，设计系统的风格指南以代码的形式记录并进行版本控制，比简单的文档记录更加清晰且易于维护。设计系 统已经成为跨团队和学科进行产品开发时的标准方法，每当需要新的视觉组件时，团队不用重新发明轮子，因

2 年， 全球云计算市场规模为 4,910 亿美元，增速 19%，预计在大模型、 算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 19%的增速，我国云计算市场 仍处于快速发展期，预计 2025 年我国云计算整体市场规模将超万亿 元。 三是云计 ............................... 37 图 目 录 图 1 全球云计算市场规模及增速（亿美元）.........................................................3 图 2 2022 年全球各区域云计算市场规模占比.................................................... 年全球主要厂商的云计算业务营收（亿美元）.....................................5 图 4 中国云计算市场规模及增速（亿元）...........................................................13 图 5 中国云计算细分领域市场规模及增速（亿元）...........................................14 图 6

Kubernetes 基础技术中台团队 • 开放应⽤模型（OAM）项⽬ Core Maintainer • jianbo.sjb@alibaba-inc.com • 阿⾥存量 PaaS 对接 Kubernetes 的新挑战 • 研发和运维对 Kubernetes YAML ⽂件的看法 • 阿⾥对解耦研发和运维的实践与教训 • 标准化、统⼀化的应⽤管理 阿里巴巴大规模容器化基础设施 新挑战 CRD Controller Informer Reflector Event Handler Loop … 我们业务压力大. 一定要学这些么…… 那好吧, 我们帮你写…. 业务方运维 K8s 团队 运维如何上手K8s的扩展能力？ 举例：CronHPA • 运维同学怎么知道这个扩展能力怎么用？ • 看 CRD？看配置文件？看 …… 文档？ • 扩展能力间出现冲突，导致线上故障 • 比如：CronHPA 这样啊，你们PaaS 平台的 体验好割裂… 好吧，我们试试 …… 这你恐怕得单独去RDS 界面创建… 业务方运维 K8s 团队 CRD 搞定一切！ RDS SLB VPC • 对研发屏蔽 K8s API • 对运维简化 K8s API • 自由描述非 K8s 资源 每个公司/团队都有自己的应用定义 …… 思考题： • 标准吗？能复用吗？ • 如何与开源生态协作？ • 如何迭代、演进？

可扩展: 模块化、可插拔、提供Hook、可组合 ⾃愈: ⾃动放置、⾃动重启、⾃动复制、⾃动缩放 Google于2014年启动了Kubernetes项⽬。Kubernetes建⽴在Google在⼤规模运⾏⽣产⼯作负载⽅⾯ ⼗⼏年的经验之 上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使 Kubernetes是⼀个怎样的平台？ 尽管Kubernetes提供了⼤量功能，但总有新的场景从新功能中受益。应⽤程序特定的⼯作流程可被简化，从⽽加快开发 ⼈员的速度。可接受的特别编排最初常常需要⼤规模的⾃动化。这就是为什么Kubernetes也被设计为提供构建组件和⼯ 具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许 Kubernetes⽀持在同⼀物理集群中创建多个虚拟集群。 这些虚拟集群被称为Namespace。 使⽤多个Namespace的场景 Namespace旨在⽤于这种环境：有许多的⽤户，这些⽤户分布在多个团队/项⽬中。对于只有⼏个或⼏⼗个⽤户的集 群，您根本不需要创建或考虑使⽤Namespace。 当您需要使⽤Namespace提供的功能时，再考虑使⽤Namespace。 Namespace为Nam

中间件、云原生网络、云原生存储 云边协同 将云原生能力延伸至边缘，采用边缘集群、边缘节点模式，将数据中心算力下移，端 设备算力上移，统一管控和调度离散、异构的计算资源，解决在海量边、端设备上统 一完成大规模应用交付、运维、管控的诉求，实现云边的真正一体化。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、云边协同 版权 © 2023 DaoCloud 第 8 页 云原生底座 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建 DCE 第 14 页 DCE 5.0 的服务网格兼容社区原生 Istio 开源服务网格，提供原生 Istio 接入管 理能力。在较高的层次上，服务网格有助于降低服务治理的复杂性，减轻开发 运维团队的压力。 服务网格作为 DCE 5.0 产品的体系一员，无缝对接容器管理平台，可以为用户 提供开箱即用的上手体验， 并作为基础设施为微服务引擎提供容器微服务治理 支持，方便用户通过单一平台对各类微服务系统做统一管理。

字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 etcd 存在性能问题 apiserver etcd K8s 各组件 apiserver apiserver 不会使用，减少一次读 压测数据 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 落地效果  压测环境 • 配合 apiserver 优化手段，规模达 5w 节点 200w Pod  生产环境 • 2 W 节点 100w Pod 超大集群，有效降低资源碎片率 落地效果 读写 QPS > 1w • 背景介绍 • 设计思路 • 性能优化