KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 etcd 存在性能问题 apiserver etcd K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe

种子技术来提供。目前最新的 版本是1.16版本。（https://github.com/kubernetes/kubernetes） Kubernetes 的目标旨在消除编排物理/虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云 作的唯一入口，也是集群控制的入口进程。并提供认证、授权、访问控制、API注册和发现等机制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Sch

如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储 备），但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环，并且需要意识到在转向远程工作时所 做的取舍。 Connect（OIDC）等联合身份机制对流水线进行 身份验证，以访问云服务。这一重要的技术仍未被充分利用在 GitHub Actions 中，因此推荐 OIDC for GitHub Actions。通过这种方式，可以避免存储长期的访问令牌来访问云资源，同时确保流水线无法直接访问机密信息。 然而，请务必谨慎地限制访问权限，以确保操作以最低权限运行。 8. 使用 Terraform 创建监控和告警 试验 基础设施及代码（IaC） 工具的团队需要重视这类风险。 团队可以通过对依赖进行健康检查化解包幻觉风险：在选择依赖之前查看它的创建日期、下载数量、github 评论 及星标数、贡献者数量、活动历史记录等。一些依赖健康检查可以在包存储仓库和 GitHub 上执行，而像 deps. dev 和 Snyk advisor 等工具也可以提供帮助。尽管依赖健康不是一项新技术，但随着团队在软件开发过程中越 来越多地尝试 GenAI 工具，该实践正在获得新的关注。

Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 数据库 缓存 计算驱动 网络驱动 存储驱动 自由组装 内聚解耦 化整为零 大道至简 sealos 的能力 • 10 秒上线一个自带域名和 https 的 nginx 应用 • 其它应用同理如博客系统 低代 码平台等 Mysql/pgsql/mongo CNI CRI CSI DNS Backup Restore 交付类场景 01 整个集群或者分布式应用整 体打包，一键交付 标准化交付产物，而不是靠 操作文档协作 交付者无需关心业务逻辑，一条命令 完成任意分布式高可用应用交付 支持完全离线场景，小白操 作 20min 自动化完成 全国多个 02 交付环境： 各大公有云 不同版本liux发行版 系统 日至 系统 数据库 消息队列 对象存储 计算 储存 网络 kubernetes SaaS服务 30min 1人 一键打包 整体交付 一次建构 到处运行 使用sealos 技术实现 行业 痛点 在公网不可信的环境中提供多 租户共享一个kubernetes集群 的能力， ，如etcd存储， k8s apiserver，对象存储，数 据库等 技术 方案 优势 利用

来帮助公共和私营部门进行数字化转型。该战略基于三大支柱：“可 云计算白皮书（2023 年） 2 信云”认证、“云中心”政策和工业战略。2021 年 6 月，意大利政府 宣布了云计算的国家战略，创建存储所有公共部门应用程序和公民 数据的国家级云计算系统，并将相关数据向“国家云”转移。 英国和澳大利亚政府发布国家战略，深度挖掘云计算的产业赋 能价值。在政府云战略（G-Cloud）基础上，英国国防部在 Serverless（服务器无感知）、低/无代码为代表的技术能够 屏蔽复杂的底层基础设施，让用户以最低学习成本、最小使用代价 最大化释放云的生产力，实现快速创新。AWS 贯彻全面 Serverless 化战略，提供计算、存储、数据库等全领域的 Serverless 服务。微软 发力低/无代码领域，其发布的 Power Platform 已经与 Office 365、 Dynamics 365 以及 Azure 三大生态充分打通，形成完整的技术生态。 《关于加快推进新时代体育强省 建设的实施意见》 运用互联网、大数据、云计算、物 联网等信息技术，推进体育资源整 合、数据共享、互联互通。 2023.4 《2023 年成都高新区支持企业数 字化智能化技术改造申报对象范 围和补贴政策》 鼓励企业“上云用数赋能”，对评 为四川省五星级、四星级、三星级 上云企业称号的，分别奖励 20 万 元、10 万元、5 万元。 重庆 2023.3 《关于印发推动川南渝西地区融

华为云应用服务：让企业应用上云更简单，运行更高效 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 限制，增加ARM64支持，运维增强，容器重启策略 OCI & Docker 社区 CNCF/OCI基金会的初创会员、白金会员， K8S TOC 成员，12个 Maintainer 8 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用

02-安装单机版Kubernetes 03-使⽤Kubespray部署⽣产可⽤的Kubernetes集群（1.11.2） 04-K8s组件 05-Kubernetes API 06-理解K8s对象 07-Name 08-Namespace 09-Label和Selector 10-Annotation 11-K8s架构及基本概念 12-Master与Node的通信 13-Node Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署源代码，并且不构建应⽤。持续集成（C

⾸云容器产品Kubernetes操作指南 简介 �.产品简介 �.使⽤须知 集群管理 �.简介 �.使⽤须知 �.操作说明 节点管理 �.简介 �.使⽤须知 �.操作说明 存储管理 �.简介 �. 操作说明 应⽤管理 �. 简介 �. 前提条件 �. 操作说明 ⽹络管理 �.简介 �.操作说明 监控管理 �.简介 �.操作说明 （�）开启监控 （�）概览⻚监控查看以及资源介绍 Wordpress 容器服务 Kubernetes 版（CCK），提供⾼性能可伸缩的容器应⽤管理能⼒，⽀持Kubernetes社区原⽣应 ⽤和⼯具。简化集群的搭建和扩容等运维类⼯作，整合⾸云虚拟化（裸⾦属）、存储、⽹络和安全能⼒， 打造云端最佳的容器化应⽤运⾏环境。 简介 1.产品简介 3 ⽬前开放节点：⽆锡A，东京A，⾹港A，新加坡A，达拉斯A，法兰克福A。 注：根据客户需求可以⼀天内在新节点部署好容器服务。 ⾸云提供了NAS⽂件存储服务，并且针对Kubernetes集群提供了⾃研的存储驱动的⽀持 创建⽂件存储 NAS 选择⽂件存储NAS后，选择右上的新建按钮可以创建⼀块新的NAS存储 存储管理 1.简介 2. 操作说明 13 在新⻚⾯中，依次选择可⽤区，输⼊名称，选择类型和容量，最后单击确定 在该⻚⾯，可以看到所配置的存储的价格 可以⽤去的选择要和容器集群所在区域⼀致，不同区域的集群和存储间不能挂载和访问

全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 14 云原生网络 15 存储 17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5.0）是一款高性能、可扩展的云原生操作系统。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 版权 © 2023 DaoCloud