KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读  写 • K8s 乐观锁 resource version • 单 Key CAS  Watch • Kubernetes list-watch 的底层依赖 K8s 元信息存储的需求 (2) K8s 元信息存储的需求 (3) 所以 etcd 为目前 K8s 唯一支持的存储 KubeBrain 架构 Kine KubeBrain KubeBrain 架构 • 主从架构 •

算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 19%的增速，我国云计算市场 仍处于快速发展期，预计 2025 年我国云计算整体市场规模将超万亿 元。 三是云计算产业环境日益激烈，新一轮竞争全面开启。全球各 国将云计算看作抢占新一轮科技革命制高点的关键环节。云计算巨 ...................................5 图 4 中国云计算市场规模及增速（亿元）...........................................................13 图 5 中国云计算细分领域市场规模及增速（亿元）...........................................14 图 6 2022 济、军事、科技等方面的领先地位。2021 年 5 月，美国国防部公布 美国本土以外（OCONUS）的战术边缘云战略，明确提出将通过云 战略获取全球优势。美国国立卫生研究院（NIH）表示将在 2023 年 实施新的数据管理政策，促进更多的研究人员使用云计算。此外， 美国在 2022 年 9 月发布了《国家竞争力面临的十年中期挑战》，其 中提到通过发展云计算等高新科技，健全数字基础设施，以扩大其 在经济、军事、科技等方面的竞争优势。

面向业务管理 弹性伸缩 API Gateway 负载均衡 应用编排 日志监控 告警 服务发现 API 业务中台 多租户管理 运维中台 云端操作系统 数据中台 面向数据与智能 数据管理 大数据 机器学习 资源管理 深度学习 AI工具 API IOT中台 面向行业解 决方案 边缘计算 数据通道 数据分析 API 海尔工业互联网 - 微服务之框架支持 Netflix

(32GPU) V100 (8GPU) V100 (32GPU) RestNet50 模型训练时间(hours) V100 8卡 : 157.9元/小时 x 4 = 631.6 元 P100 1卡：12.78 元/小时 x108 = 1380.24 元 数据访问的新挑战 1.强大的算力需要匹配的I/O吞吐 2.计算存储分离导致I/O延迟 3.单机缓存无法满足海量数据加速 9993.6 2000 4000 6000 8000 10000 12000 1 2 4 8 ResNet50, V100（Image/Second） Synthetic Alluxio 1.缓存元数据减少gRPC交互 Client Master getStatus() open() read() …() Client Master Meta Cache First Access 避免数据冗余 1 2 3 3. Fuse性能调优 • 选择更高版本的kernel • 设置max_read=131072 • 定制libfuse2代码，支持配置Libfuse线程池 • 延长元数据缓存时间 建议 端到端的优化方案 1252.5 4981.6 9993.6 17441.6 31068.8 1269.5 3266.8 3299.2 6409.6 13478

[dev]} matchLabels 是 { key,value } 的映射。 matchLabels 映射中的单个 { key,value } 等价于 matchExpressions ⼀个元 素，其 key 为“key”， operator 为“In”， values 数组仅包含“value”。 matchExpressions 是⼀个Pod选择器需求列 表。有效运算符 可使⽤Kubernetes annotation将任意的⾮识别元数据附加到对象。 客户端可取得此元数据。 将元数据附加到对象 您可以使⽤标签或Annotation将元数据附加到Kubernetes对象。标签可⽤于选择对象并查找满⾜某些条件的对象集合。 相⽐之下，Annotation不⽤于标识和选择对象。Annotation中的元数据可⼤可⼩，结构化或⾮结构化，并且可包括标签 所不允许的字符。 地址。 指向⽇志、监控、分析或审计仓库。 ⽤于调试的客户端库或⼯具的信息：例如名称、版本和构建信息。 ⽤户或⼯具/系统来源信息，例如来⾃其他⽣态系统组件的相关对象的URL。 轻量级升级⼯具的元数据：例如配置或检查点。 负责⼈的电话或寻呼机号码，或指定能找到该信息的条⽬，例如团队⽹站。 如果不使⽤注释，则可将这种类型的信息存储在外部数据库或⽬录中，但这将会使⽣产共享客户端库/⼯具（⽤于部

服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 日志管理 应用诊断 微服务架构总览 https://www.jetbrains.com/lp/devecosystem-2019/java/ 基于隔离容器 • 运维治理效率 大幅提升 • 无侵入 • 0升级成本 • 全面兼容开源 • 无侵入 • 多语言 • 依赖冲突难管理 • SDK升级成本高 微服务治理演进路线 • 服务元信息 • 服务契约管理 • 服务测试 • 服务Mock • 开发环境隔离 • 端云互联 运行态Ops 开发态Dev • 无损下线 • 无损上线 • 金丝雀发布 • A/B Test Dev-Sec-Ops 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 金丝雀发布 API管理 服务测试 限流降级 故障注入 • 业务无侵入、无感知 • 0升级成本 • 全面兼容开源 注册中心 元数据中心 微服务引擎 基于 Java Agent 的服务治理 public class BaseLoadBalancer { … @Override public List g

21 案例：裸金属容器服务，帮助咪咕互娱大幅降低成本，加速业务上线，提升运维效率 节约开发测试成本 通过自动化持续构建与 测试，降低开发测试成 本，可节省290人日/ 月，节约成本约237万元 /年 237万/年 节约成本 COST 290人日/月 测试成本降低 运维效率提升6倍 建立CI/CD流程，将开 发、测试、运维有机串 联，SDK版本升级由30分 钟缩至5分钟 Efficiency 时间缩短 弹性伸缩应高峰 容器配置与数量根据业 务量秒级扩缩容，轻松 应对热点业务高峰浪涌 应业务量弹性扩缩容 占用资源减半 该项目实施后，节约一次性 投资1160万元，节约机架 租赁及软硬件维保费用530 万元/年 1160 万 … … … 节约投资 Equipment 节约成本 530 万 中移动咕互娱运维平台承担所有业务APP用户鉴权、计费前端和广告推送，高峰并发请求25000次/秒、1

ØKubernetes+OpenStack=容 器和虚拟机组合服务 ØKubernetes专为生产环境打造 的容器集群系统 Ø支持多租户的网络解决方案： 租户隔离、负载均衡、外网访 问、端口映射、二级域名 轻元数据中心操作系统 http://www.qingyuanos.com/opening.html sales@qingyuanos.com xwang@qingyuanos.com

• 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 • 展示各种组件gRPC、HTTP、MySQL、Redis、Kafka调试信息 • 六元组（配置名、请求URL、请求参数、响应数据、耗时时间、执行行号） • 响应数据结构是否正确 • 响应是否有错误 微服务的开发阶段 • 遵循Fail Fast理念，核心错误尽早panic •