KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读  写 • K8s 乐观锁 resource version • 单 Key CAS  Watch • Kubernetes list-watch 的底层依赖 K8s 元信息存储的需求 (2) K8s 元信息存储的需求 (3) 所以 etcd 为目前 K8s 唯一支持的存储 KubeBrain 架构 Kine KubeBrain KubeBrain 架构 • 主从架构 •

启动 ii. 守护态运行 iii. 终止 iv. 进入容器 v. 导出和导入 vi. 删除 7. 仓库 i. Docker Hub ii. 私有仓库 iii. 配置文件 8. 数据管理 i. 数据卷 ii. 数据卷容器 iii. 备份、恢复、迁移数据卷 9. 使用网络 i. 外部访问容器 ii. 容器互联 10. 高级网络配置 i. 快速配置指南 ii. 配置 Dockerfile 的介绍； 重新校订中英文混排格式。 修订文字表达。 发布繁体版本分支：zh-Hant。 0.2: 2014-09-18 对照官方文档重写介绍、基本概念、安装、镜像、容器、仓库、数据管理、网络等章节； 添加底层实现章节； 添加命令查询和资源链接章节； 其它修正。 0.1: 2014-09-05 添加基本内容; 修正错别字和表达不通顺的地方。 本书源码在 Github $ sudo docker load --input ubuntu_14.04.tar 或 $ sudo docker load < ubuntu_14.04.tar 这将导入镜像以及其相关的元数据信息（包括标签等）。 存出和载入镜像 存出镜像 载入镜像 Docker —— 从入门到实践 25 存出和载入 如果要移除本地的镜像，可以使用 docker rmi 命令。注意 docker

种名为 HiveQL 的类 SQL 语言进行数据查询。 Hive Thrift 服务器 驱动程序 解析器 执行 Hive Web 接口 计划器 优化器 MS 客户端 元存储 图 1-3 1.4 与其他系统集成 如果在科技领域工作，你一定清楚地知道集成是任何成功实现 中必不可少的部分。一般来说，通过一些发现流程或计划会议，组 织可以更高效地确 Hadoop 的主要贡献者之一。这便开启了在多种数据库资源上使 用 Hadoop 的大门。 应用* 源 *请向供应商确认。资源可能会有所不同。 HADOOP 数据访问 YARN 数据管理 开发和数据工具* 数据系统* 治理与集成 安全操作 操作工具* 基础设施* 图 1-4 HDP 被视为一个生态系统，因为它创造了一个数据社区，将 第 1 章 图 1-6 这并不意味着 Hadoop 或者其他数据平台的解决方案无法在非 Windows 环境下运行。你应该细心检查现有的或者计划使用的环境 以决定最优解决方案。数据平台或者数据管理平台正如其名。它是 一个集中式计算系统，用于收集、集成和管理大型结构化和非结构 化数据集。 从理论上讲，无论 HortonWorks，还是 Cloudera，均是可供选 择的平台，包括用于与现有数据环境和

上 百PB数据的集群也不鲜见。 HDFS通过把文件系统元数据全部加载到Namenode内存中，给客户端提供了低延迟的元数据访问 。由于元数据需要全部加载到内存，所以一个HDFS集群能支持的最大文件数，受JAVA堆内存的限 制，上限大概是4亿左右个文件。所以HDFS适合大量大文件（几百兆以上）的集群，如果集群中 有非常多的小文件，HDFS的元数据访问性能会受到影响。虽然可以通过各种Federation技术来扩 可能的保持架构 的简单，即使因此需要可扩展性上做一些妥协。但是在Ozone在扩展性上绝不逊色，目标 是支持单集群1000亿个对象。 构架分层 Ozone 采用分层的文件系统。Namespace 元数据的管理，数据块和节点的管理分开。用户可以对二者独立扩展。 容易恢复 HDFS 一个关键优点是，它能经历大的灾难事件，比如集群级别的电力故障，而不丢失数据, 并 且能高效的从灾难中恢复。对于一些 Ozone：Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com 构架 Ozone 从结构上分为三个部分，Ozone Manager, 元数据管理；Storage Container Manager， 数据块和节点管理；Datanode， 数据最终的存放处。类比 HDFS 的构架， 可以看到原来 Namenode 的功能，现在由 Ozone

Dockerfile 多阶段构建 其它制作镜像的方式 实现原理 操作容器 启动 守护态运行 终止 进入容器 导出和导入 删除 访问仓库 Docker Hub 私有仓库 私有仓库高级配置 数据管理 数据卷 监听主机目录 使用网络 外部访问容器 容器互联 配置 DNS 高级网络配置 快速配置指南 容器访问控制 端口映射实现 配置 docker0 网桥 3 1.12.5 Docker 初学者，也希望可供理解原理和实现的高级用户 参考。同时，书中给出的实践案例，可供在进行实际部署时借鉴。前六章为基础内容，供用 户理解 Docker 的基本概念和操作；7 ~ 9 章介绍包括数据管理、网络等高级操作；第 10 ~ 13 章介绍了容器生态中的几个核心项目；14、15 章讨论了关于 Docker 安全和实现技术等高级 话题。后续章节则分别介绍包括 Etcd、CoreOS、Ku Dockerfile 的介绍 重新校订中英文混排格式 修订文字表达 发布繁体版本分支：zh-Hant 0.2.0: 2014-09-18 对照官方文档重写介绍、基本概念、安装、镜像、容器、仓库、数据管理、网络等 章节 添加底层实现章节 添加命令查询和资源链接章节 其它修正 0.1.0: 2014-09-05 添加基本内容 修正错别字和表达不通顺的地方 修订记录 12 如何贡献项目

filter • 扩展 Xprotocol 支持 • Debug 及 Admin 管理 • Metrics 监控统计 Envoy 复用基础能力 • 复用高效 Eventloop 模型 • 复用 xDS 服务元数据通道 • 复用 L4/L7 filter • 复用 Cluster LB • 复用 State 统计 Proxy-golang 扩展能力 • Proxy-golang API • Filter 从哪来？ 为 Envoy 每个 work thread 都预 留对应的 P，保证每个 G 都可 以立刻找到 P MOE 方案介绍 — 服务相关元数据如何管理 MOSN 和 Envoy 的相关服务元 数据信息，是如何交互管理的? 通过扩展 Envoy 中的 Admin API 使其支持 xDS 同等功能的 API, MOSN 集成的 Service Discovery 组件通过该 API(rest MOSN 作为 Envoy 动态 so， 提升编译速度 • 增强 Envoy 扩展能力，复用 MOSN 现有的 filter 能力 • 同时具备云原生 xDS 、 REST API服务元数据管理 通道能力 • 复用 Envoy 高效网络通道，如为 Dapr 能力提供底层 gRPC 通道 • 具备硬件加速集成能力 • 内存管理 Zero Copy • MOSN/GoLang 和 Envoy

filter • 扩展 Xprotocol 支持 • Debug 及 Admin 管理 • Metrics 监控统计 Envoy 复用基础能力 • 复用高效 Eventloop 模型 • 复用 xDS 服务元数据通道 • 复用 L4/L7 filter • 复用 Cluster LB • 复用 State 统计 Proxy-golang 扩展能力 • Proxy-golang API • Filter Discovery Client Admin API REST API Request REST API Callback Callback MOSN 和 Envoy 的相关服务元数据信 息，是如何交互管理的? 通过扩展 Envoy 中的 Admin API 使 其支持 xDS 同等功能的 API, MOSN 集成的 Service Discovery 组件通过 该 API(rest MOSN 作为 Envoy 动态 so，提 升编译速度 • 增强 Envoy 扩展能力，复用 MOSN 现有的 filter 能力 • 同时具备云原生 xDS 、REST API服务元数据管理通道能力 • 复用 Envoy 高效网络通道，如为 Dapr 能力提供底层 gRPC 通道 • 具备硬件加速集成能力 • 内存管理 Zero Copy • MOSN/GoLang 和 Envoy

可在RDBMS、Hadoop和ETL网格中执行的适当流程。 2. 避免手动编码：手动编码费用昂贵，而且无法有效适应快速 频繁的调整。另外，手动编码不支持自动收集对数据治理至关 重要的设计和操作元数据。 3. 不要为RDBMS、Hadoop和ETL网格创建单独的集成开 发环境：这种做法没有任何实际意义，而且支持费用非常昂 贵。您应该能够构建一次作业，然后即可在三个环境中的任意 一个环境内运行它。 数据转换相对简单，因为无法使用ETL工具将较为复杂 的逻辑推送到RDBMS。 • 数据质量受到影响。 • 关键任务（如数据剖析）无法实现自动化-在很多情况下 根本无法执行。 • 未实施有效的数据治理（数据管理、数据沿袭、影响分 析），因而响应法规要求变得更加困难且非常昂贵，对 关键业务数据的信心更无从谈起。 相反，采用海量可扩展数据集成平台来优化大数据集成工作 负载的企业，则可最大限度降低潜在的负面影响，更有效地通 均可实现这些工作 • 支持各种数据集成范式，包括批量处理、联盟、更改数 据捕获、为数据集成任务启用SOA、与事务完整性实时 集成和/或企业用户自助数据集成 另外，还可以建立世界级的数据治理工作，包括数据管理、数 据沿袭和跨工具影响分析。 最佳实践3：可在需要运行海量可扩展数据集成的任何位置提 供该功能 Hadoop能以极低的成本对数据集成工作负载实施大规模 分布式处理。但是，客户需要的是海量可扩展数据集成解决方

算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 19%的增速，我国云计算市场 仍处于快速发展期，预计 2025 年我国云计算整体市场规模将超万亿 元。 三是云计算产业环境日益激烈，新一轮竞争全面开启。全球各 国将云计算看作抢占新一轮科技革命制高点的关键环节。云计算巨 ...................................5 图 4 中国云计算市场规模及增速（亿元）...........................................................13 图 5 中国云计算细分领域市场规模及增速（亿元）...........................................14 图 6 2022 济、军事、科技等方面的领先地位。2021 年 5 月，美国国防部公布 美国本土以外（OCONUS）的战术边缘云战略，明确提出将通过云 战略获取全球优势。美国国立卫生研究院（NIH）表示将在 2023 年 实施新的数据管理政策，促进更多的研究人员使用云计算。此外， 美国在 2022 年 9 月发布了《国家竞争力面临的十年中期挑战》，其 中提到通过发展云计算等高新科技，健全数字基础设施，以扩大其 在经济、军事、科技等方面的竞争优势。