Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed Index，与 快照 读有关 逻辑层 – 单 Key 读 逻辑层 – Range 读 逻辑层

帮助您洞察集群、节点、应用和服务的详细指标，并通 过动态仪表盘和拓扑大图可视化掌握应用健康状态。 DCE 5.0 原生支持 DevOps 开发运维模式，可以实现应用交付的全流程标准化 和自动化，并集成各类精选数据库和中间件，使运维治理更加高效。各个产品 模块独立解耦，支持灵活升级，对业务没有影响，并且能够与众多云原生生态 产品对接，提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 验，构建了坚实 、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 版权 © 2023 DaoCloud 第 6 页 应用商店 收录来自大数据、AI、中间件等

云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 基于 K8s 的多云、混合云DBPaaS管理平台 ，支持MySQL、 PostgreSQL、Redis、MongoDB、Kafka等开源数据库的自动化 运维。 云猿生于2022年5月份成立，总部坐落于杭州，并同期设立 北京分公司。公司是云原生计算基金会（CNCF）会员企业， 信通院数据库应用创新实验室成员，并入选杭州市2023准 日志、系统指标等采集、分析；监控配置与报警；性能 指标收集与分析等等。 Backup & Restore 备份策略、备份方式、恢复方式、备份管理等等。 Disaster Recovery & High Availability Failover/Switchover、多可用区、数据恢复等等。 Security & Compliance 访问控制、审计、安全链接、加密存储等等。 Patching Server 一致性 list & watch 机制中，list 获取 API Server 中数据的一份快照，并记 录 ResourceVersion 版本信息，watch 从 ResourceVersion 开始，获取后 续的增量数据。 watch 通过网络异步（asynchronous）获取增量数据，所以 cache 提供 的是最终一致性（eventual consistency）。 期间遇到网络、API

sealer 作 者 环界云计算创始人 公司代表作品： Sealos 云操作系统 Laf 函数计算 FastGPT AI 知识库 Sealos 介绍 以 kubernetes 为内核的云操作系统 整个数据中心抽象成一台服务器，一切皆应用，让用云像用个人电脑一样简单！ Kubernetes是云操作系统内核，整个集群是一个整体 Sealos是云操作系统发行版本 Linux发行版，如redhat Linux 驱动层实现资源抽象 自由切换，到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 数据库 缓存 计算驱动 网络驱动 存储驱动 自由组装 内聚解耦 化整为零 大道至简 sealos 的能力 • 10 秒上线一个自带域名和 https 的 nginx 应用 • 其它应用同理如博客系统 支持共享与协作 • 20 秒启动高可用 mysql/pgsql/mongo/redis 数据 库 • 写代码像写博客一样简单 • AI 自动编码，毫秒级上线，0 运 维 数据库管理 mysql/pgsql/mongo/ redis 等多种数据库 数据库多主架构高 可用 数据库备份恢复， 故障自愈 数据库管理工具， 监控告警 Userlnterface API/CLI/GUI Cilium

年加入腾讯，现任数据平台部容器云开发组组长。 拥有多年分布式系统研发经验，对大数据、云计算、容器等有深刻理解。从事过自研容 器云平台，大数据云平台，以及面向公司内外的通用容器云平台，从无到有，从自研到 开源生态，从公司内部平台到同时面向To B市场。目前专注于容器云平台领域，负责腾 讯企业级容器云平台 。 2009年-2013年 2014年-今 2015年-今 自研容器云平台 腾讯大数据云 通用云平台 计算节点挂掉：跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 • 负载均衡 • 重启机制 ① 区分异常原因 ② 本地重启/跨机重启 • 黑名单机制 • 集群核心数据的备份和恢复 ① Etcd ② 核心数据库 • 云盘机制保护应用数据 • 举例：1.4升级1.9版本 • Pod Hash发生变化 • Container名称发生变化，点分隔改为了下划线分隔 • 容器标签发生变化 pause容器的标签io restartCount改为 annotation.io.kubernetes.container.restartCoun • Cgroup目录结构发生变化，新增Pod层级 平台容灾 应用容灾 数据容灾 企业内部各个集群灰度运营。 可靠 资源管 理 CPU Memory Disk Space Network TX Network RX Disk IO (include

applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 更多实例来实现扩容。详⻅ Building High-Availability Clusters 。 etcd etcd ⽤作Kubernetes的后端存储。集群的所有数据都存储在此。请为你Kubernetes集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controller，它们是处理集群中常规任务的后台线 程序以及集群本身。 Container Resource Monitoring（容器资源监控） Container Resource Monitoring 将容器的通⽤时序指标记录到⼀个中⼼化的数据库中，并提供⼀个UI以便于浏览该数 据。 Cluster-level Logging（集群级别的⽇志） Cluster-level logging 机制负责将容器的⽇志存储到具有搜索/浏览界⾯的中央⽇志存储中去。

daemonset.yml #应用 # kubectl get daemonset #查看 ★Job控制器 job控制器用于运行一次性pod（如执行sql脚本或一次性备份任务等）容器中的 进程在正常运行结束后，置为completed状态，且不会再重启，如果进程运行失 败，则根据配置决定是否要重启 # vi xx-job.yml #内容如下 apiVersion: 然后客户端就可使用h�ps://web.xxx.com: 去访问目标服 务了 ★第9章、存储卷 pod里的容器在运行结束后，其数据无法持久存在，得额外挂载一个外部存储 文件系统，即存储卷，存储卷是pod内所有容器都可挂载的共享目录。k8s支持 node结点本地存储以及网络存储 node本地存储：emptyDir hostPath 已申明的存储类发起动态 分配PV的请求，没有指定存储类的PVC请求会被禁止动态创建PV ★第10章、ConfigMap和Secret ConfigMap对象就是一系列配置数据的集合，这些数据以键值对的形式进行存 储，可“注入”到pod对象中，并为容器应用所使用。注入方式有挂载为存储卷和 传递为环境变量两种。 configmap是区分命名空间的 ①创建ConfigMap对象 ★命令行直接创建

是否可视化⻚页⾯面，部署⻔门槛？ a. 集群如何⽆无缝升级？ b. 集群如何快速扩容？ c. 监控、告警、⽇日志是否完善？ d. 如何进⾏行行快速安全加固？ e. 集群如何进⾏行行备份和恢复？ 1 2 企业在云原⽣生时代的挑战 3 KubeOperator 开源容器器平台的技术优势 KubeOperator 开源容器器平台企业版 KubeOperator 的使命 KubeOperator 是开源的轻量量级 Kubernetes 发⾏行行版，专注于帮助企业规划、部署和运营 ⽣生产级别的 Kubernetes 集群。 计算 ⽹网络 存储 ⽤用途 ⼀一键部署 可视化安装 管理理 备份 伸缩 监控 ⽇日志 Day 0 Day 1 Day 2 规 划 部 署 运 营 升级 在线 / 离线 KubeOperator 的开发团队和运作模式 • 由 Jumpserver OpenStack / FusionCompute 等 Ansible / Terraform CentOS / RHEL / EulerOS 集群规划 集群部署 集群运维 集群升级 集群伸缩 集群备份 应⽤用商店 开源的轻量量级 Kubernetes 发⾏行行版 KubeOperator 的技术优势 按需创建 ⼀一键创建和部署 K8S 集群 按需伸缩 快速伸缩 K8S 集群， 提升资源使⽤用效率