本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 • 单 Key 读，提供线性一致性 元信息存储的需求 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 性能优化 写优化 - 1 降低锁粒度 存储引擎替换 表锁 -> 行锁，增大了写的并发 写优化 - 2 单点写 -> 多点写 multi raft range 分片，增大写并发 Brain 层无磁盘 io，只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s

采纳 本期雷达 新的 挪进 / 挪出 没有变化 © Thoughtworks, Inc. All Rights Reserved. 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 13 15 3 18 42 43 44 51 54 56 61 45 暂缓 暂缓 评估 评估 试验 试验 采纳 采纳 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions

Internal. All rights reserved. 3 2017 Lenovo Internal. All rights reserved. 大纲 • 背景和挑战 • 企业级容器云设计与思考 • 让一切自动化 • 监控与日志 • Showcase • 那些坑，那些事 4 2017 Lenovo Internal. All rights reserved. 背景和挑战 • IT环境比较复杂 企业级容器云设计与思考 • 设计思路 从需求出发 需求驱动，勿求大而全，没有银弹 从用户的角度思考 简单，学习成本低，改变成本小 从技术的角度评估 从成本方面衡量 资源利用率，人力成本，投入产出比 从长远技术方向考虑 未来方向，新技术潮流，公司战略 高效，稳定，可扩展 9 2017 Lenovo Internal. All rights reserved. 企业级容器云设计与思考 reserved. 容器云设计--多集群支持的容器云 • What? – 多个K8S容器云集群统一管理 • Why？ 技术和管理难度大 跨数据中心 2 物理机，VMWare，OpenStack，AWS，Azure 混合基础架构 多集群统一管理，无需切换平台系统 统一用户体验 11 2017 Lenovo Internal. All rights reserved. 容器云设计--多集群支持的容器云

Clair Registr y Elastic kubernet es Docke r 总体流程设计 u 在概念阶段完成产品⽴项评审 u 在迭代0阶段完成系统总体架构审 计，总体架构设计完成之后，启 动迭代启动评审。 u 在迭代阶段包含1.需求分析、2.应 ⽤设计、3.开发、4.测试、5.发布、 6.运维、7、迭代回顾7个阶段 u 每个迭代时间固定，⼀般为2-4周 整体过程框架 工作件 迭代1 迭代2 迭代3 迭代n 2.应用设计 3.开发 4.测试 1.需求分析 6.运维 5.发布 7.迭代回顾 系统总体架构 设计 系统总体架构 系统原型 持续集成 测试报告 版本发布 评审 产品立项 评审 迭代启动 评审 产品立项报告 实践 相关规范：《敏捷开发过程指南》 规范指南设计 规范与指南 GIT分⽀管理规范 4+1共5个分⽀，每个 04-02-DevOps_Tools_Template_DevOps 4. 04-04-DEVOPS详细操作过程 5. 04-05-DEVOPS⼯具权限设计 6. 04-06-DEVOPS成熟度标准 7. 04-07-DevOps-⾓⾊和流程设计 8. 04-08-DevOps研发实例 9. 04-09-产品各⽣命周期交付物 10. 04-10-团队成员评估与测试 11. 04-11-DevOps汇报20180125

 首批KSCP认证厂商之一  主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 万 中移动咕互娱运维平台承担所有业务APP用户鉴权、计费前端和广告推送，高峰并发请求25000次/秒、1.2亿次/小时。 客户问题： •资源利用率低：虚拟化模式弹性能力差，平台容量按最高业务峰值设计（300VM，4C8G），日常负荷下平台利用率<30%（一半时间利用 率<10%），造成资源极大浪费 •升级耗时长、易出错：APP迭代需求快，如新游戏上线、特性增强等，每周2~3次补丁发布，需手工操作，升级工作耗时2小时，效率低

尽管Kubernetes提供了⼤量功能，但总有新的场景从新功能中受益。应⽤程序特定的⼯作流程可被简化，从⽽加快开发 ⼈员的速度。可接受的特别编排最初常常需要⼤规模的⾃动化。这就是为什么Kubernetes也被设计为提供构建组件和⼯ 具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， High-Availability Clusters 以实现多主机VM配置。 kube-apiserver kube-apiserver 暴露Kubernetes的API。它是Kubernetes控制能⼒的前端。它被设计为可⽔平扩展——也就是通过部署 更多实例来实现扩容。详⻅ Building High-Availability Clusters 。 etcd etcd ⽤作Kubernetes的后端存储。集 ⽹络配置，以便集群可在不受信任的⽹络（或云提供商上的公共IP）上运⾏。 Cluster -> Master 从集群到Master的所有通信路径终⽌于apiserver（其他Master组件都不是设计来暴露远程服务的）。在典型的部署中， 我们会为apiserver配置监听启⽤了⼀种或多种形式的客户端 authentication 的安全HTTPS端⼝（443）。应启⽤⼀种或 多种 authorization

——Kubernetes的优势 vs. Mesos and Swarm Ø 来自Google的简单一致的设计理念 Ø 原生为容器集群打造 Ø 原生服务发现 Ø 统一的资源模型 Ø 支持丰富的标签Label发现机制 Ø 原生负载均衡，高可用方案 Ø 原生的Rolling Update设计 Ø 为生产环境专门打造的容器集群 Ø 多镜像Pod Ø 多种业务类型：Service+RC/Job/DaemonSet Ø解决方案 Ø改成同步一主两备模式 Kubernetes的PVC绑定问题 Ø问题 ØPVC每次申请PV都会占用所有 PV容量 Ø解决方案 Ø对Kubernetes的PV起初理解偏 差，PVC的设计就是占用整个PV Ø要对每个用户PVC单独开辟PV Magnum创建baymodel失败 Ø 问题 ØBaymodel中所使用的镜像没有os- distro属性 Ø 解决方案 Ø创建虚拟机镜像时一定要指定os-

云时代背景下 构建现代化应用的最典型技术方案，但应用现代化并非单纯依靠技 术手段达成，需要完整的建设方法论，具体包含五个方面，如图 7 所示：一是应用架构现代化，依据分而治之、开放设计、统一风格 三重设计原则，通过微服务、Serverless、事件驱动和命令职权分离 等先进架构升级应用范式；二是数据架构现代化，以云原生为底座 优化数据摄取、数据存储、数据分析、数据消费、数据治理等能力， 是因为缺乏资产可见性、 安全配置不当和缺乏运营机制等原因，使得安全防护体系失效、出现 问题难定位。因此，云上安全不仅是技术体系的建设，还需要精细化、 原生化的安全治理。首先，需要企业从战略顶层设计、组织文化上接 受云原生安全理念，变革组织管理和人才培养体系，提倡责任共担和 安全内嵌。其次，正确的安全配置是安全防护的前提，持续的安全运 营才能充分发挥安全效能。 （四）行业上云用云呈阶梯状分布，中小企业成影响上

• 如何调度它们 • 如何管理理它们 服务器器如何管理理 Kubernetes 集群资源管理理和调度 容器器技术提供资源隔离 应⽤用程序管理理 Kafka on Kubernetes 设计 Kafka 容器器 • 内存、CPU、⽹网络和存储 调度 Kafka 容器器 内存 CPU 和⽹网络 内存 和 CPU • 依照集群类型测试基准数据 容器器⽹网络 • 容器器采⽤用独⽴立的内⽹网 状态更更新磁盘信息 本地磁盘管理理 Kubernetes node 部署 Agent • 监控服务器器存储状态 • 磁盘容量量资源回收 • 磁盘故障处理理 容器器挂载磁盘⽬目录的软连接 本地⽬目录设计 磁盘容错 • 磁盘故障不不可避免 • 快速恢复 服务器器预留留备⽤用磁盘 单盘故障启⽤用备⽤用盘 容错 主机容错 • 优化磁盘调度算法 • 运⽤用 Kafka 机架感知特性 服务注册和客户端

全组件自动化部署、统一配置管理、多策略灰度升级 • 提供可视化、自动化的运维能力，降低使用者的人力成本和学习成本 可靠 • 所有组件无单点； • 平台本身支持热升级； • 组件自身HA机制，如docker； • 多地域多可用区的容灾设计 • 管理机挂掉：对应用无影响 • 计算节点挂掉：跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 • 负载均衡 • 重启机制 ① 区分异常原因 ② 本地重启/跨机重启 • 黑名单机制 • 集群核心数据的备份和恢复 需求：减少机器，降低成本。 手段：在线离线集群做合并。 问题：容器只能管理CPU和内存，不能对网络和磁盘IO做 管理，导致在线应用受离线业务影响。 一次现网事故 一个用户需求 可靠 设计目标 ◼在某个cgroup网络繁忙时，能保证其设定配额不会被其他cgroup挤占 ◼在某个cgroup没有用满其配额时，其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其