它们在雷达中的位置也会改变。 © Thoughtworks, Inc. All Rights Reserved. 5 贡献者 技术顾问委员会（TAB）由 Thoughtworks 的 22 名高级技术专家组成。 TAB 每年召开两次面对面会议，每两周召 开一次视频会议。其主要职责是为 Thoughtworks 的首席技术官 Rachel Laycock 和名誉首席技术官 Rebecca Server 64. Prisma 运行时防护 65. Terratest 66. Thanos 67. Yalc 评估 68. ChatGPT 69. Codeium 70. GitHub 合并队列 71. Google Bard 72. Google Cloud 工作站 73. Gradio 74. KWOK 75. Llama 2 76. Maestro 77. Open-source LLMs Server 64. Prisma 运行时防护 65. Terratest 66. Thanos 67. Yalc 评估 68. ChatGPT 69. Codeium 70. GitHub 合并队列 71. Google Bard 72. Google Cloud 工作站 73. Gradio 74. KWOK 75. Llama 2 76. Maestro 77. Open-source LLMs

的目标旨在消除编排物理/虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 根据用户的设置把任务成功完成就自动退出了。成功完 成的标志根据不同的spec.completions策略而不同：单Pod型任务有一个Pod成功就标志完成；定数成功型任务保证有N 个任务全部成功；工作队列型任务根据应用确认的全局成功而标志成功 23 www.h3c.com Confidential 秘密 23 23 K8s基本概念和术语介绍（HPA） HPA Horizontal Pod Autoscaler（横向自动扩容）：

化 UI 则可以大大减少 AI 工程 师的工作量。 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布： • 模型服务的负载均衡 • 硬件资源的规划 • 模型管理： • 模型的版本 Volume 机制将分布式存储的具体地址 mount 到 TensorFlow PS 和 Worker 的 Container 内部， 使 Container 可以得到需要处 理的数据 资源队列 资源队列在不同的集群分布 • 针对不同的用户设置不同的资源池 • 资源池存在硬件分配原则的差异，例如资源的多少，类型。 模型发布 AI Platform 本身的运行 • 1. 容器化

驱动层实现资源抽象 自由切换，到处运行 Sealos API Sealos CLI Desktop 裸金属 AWS 阿里云 更多······ boot 集群镜像 租户管理 应用管理 函数计算 消息队列 数据库 缓存 计算驱动 网络驱动 存储驱动 自由组装 内聚解耦 化整为零 大道至简 sealos 的能力 • 10 秒上线一个自带域名和 https 的 nginx 应用 • 不同版本liux发行版 裸金属 AMD ARM ······ 数月 数十人 依赖中间数十款软件 SaaS 机房1 机房2 机房n ·· ·· ·· 打包 监控 系统 日至 系统 数据库 消息队列 对象存储 计算 储存 网络 kubernetes SaaS服务 30min 1人 一键打包 整体交付 一次建构 到处运行 使用sealos 技术实现 行业 痛点 在公网不可信的环境中提供多

的优先； 优先级相同 时， 配额大的占用多，配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记)： 在正常处理流程中，报文查找到目标socket结构之 后，根据socket的owner process来确定cgroup

⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . 北北京 线上服务健康检查复杂度⾼高 • 服务之间的调⽤用和发现配置⼯工作多 • 单个服务完全消耗云主机资源 商户管理理 购物商城 管理理后台 对接端 Ingress 订单系统 API 搜索服务 商品同步 消息队列列 Kafka集群 供应电商A 供应电商B 供应商 … 商城端 --巨⽯石架构 商城服务端 --微服务架构 商品系统 API …… Think in Cloud . 北北京

： ➢ Elasticsearch 搜索服务：目前首选的全文搜索引擎 ➢ Kafka 消息队列：常用于消息传输的数据管道 ➢ MinIO 对象存储：非常热门的轻量对象存储方案 ➢ MySQL 数据库：简单易用、性能更高的开源关系型数据库 ➢ RabbitMQ 消息队列：常用于交易数据的传输管道 ➢ Redis 缓存服务：高性能的开源内存数据库 ➢ PostgreSQL

imagePullPolicy: IfNotPresent priorityClassName: high-priority Preemption（抢占） 当Pods被创建时，它们会进⼊队列并等待被调度。Scheduler从队列中选择⼀个Pod，并尝试将其调度到Node上。 如果 未能找到满⾜Pod所有要求的Node，则为处于pending状态的Pod触发preemption逻辑。下⾯我们称这个处于pending状 Node（N）上调度pending Pod（P）的时间点 之间创建时间间隔。 在此期间，Scheduler会调度其他pending的Pod。 当受害者退出或终⽌时，Scheduler会尝试调度在待处理队列中的Pod，并且在Scheduler将P调度到N之前，可能会将其 中的⼀个或多个考虑并调度到N。在这种情况下，所有的受害者退出，Pod P不再适⽤于Node N。因此，Scheduler将 必须抢占Node

加速云端深度学习 范斌 Alluxio 创始成员 车漾 阿里云高级技术专家 目录 • 我们是谁 • 问题背景 • Alluxio 助力云原生 AI 模型训练 • 相关资料 • Alluxio 是谁 • Allluxio 与 Kubernetes 结合 • Alluxio 优化实践 我们是谁？ 车漾 阿里云高级技术专家 范斌 Alluxio 创始成员 背景 硬件 软件

容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 基于 Kubernetes 的 Kafka 集群 13 个， 1000+ Topic 知乎技术平台重要的组件 Kafka 在知乎的应⽤用 平台概览 Kubernetes