Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

A（Activity，活 动）的替代方法，例如拉取请求的数量或已解决的问题的数量，仍然不足以成为衡量生产力的良好指标。相反， 行业已经开始关注“工程效能”：我们不应该衡量生产力，而应该衡量我们知道对流程有贡献或有损害的事物。 我们不应该专注于个体的活动，而应该关注系统中的浪费来源以及可以从经验上证明导致开发人员对“生产力” 感知产生影响的条件。新的工具，比如 DX DevEx 360，通过关注 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 固了向 完全远程或混合工作演进的趋势。在本期技术雷达中，我们讨论了远程软件开发实践和工具的成熟，和团队们 如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储

场景从新功能中受益。应⽤程序特定的⼯作流程可被简化，从⽽加快开发 ⼈员的速度。可接受的特别编排最初常常需要⼤规模的⾃动化。这就是为什么Kubernetes也被设计为提供构建组件和⼯ 具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 旦超过优雅关闭时间，就会向这些进程发送KILL信号，然后从API Server中删除该Pod。如果在等待进程终⽌的过程中 Kubelet或Container Manager重启了，那么，在重启后仍会重试完整优雅关闭。 示例流程： 1. ⽤户发送删除Pod的命令，默认优雅关闭时间是30s 2. 随着时间的推移，API Server中的Pod状态会被更新，Pod会被标记为“dead”，并开始进⼊优雅关闭时间 3. 当在 81 Managing Compute Resources for Containers（管理容 器的计算资源） 译者按：本节中，笔者将request翻译成最⼩需求，limit翻译成最⼤限制。由于出现的次数太多，故⽽绝⼤多数地 ⽅直接不翻译了，⼤家可以当做术语来阅读。 指定 Pod 时，可选择指定每个容器需要多少CPU和内存（RAM）。当容器指定了最⼩资源需求时，Scheduler可对Pod

5 应用商店 6 应用交付 6 信创异构 7 云边协同 7 云原生底座 8 模块化搭建 8 容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 14 云原生网络 15 存储 17 参考文档 18 一个流量的生发始终， 帮助您洞察集群、节点、应用和服务的详细指标，并通 过动态仪表盘和拓扑大图可视化掌握应用健康状态。 DCE 5.0 原生支持 DevOps 开发运维模式，可以实现应用交付的全流程标准化 和自动化，并集成各类精选数据库和中间件，使运维治理更加高效。各个产品 模块独立解耦，支持灵活升级，对业务没有影响，并且能够与众多云原生生态 产品对接，提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实

务 • 将旧的加速计算应用程序容器化，并部署 在较新的系统或者云环境中。 • 将特定的 GPU 资源分配给容器，以获得 更好的隔离效果和性能。 • 轻松地跨不同的环境共享应用程序、协同 工作和测试应用程序。 主流DL框架 13 iCAN容器网络：实现高性能容器网络和大规模高效部署 14 Fuxi容器存储：实现有状态应用和分布式中间件容器化部署 15 全球首发云容器实例服务CCI 提供界面，分配镜像的访问权限 对接DevCloud、GitHub、GitLab，一键式完成从代码下载到 镜像构建的完整流程，并支持对接CCE完成镜像部署 高性能 支持大规模并发构建业务 自动化 代码更新时自动触发镜像构建 容器镜像服务SWR ：支持镜像自动化构建，实现源码到镜像的自动化流程 第三方代码库对接 多租户、多用户权限隔离 17 案例：高性能容器服务，助力图灵生物Pipeline灵活编排和复用，自定义基因测序SaaS 陕西图灵生物主要面向医院、研究机构等提供基因测 序，人体健康监测，大数据分析等生物健康产品及解决 方案。 挑战： • 全基因测序原始数据约100GB/人，数据分析性能要 求高 • 测序需求多样，测序流程难以灵活自定义 基于容器的生物信息分析平台 • 结合FPGA加速计算可进一 步压缩成本 基因测序（测序仪） 数据上传 源数据 存储 基因拼接/对比/注释 数据 分类 存储 核心数据 取回本地

据治理等能力， 云计算白皮书（2023 年） 16 充分挖掘数据价值等；三是技术架构现代化，从资源管理、运维保 障、研发测试、应用服务等方面构建通用的对上赋能的技术底座； 四是组织流程现代化，通过工作思维、管理方式、协作模式的革新， 从组织、人员层面适配现代化发展思路；五是用户体验现代化，重 视用户诉求，打通需求与供给之间的最后一公里，提升技术对应用 的直接价值。目前，华为云、道客等企业已初步形成应用现代化方 性能调优、内核调优和部署架构优化，将性能指标差异控制在有效 区间，从而释放极致算力。 流程层面，平台工程以产品化、自助式的开发者平台，满足多 场景下应用研发需求。平台工程是一种自助式内部开发者平台的技 云计算白皮书（2023 年） 18 术架构和运营管理模式，为云时代的软件工作组织提供应用交付和 管理服务。平台工程师提炼出一套可复用的组件服务和业务流程， 工程化运作成为平台产品，平台产品随着组织变化而演进，其各个 是 Finance 和 DevOps 的综合体，在云成本优化过 程中将 DevOps、财务和业务进行整合，组成一套跨越组织内多角色 的云成本优化全周期运营管理体系，助力企业提高优化意识、建设 流程规范、加强团队协作。FinOps 理念的逐步落地，使企业云成本 优化关注重点从单纯的减少资源浪费延伸至云成本分账、预测、计 费等多种场景。相应的，云成本优化技术也从基础的资源监控治理 能力扩大

云原生开发技能广度要求急剧提升 8 云原生开发工具依然缺失 主流云原生开发方式 02 现状 1 0 全手工流程 编码后，手动构建镜像、推送到镜像 仓库、修改工作负载镜像版本，调度 10 分钟/次 自动化 CI/CD 流程 编码后，推送到代码仓库，自动触发 CI/CD 流程，等待生效。 5 分钟/次 Minikube + Telepresence Minikube 拉起本地 K8s 10 秒/次 云上 K8s 集群提供计算资源解决弹 性的问题，Telepresence 本地编码。 10 秒/次 主流的云原生开发方式（开发环境） 云环境 + Telepresence 工作负载声明了 env、configmap、secret、volume 等，很难在本地复制 出完全一致的环境。 环境差异 即便是能够将远端的 env、configmap 挂载到本地，也难以屏蔽跨平台之间 挂载到本地，也难以屏蔽跨平台之间 的差异。 跨平台差异 全量代理的方式会使得网络拓扑产生变化，导致内网、公网访问无法达到预期。 网络限制 Telepresence 局限性 （官网推荐的开发方式） 本地环境和容器、工作负载声明有很大的 差异，导致业务源码很难在本地运行。 1 1 热加载原理 03 实现容器内应用/进程热加载 1 3 从 Dockerfile 说起 Dockerfile CMD 或 ENTRYPOINT

com/engine/admin/resource_constraints/ Kubernetes 架构 Kubernetes 基本概念 - Node 一个 Node 是一个 Kubernetes 众多集群中的一个工作节点，一 个 Node 可以是一台物理服务器或者虚拟机。一个 Node 的作 用是用来运行 pods 的环境，并且被 Master 组件所管理。一个 Node 包含如下组件： • Docker/rkt 包含一个或多个 Container • Pod 内的 Containers 可以 共享网络和存储 Kubernetes 基本概念 - Service • Service 是一组 Pod 协同工作。 • 有时也被称为微服务。 • 可以给 Service 添加标签 （label 来标识其业务属性。 • 通过 kube-proxy 可以得到固定 的 virtual IP 和端口。 数组运算并行化 – CUDA by Example 当我们有多个 core 的时候 深度学习对于并行化硬件的依赖 - GPU • Core 的多少往往决定真正并行化运算的数量 GPU 硬件使用流程 AI 模型 • AI 模型会决定最终使用资源的多少 • AI 模型的服务性能还与网络相关 • 并不是所有 AI 模型都适合通过 GPU 加速 Kubernetes 介绍 Kubernetes

網路政策 (Implement networking policies)  對容器設置資安規則 (Configure secure context for containers)  分隔敏感的工作負載 (Segregate sensitive workloads)  掃描容器映像 (Scan container images)  開啟稽核日誌 (Enable audit logging) 1. 控制平面元件 (Control Plane Components) 2. etcd 狀態資料庫 3. 控制平面設置 (Control Plane Configuration) 4. 工作節點 (Worker Node) 5. 政策 (Policies) ©2019 VMware, Inc. 10 Use Cases: Security Architecture Guidance 負載/網路隔離  打包流程  過版流程  稽核流程  監控 & 除錯 最困難的部分其實是..... 3P: People, Policy, Process ​人 (People) ​政策 (Policy) ​流程 (Process) ©2019 VMware, Inc. 19 導入新數位技術典範須組織架構與流程分工的配套才能順利前進 傳統的A

率、加強安全性、導入自動化及加速創新；因此Gartner預測將有75%的全球組 織，在2022年之前於正式作業執行容器化應用程式，而這樣的數據並不會讓人 感到驚訝。1 Kubernetes已經成為管理容器化工作負載和服務的頂尖開放原始碼平台，不過 Kubernetes生態系統既龐大又複雜，不但有許多不同版本的Kubernetes可供選 擇，此外也難以瞭解哪種版本最適合組織的特定需求。 本白皮書的目標是因 Kubernetes、OpenShift及Rancher均提供無需停機的自動化升級。 其中Canonical Kubernetes居於領先的部分，就是能夠讓企業對升級流程進行精細 控制。使用者可精確排序及交錯進行各項元件的更新作業，因此能夠完全升級叢集， 同時確保不會影響在叢集執行的工作負載。 2 5. 支援生命週期 有時候企業無法跟上最新的上游Kubernetes版本，未能完全保持最新狀態。為了 確保Kubernet 邊緣及物聯網環境所建構。同樣地， Rancher K3是最小足跡的發行版本，設計在資源受限的偏遠地點發揮出色作 用。 K3及MicroK8都可在邊緣大幅簡化部署、最佳化及維護Kubernetes的流程。 MicroK8與K3之間的主要差異之一，就是兩者針對Kubernetes API所做的決 定。MicroK8與上游K8 API完全相容，而K3則以較為固定不變的API子集提 供略小一些的二進位檔。