80.0% 100.0% 120.0% 100 300 500 CPU占用率对比 裸金属容器CPU 虚机容器CPU 8 8 8.1 8.77 8.77 8.8 7.6 7.8 8 8.2 8.4 8.6 8.8 9 100 300 500 内存占用率对比 裸金属容器进程内存 虚机容器进程内存 对比结论： 在同等压力下裸金属容器的响应时延减少1 倍，裸金属容器应用的吞吐量相对于虚机 倍，裸金属容器应用的吞吐量相对于虚机 容器吞吐量增长1倍，但是cpu资源的占用 却只多出60%左右，同时裸金属容器的进 程占用的内存减少10%。 11 国内首发Windows容器服务：帮助企业实现海量Windows应用轻松容器 化上云 根据第三方咨询公司统计，大约有80%以上的企业现有系统仍是通 过Windows Server部署运维在服务器上，统计显示Windows Server在x86伺服器中的市占率高达6成。 Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力，支持容器CPU/内存资源编排，无状态/ 有状态应用模型等能力； • 可纳管最新的Windows 1709系统，支持启动Windows Native容 器。 12 CCE支持GPU异构计算能力，帮助企业高效灵活应用深度学习服务 • 将旧的加速计算应用程序容器化，并部署

声称更加面向应用程序而不是工作负载为中心。 21. 自托管式大语言模型 评估 大语言模型（LLMs）通常需要大量的 GPU 基础设施才能运行，但目前有强烈的推动力使它们可以在更简单的 硬件上运行。对大语言模型进行量化可以减少内存需求，使高保真度模型可以在成本更低廉的硬件甚至是 CPU 上运行。像 llama.cpp 这样的工作使大语言模型可以在包括树莓派、笔记本电脑和通用服务器在内的硬件上运 行成为可能。 许多组织 群的控制面板。在没有显著大型集群的情况下，很难对自定义 Kubernetes 控制器和操作器进行压力测试。然而， 通过 KWOK，你可以在笔记本电脑上轻松设置一个拥有数千个节点的集群，而无需消耗大量 CPU 或内存资源。 这种模拟支持节点类型和 pod 的不同配置，以测试各种场景和边缘情况。如果你需要一个真正的 Kubernetes 集群来测试操作器和自定义资源定义（CRDs），我们推荐 kind 或 k3s; 它对我们的监控和可观察性策略以及整个监控领域的长期影响。 94. Polars 试验 Polars 是 Rust 实现的一个内存运行的 DataFrame 库。 与其他 DataFrame 库（如 Pandas）不同，Polars 是多 线程、支持惰性求值、并且并行操作安全的。 Polars 使用 Apache Arrow 格式作为内存模型，以高效实现分析 操作，并实现与其他工具的互用性。 如果您熟悉 Pandas，就可以快速上手

问题：容器只能管理CPU和内存，不能对网络和磁盘IO做 管理，导致在线应用受离线业务影响。 一次现网事故 一个用户需求 可靠 设计目标 ◼在某个cgroup网络繁忙时，能保证其设定配额不会被其他cgroup挤占 ◼在某个cgroup没有用满其配额时，其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时，优先级高的优先； 优先级相同 时， 配额大的占用多，配额小的占用少 配额大的占用多，配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记)： 在正常处理流程中，报文查找到目标socket结构之 后，根据socket的owner process来确定cgroup ◼报文决策： 令牌桶 + 共享令牌池 + 显式借令牌 通过将GPU设备及运行时的库转为volume挂载到容器中实现了容 器与驱动的解耦。但是一个GPU设备仅能挂载到一个容器中，不 支持容器间共享GPU设备 ConvGPU 仅支持内存资源的共享且仅处理单个GPU 容器使用GPU的问题： • 需要特定的硬件设备 • 不支持容器共享 • 仅支持内存资源虚拟化 • 仅支持单个GPU卡 采用Device Plugin： • GPU资源的发现 • 为任务分配相应的硬件 资源及配置容器运行时环境

舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群 #本node结点上的pod网段 #由上面的路由表可得知，各k8s服务器上的pod容器并不是在同一个二层广播域 里，虽然底层是vxlan隧道，所有的pod处于一个overlay网络里，但为了避免二 层的广播流量占用大量的网络带宽，所以k8s把pod网段进一步细分了，各服务 器占一个子网段，然后各pod子网之间是走路由转发的，路由下一跳为flannel.1 设备，它再进行vxlan封装。 ★veth-pair虚拟网络接口 LimitRange资源在每个命名空间中为每个容器/pod指定最小及最大计算资源/内 存使用量限制，任何违反LimitRange定义的资源使用最大用量的请求都将被直接 拒绝 LimitRange对pod和容器的资源限制为cpu和内存使用量 LimitRange对PVC的资源限制为存储空间的使用量 资源限额只对新创建的资源生效，对于已经存在的对象不产生任何限制 limitrange和resourcequota都是有命名空间之分的

迁移、同步、清洗、跨地域、灾备、多活等等。 DB Operator Day-2 Operations Operator 基础模型 第二部分 K8s 架构 Cache Informer 机制 Cache 如何获取到本地（内存中） Informer 启动后会通过 reflector 的 list & watch 机制获取某种资源的 全量 objects。list 可以简单理解为一个 HTTP GET 请求，watch 为一 会马上为其增加 informer 并完成初始化 Cache 注意事项 Cache 中的对象都保存在内存中，如果对象很多，内存占用会比较大， 所以一方面要根据单个对象大小以及总得对象规模来评估 controller 内 存消耗。 另一方面 informer 提供了同类型对象的共享机制，降低内存开销 近距离感受 list & watch 机制 Cache 本质及开发建议 相信 Cache

Amazon ECS 集群的日志会直接发送到S3， 并且通过 Amazon Athena 进行 即席查询 • 开源工具 • 比 Fluentd效率更高，测试显示 Fluentd 占用 4倍 CPU 和 6倍 的内存资源 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential

需要多租户隔离，对容器网络的管理独立于虚拟 机网络，对性能要求不高；快速集成，用于测试 Kubernetes网络方案 曾经遇到的坑和解决方案 覆盖网络造成的MTU Size 问题 Ø 问题 Ø Neutron网络做隧道封装时，占用了包头， 导致上层网络的最大允许MTU比默认要小， 造成虚拟机网络时通时不通 Ø 给Linux虚拟机造成问题 Ø 给Windows虚拟机造成问题 Ø 给虚拟机内的Docker造成问题 Ø 解决方案 Ø同步多活情况下容易出现死锁 Ø解决方案 Ø改成同步一主两备模式 Kubernetes的PVC绑定问题 Ø问题 ØPVC每次申请PV都会占用所有 PV容量 Ø解决方案 Ø对Kubernetes的PV起初理解偏 差，PVC的设计就是占用整个PV Ø要对每个用户PVC单独开辟PV Magnum创建baymodel失败 Ø 问题 ØBaymodel中所使用的镜像没有os- distro属性

环境数目越多，资源成本，维护成本越高 挑战 P-3 多环境优化实战 ‣ 为什么要多环境访问严格隔离 ‣ 如何借助多云保证有状态服务高可用 ‣ 如何做到激增流量时，全链路联动扩缩容 ‣ 如何通过共享减少资源占用 ‣ 如何识别流量，智能路由 • 资源隔离，逻辑隔离，物理隔离 逻辑隔离多环境共享一个K8S（线下） 问题1 多环境物理隔离（线下，线上） 问题2 推荐做法 • 资源严格隔离：独占K8S，根据引入流量区分线上，线下

工程师的大部分工作都是在 做数据预处理的部分，而可视 化 UI 则可以大大减少 AI 工程 师的工作量。 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布： • 模型服务的负载均衡 • 硬件资源的规划

；如果节点不健康且不接受Pod，则 为 False ，如果node controller与Node失联40秒以上，则为“ Unknown MemoryPressure 如果node的内存存在压⼒，则为 True ——即node内存容量低；否则为 False DiskPressure 如果磁盘存在压⼒，则为 True ——即磁盘容量低；否则为 False NetworkUnavailable 请注意，由于延迟时间⼩，通常少于1秒，在观察condition和产⽣污点的时间段内，启⽤此功能可能会稍微增加成功调 度但被kubelet拒绝的Pod的数量。 Capacity（容量） 描述Node上可⽤的资源：CPU、内存，以及可调度到该Node的最⼤Pod数。 Info（信息） 关于Node的⼀般信息，如内核版本、Kubernetes版本（kubelet和kube-proxy版本）、Docker版本（如果使⽤了Docker Controller创建的Pod会绕过Kubernetes调度程序，并且不遵循节点上的unschedulable属性。 因为，我们假设daemon进程属于机器，即使在准备重启时正被耗尽。 Node容量 Node的容量（CPU数量和内存⼤⼩）是Node对象的⼀部分。 通常来说，Node在创建Node对象时注册⾃身，并报告其 容量。如果您正在进⾏ manual node administration ，则需要在添加Node时设置Node容量。