上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的 产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于监控和管理——特别是当容器进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署 ：通过快速轻松的回滚（由于镜像的不可变性）提供可靠且频繁的容器镜像构建和部署。 oogle Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。

Copilot、Tabnine 和 Codeium。我们兴奋于 open-source LLMs for coding 在工具领域可能带来的变革，并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 7 众多大语言模型 大语言模型（LLMs）为现今人工智能的许多重要突破奠定了基础。目前的应用多使用类似聊天的界面进行交 互，例如 ChatGPT 或 Google Bard。生态中的主要竞争者（例如 OpenAI 的 ChatGPT，Google Bard，Meta 的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容 。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱动的自主代理开发远超简单的问

路由的网络接口），但我们测试环境的服务器没有配置网关，所以它找不到默 认路由，导致flannel启动失败 解决方法是给服务加个网关（默认路由）或者在kube-flannel.yml里指定vxlan绑 定的网卡设备（不建议直接绑定网络接口名，因为不同的服务器接口名称可能 不一样，可匹配ip网段所在的网络接口） # kubectl delete -f kube-flannel.yml #先删除旧的部署 执行编排动作，将实际状态调整为期望状态 } } ★Deployment控制器 deployment构建于ReplicaSet控制器之上，可为pod和replicaset资源提供声明式 更新。 # vi nginx-deployment.yml #内容如下 apiVersion: apps/v1 kind: Deployment metadata: name: vc与pv是一一对应关系，每 个PV只可给一个pvc使用 pv和pvc的存储空间只是申请的大小，不是后端存储实际大小，后端存储实际大 小可小于pv的大小 pv要大于等于pvc的大小，pvc申请到pv绑定到pv后，大小也变为pv的大小了 PV是集群级别的资源，不属于任何名称空间；用户需要通过PVC向PV提出使用 申请，最终的容器是与pvc关联的 pvc有命名空间之分，pv不分命名空间 ★创建存储类SC

运行时规范（runtime-spec • Image 规范（image-spec Container 管理工具 (User Space) 如何通过 Docker 启动 Container 并与硬件绑定 官方文档参考： https://docs.docker.com/engine/admin/resource_constraints/ Kubernetes 架构 Kubernetes 的时候 深度学习对于并行化硬件的依赖 - GPU • Core 的多少往往决定真正并行化运算的数量 GPU 硬件使用流程 AI 模型 • AI 模型会决定最终使用资源的多少 • AI 模型的服务性能还与网络相关 • 并不是所有 AI 模型都适合通过 GPU 加速 Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI Kubernetes 融合与架构解析 AI 云平台的价值 • 为 AI 工程师提供一体化的研发工作环境 • 为 AI 对于硬件资源需求提供弹性伸缩 • 为 AI 模型在生产环境中部署及运行提供保障 AI 模型实现工具及其框架举例 • 不同的框架和工具都有其优点长处。 AI 工程师工作流程 存储对接 • 存储通常都由云平台 通过SaaS服务提供 • 在 AI 平台中对于存

集群管理操作，包括集群创建、删除和控制台访问集群 需通过⾸云集群管理⻚⾯进⾏上述操作 创建集群 进⼊集群⻚⾯ -> 右上⻆点击创建集群 设置集群名称 -> 选择虚拟数据中⼼ -> 选择集群私⽹ip⽹段 -> 选择计费⽅式-> 设置master节点 - > 设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 确认 2.使⽤须知 集群管理 1.简介 间戳 ； 如果为 false ，则直接删除该pv所使⽤的数据 17 删除存储类 查看存储类 在存储类列表中，点击详情，可以查看存储类相应信息 可以在基本信息和yaml⽂件中切换不同的显示⽅式 18 查看存储卷列表 点击存储->存储卷，然后从集群选择下拉列表中，可以查看所选的集群中所有的存储卷（PV） 创建存储卷 19 点击集群->存储卷->新建存储存储卷，可以在弹出的对话框中新建⼀个使⽤NAS盘的存储卷 读写，ReadWriteOnce：仅单个节点读写 标签：可以添加⾃定义的标签 查看存储卷详情 点击单个存储卷的详情，即可查看该存储卷的详细信息 可以在基本信息和yaml⽂件中切换不同的显示⽅式 20 删除存储卷 21 ⾸云⽀持创建⽆状态（Deployment）和有状态（StatefulSet）应⽤，并提供相应的容器组管理。 创建⼀个 Kubernetes 集群。详情请参⻅集群管理->创建集群。

K8s基本概念和术语介绍（Pod） Pod： pod分两种：普通pod和静态pod（static pod） 普通pod：一旦被创建，会被放到etcd中存储，随后被k8s master调度到某个具体的node上并进行绑定，随后该pod被 对应的node上的kubelet进程实例化成一组相关的docker容器并启动起来。默认情况下，当pod中的某个容器停止时， K8s会自动检测到这个问题并重新启动这个pod（重启po Kubernetes，API 对象已 经被创建并保存在 Etcd 当中。但是，这个 Pod 里有些容器因为某种原因而不能被顺利创建。比如，调度不成功。 2.Running。这个状态下，Pod 已经调度成功，跟一个具体的节点绑定。它包含的容器都已经创建成功，并且至少有一个正 在运行中。 3.Succeeded。这个状态意味着，Pod 里的所有容器都正常运行完毕，并且已经退出了。这种情况在运行一次性任务时最 为常见。 4 、pod、svc、rc等，一个对象 资源可以定义任意数量的Lable，同时一个lable也可以被添加到任意数量的资源对象上去，Lable可以在资源对象定义时 确定，也可以在对象创建后动态添加和删除。 我们可以使用指定的资源对象绑定一个或者多个不同的lable来实现多维度的资源分组管理功能，以便于灵活、方便的 对资源进行分配、调度、配置、部署等工作。 Lable就是给资源对象打一个标签，然后通过Label Secletor（标

数据库 安全服务 网络 存储 Pod Deployment Service Node Custom Resource 一组容器 一组 Pod 副本 Pod 的访问入口 节点 自定义对象 声明式 API 对象 基础设施层能力 业务运维 平台工程师 业务研发 扩容策略 发布策略 分批策略 访问控制 流量配置 应用管理平台 （Openshift、Cloudfoundry、阿里内部、腾讯内部 目标一：一个面向用户，应用为中心 CI/CD 流水线 应用 扩容策略 发布策略 分批策略 访问控制 流量配置 Pod Deployment Service Node Custom Resource 业务运维 业务研发 按需绑定 关键词：用户友好，应用层语义和抽象 平台工程师 Controller 目标二：一个高可扩展的应用管理平台 关键词：可插拔，可扩展，模块化，没有抽象程度锁定 应用 Deployment com/v1 kind: APIGateway spec: hostname: app.alibaba.com path: / service_port: 8001 ž 运维特征（Trait） ž 声明式的运维能力的描述 应用组件 运维能力 扩容策略 发布策略 分批策略 访问控制 流量配置 Deployment Function apiVersion: core.oam.dev/v1alpha2

基础网络IP可达就可用，适用性高，有一定网络延迟 方案二：Calico网络方案 基于BGP做动态路由发现的网络模型，需要基础网络支持BGP，架构复杂 方案三：Macvlan网络方案 Macvlan是Linux操作系统内核提供的网络虚拟化方案之一 它可以为一张物理网卡设置多个mac地址 Macvlan Wins！ •几乎是业界最快网络模型 •网络延迟几乎与物理机一致 •简单的设计，易掌控 集群方案 一个超大集群还是多个中小集群？ BinPacking Problem K8S的调度原理 K8S的调度原理 调度器调度⼀个 Pod 的过程分为两个阶段：调度周期 和 绑定周期 调度周期 • 选择符合条件的Node （硬性选择） • 给Node打分 （软性选择） 绑定周期 • 向binding接⼝发送Post请求，把结果告诉k8s
 基于CPU实时使⽤率的调度器 借助Scheduling