监控预警的阀值设置 • 收集监控日志 存储管理 • 对于所有 Kubernetes Volume 按照业务类型提供统一的管理 • 用户在进行Volume操作的时候 根据业务进行中间层处理，包括 但不限于访问权限，大小申请， 读写操作等 • 根据用户不同的角色进行集群不同的环境选择 • 在业务层面让用户感知为统一的环境 多集群管理 云提供服务形式 • 企业级架构 通过卷基层和池化层的网络结构进行不断的对图像的特征提取 数组运算并行化 – CUDA by Example 将数组 a 和数组 b 相加并将计算结果放入数组 c 中。 数组运算并行化 – CUDA by Example 当我们有多个 core 的时候 深度学习对于并行化硬件的依赖 - GPU • Core 的多少往往决定真正并行化运算的数量 GPU 硬件使用流程 AI 模型 不同的框架和工具都有其优点长处。 AI 工程师工作流程 存储对接 • 存储通常都由云平台 通过SaaS服务提供 • 在 AI 平台中对于存 储进行统一的管理和 操作 数据预处理 AI 工程师的大部分工作都是在 做数据预处理的部分，而可视 化 UI 则可以大大减少 AI 工程 师的工作量。 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用

SLSA。对于大多数 团队来说，致命弱点仍然是依赖项中存在漏洞，通常是来自于多层的间接依赖项。Dependabot 等工具可以通 过创建拉取请求（PR）来更新依赖项。不过，团队仍然需要制定工程纪律，以确保及时处理这些 PR，尤其是 对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试，还包括有功能和性能测试，并且构建流水线必 须运行所有这些测试以及安全扫描，我们更提倡自动合并依赖项更新 IaC 方式管理云原生资源的主要工具。然而，当下大多数托管环境都是云供应商 原生服务、第三方服务和自定义代码的复杂组合。在这些环境中，我们发现工程师通常会使用 Terraform 处理 云资源，又使用自定义脚本处理其他资源。这可能导致资源创建过程缺乏一致性和可重复性。事实上，在托管环 境中常用的许多第三方服务 Terraform 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform 代码始终是唯 一的真实生效的版本。 9. ReAct 提示工程 试验 ReAct 提示工程是一种用于提示大语言模型的方法，相较于思维链（CoT）等竞争方法，ReAct

◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记)： 在正常处理流程中，报文查找到目标socket结构之 后，根据socket的owner process来确定cgroup ◼报文决策： 令牌桶 + 共享令牌池 + 显式借令牌 ◼限速方式： ECN标记 + TCP滑窗 • 通常采用灰度升级的方式：即选择某一个或N个实例先升级到 新版本，在充分稳定验证后，再考虑升级其他实例，而该灰 度的过程可以分为任意批次。有时为了验证多个版本，一个 应用内也可以同时又多个版本并行存在。充分保证现网的服 务质量以及版本的可控性。 能力升级：灰度升级 如左图所示，对某一个实例从v7升级到v8版本。 • 2018-02-06 11:46:38 V7版本开时候运行 • 2018-02-09 Docker 通过将GPU设备及运行时的库转为volume挂载到容器中实现了容 器与驱动的解耦。但是一个GPU设备仅能挂载到一个容器中，不 支持容器间共享GPU设备 ConvGPU 仅支持内存资源的共享且仅处理单个GPU 容器使用GPU的问题： • 需要特定的硬件设备 • 不支持容器共享 • 仅支持内存资源虚拟化 • 仅支持单个GPU卡 采用Device Plugin： • GPU资源的发现 • 为任务分配相应的硬件

载 体细粒度化等诉求下，底层硬件在云计算的驱动下也因云而变。2022 年 6 月，阿里云发布 CIPU（Cloud infrastructure Processing Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 大数据、人工智能等场景中展现更好的性能。2022 年 12 月，AWS 云计算白皮书（2023 年） 7 发布第五代虚拟化芯片 Amazon 正逐步成为中小企 业数字化转型的突破口。 三、云计算正向数字世界操作系统转变 数字世界通过数字记录、描绘并模拟现实世界，是现实世界的 数字映射。数字技术实现了对现实世界的数据采集、存储，并能提 供分析处理数据所需的算力。云计算作为链接数字世界计算资源与 数字应用的纽带，能够有效整合海量、泛在的算力资源，加速数字 应用的感知、判断和执行。 （一）数字应用方式与算力资源供给的变革，推动云计 算作用转变 CPU 集群的标 准化封装，保障训练任务可以直接下发到大规模计算集群。同时在 数据处理方面，模型训练涉及 PB 级的存储数据集、中间结果和训练 好的模型参数等，且数据类型各异，也需要云计算平台提供的存储 方案，实现复杂数据的统一调度和处理。计算芯片多样化、异构数 据复杂化也加速云计算向能够一体化调度、处理计算、网络、存储 资源的操作系统方向演进。 向上来看，数字应用呈现出分布式、多模态、超大量级的特点。

多云多K8S多环境平台建设的初衷 多环境平台建设的初衷 01 02 03 多云多K8S多环境平台 K8S集群(多个) 管理后台 发布平台 提升资源使用率 1 多云冗余高可用 2 环境并行互不影响 3 P-2 线下多环境一期方案 ‣ 一键拉起master镜像新环境 ‣ 如何确保环境间资源互不影响 ‣ 一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境 注意点 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行 • 一期方案的问题与挑战 1 2 3 多环境资源“假”隔离 Namespace隔离，共享资源 数据依赖成本高 所有存储都是独立搭建的 集群规模大，运维工作量大 环境数目越多，资源成本，维护成本越高

Predix 海尔工业互联网 - COSMOPlat 海尔工业互联网 - COSMOPlat 海尔集团业务转型 - 机遇与挑战 • 传统工业应用：SCADA, MES, ERP, SAP, ORACLE • 互联网类应用：顺逛，海尔商 城，巨商会，海尔服务，好空 气，海尔洗衣机，海尔优家， 嗨付，够花 • 应用：统一架构模型，统一服 务总线 • 体系：用户体系，产品体系， 流程体系 实现对 GPU 集群资源进行管理，根 据用户作业请求自动分配和回收 GPU 资源。 GPU 集群管理 对接存储系统，管理数据集；提供 notebook 交互式代码开发和调试工 具；管理数据预处理批作业。 模型开发 海尔工业互联网 – 才云数据解决方案 海尔工业互联网 – 才云数据解决方案 海尔工业互联网 – 才云数据解决方案 海尔工业互联网 – 才云数据解决方案 边缘计算场景

Kubernetes Docker Applications 20 2017 Lenovo Internal. All rights reserved. 监控与日志 • 日志平台：多种采集手段并行 OS Kubernetes Docker Applications K8S DaemonSet logspout K8S DaemonSet stdout stderr K8S Pod

applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 在此。请为你Kubernetes集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controller，它们是处理集群中常规任务的后台线程。逻辑上来讲，每个Controller都是⼀ 个单独的进程，但为了降低复杂性，它们都被编译成独⽴的⼆进制⽂件并运⾏在⼀个进程中。 这些控制器包括： Node Controller：当节点挂掉时，负责响应。 化数据来污染Label。 ⾮识别信息应使 ⽤ annotation 记录。 动机 Label使⽤户能够以松耦合的⽅式，将⾃⼰的组织结构映射到系统对象上，客户端⽆需存储这些映射。 服务部署和批处理流⽔线通常是多维实体（例如：多个分区或部署、多个发布轨道、多个层、每层有多个微服务）。管 理往往需要跨部⻔才能进⾏，这打破了严格层级表现的封装，特别是由基础设施⽽⾮⽤户确定的刚性层次结构。 示例Label：

⽣命周期：为容器的⽣命周期配置容器启动执⾏、启动后处理和停⽌前处理。具体参⻅ https://kubernetes.io/docs/tasks/configure-pod-container/attach-handler-lifecycle- event/。 启动执⾏：为容器设置预启动命令和参数。 启动后处理：为容器设置启动后的命令。 停⽌前处理：为容器设置预结束命令。 数据卷：⽀持配置本地存储和云存储。 ⽣命周期：为容器的⽣命周期配置容器启动执⾏、启动后处理和停⽌前处理。具体参⻅ https://kubernetes.io/docs/tasks/configure-pod-container/attach-handler-lifecycle- event/。 启动执⾏：为容器设置预启动命令和参数。 启动后处理：为容器设置启动后的命令。 停⽌前处理：为容器设置预结束命令。 数据卷：⽀持配置本地存储和云存储。 ⼀个集群内部的 IP 地址，只能在集群内部被访问。 NodePort 在每台 Node 的固定端⼝上暴露服务，选择 NodePort 的服务类型，集群会⾃动创建⼀个 ClusterIp 类型 的服务，负责处理Node接收到的外部流量。集群外部的 Client 可以通过:的⽅式访问该服务。 创建服务 1.在容器集群菜单下，单击左侧导航栏中的服务与路由 > 服务，进⼊服务列表⻚⾯。 2.选择所需的集群和命名空间，单击⻚⾯右上⻆的创建服务。

自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化 册和发现等机制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-schedule 址。 22 www.h3c.com Confidential 秘密 22 22 K8s基本概念和术语介绍（Job） Job（任务）： Job是K8s用来控制批处理型任务的API对象。批处理业务与长期伺服业务的主要区别是批处理业务的运行有头有尾， 而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完 成的标志根据不同的spec.com