顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace

7 众多大语言模型 大语言模型（LLMs）为现今人工智能的许多重要突破奠定了基础。目前的应用多使用类似聊天的界面进行交 互，例如 ChatGPT 或 Google Bard。生态中的主要竞争者（例如 OpenAI 的 ChatGPT，Google Bard，Meta 的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容 。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱动的自主代理开发远超简单的问 答交互的动态应用。我们也提到一些向量数据库 （包括 Pinecone）由于大语言模型而重新流行起来。大语言模型的底层能力，包括更专业化和自行托管的能力， 将继续呈爆发性增长。 远程交付解决方案日臻成熟 尽管远程软件开发团队多年来利用技术克服地理限制，但疫情的影响进一步推动了这一领域的创新，巩固了向 完全远程或混合工作演进的趋势。在本期技术雷达中，我们讨论了远程软件开发实践和工具的成熟，和团队们

传统工业应用：SCADA, MES, ERP, SAP, ORACLE • 互联网类应用：顺逛，海尔商 城，巨商会，海尔服务，好空 气，海尔洗衣机，海尔优家， 嗨付，够花 • 应用：统一架构模型，统一服 务总线 • 体系：用户体系，产品体系， 流程体系 • 管理：服务集成，统一管理 应用互联互通 应用形态复杂 • KPI: 峰值CPU利用率不低 于30% • 资源申请：按峰值30%进 Ingress控制器+Nginx • 支持子域名到服务路由 海尔工业互联网 - 微服务之配置管理 配置中心 应用-A 应用-B 应用-C 应用-D 配置中心优势 : • 配置简单 • 易用的用户界面 • 批量动态更新配置到应用 • 编程接口简单 • 镜像与配置分离 • 按项目管理配置 海尔工业互联网 - 微服务之服务集成 服务总线 APP-A APP-B APP-C 才云数据解决方案 Clever 提交多框架（TensorFlow、PyTorch 、MxNet等）的模型训练作业，支 持分布式和 GPU 加速，以及训练过 程的可视化。 模型训练 模型版本管理，模型推理服务的部署 、监控、管理和升级，提供 A/B test 和滚动升级。 模型服务 实现对 GPU 集群资源进行管理，根 据用户作业请求自动分配和回收 GPU 资源。 GPU 集群管理

用来将需要容器化的应用程序及其环境进行打包后存储的镜像。 • 通常会有一个 Image 管理仓库来存储 Image。 • 同一个 Image 会有版本记录。 • 只包含软件环境的配置 • 硬件配置需要运行时去指定 OCI (Open Container Initiative) • From Linux Foundation • 旨在为 Container 格式和运行时创建开放行业标准。 的时候 深度学习对于并行化硬件的依赖 - GPU • Core 的多少往往决定真正并行化运算的数量 GPU 硬件使用流程 AI 模型 • AI 模型会决定最终使用资源的多少 • AI 模型的服务性能还与网络相关 • 并不是所有 AI 模型都适合通过 GPU 加速 Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI Kubernetes 融合与架构解析 AI 云平台的价值 • 为 AI 工程师提供一体化的研发工作环境 • 为 AI 对于硬件资源需求提供弹性伸缩 • 为 AI 模型在生产环境中部署及运行提供保障 AI 模型实现工具及其框架举例 • 不同的框架和工具都有其优点长处。 AI 工程师工作流程 存储对接 • 存储通常都由云平台 通过SaaS服务提供 • 在 AI 平台中对于存

深度挖掘云计算产业价值。我国政策指引云计算应用创新，持续推 动云计算与实体经济融合走深。 二是全球云计算市场稳定增长，我国保持快速发展。2022 年， 全球云计算市场规模为 4,910 亿美元，增速 19%，预计在大模型、 算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 年同比下降 13.5%。虽然受通胀压力和 宏观经济下行的双重影响，2022 年云计算市场增速下降明显，但对 比全球整体经济仅 3.4%的增长，云计算仍然是新技术融合和业态发 展的重要手段。预计在大模型、算力等需求刺激下，市场仍将保持 稳定增长，到 2026 年全球云计算市场将突破万亿美元。 来源：Gartner，2023 年 4 月 图 1 全球云计算市场规模及增速（亿美元） 1《Gartner 84%以上，是全球所有地区中最高的。以印度为例，2022 年其云支 出增长了近 22%，与欧洲地区几乎持平。同时，印度有 91%的基础 云计算白皮书（2023 年） 6 设施决策者已至少使用一种云部署模型，有 46%的应用程序项目已 部署在云上，预计 2023 年这一比例将上涨到 58%。从供给侧来看， 目前，AWS、微软、谷歌等云服务商均有 1/3 以上的可用区部署在 亚太地区。以 AWS

小結 上述這些元件是 Kubernetes 系統的核心元件，它們共同構成 Kubernetes 系統的框 架和運算模型。透過對它們進行靈活組合，使用者就可快速、方便地對容器叢集進 行配置、建置和管理。 除了以上核心元件，在 Kubernetes 系統中還有許多可供配置的資源物件，例如 LimitRange、ResourceQuota。另外，一些系統內部使用的物件 Binding、Event 網路，通常有下列問題需要回答，如圖 2.17 所示。 有哪些開源的元件支援 Kubernetes 的網路模型？ 外部如何存取 Kubernetes 的叢集？ Kubernetes 的網路元件之間是如何通訊的？ Docker 自身的網路模型和限制？ Docker 背後的網路基礎是什麼？ Kubernetes 的網路模型是什麼？ 圖 2.17 Kubernetes 常見問題 在本節將分別回答這些問題， 在本節將分別回答這些問題，然後透過一個具體的試驗，將這些相關的知識串聯在 一起。 2.5.1 Kubernetes 網路模型 Kubernetes 網路模型設計的一個基礎原則是：每個 Pod 都擁有一個獨立的 IP 位址， 而且假設所有 Pod 都在一個可以直接連線的、扁平的網路空間中。所以不管它們是 否運行在同一個 Node（Host 主機）中，都要求它們可以直接透過對方的 IP 進行存 取。設計這個原則的

Confidential © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 安装及配置 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Amazon mi © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 配置 worker nodes AWS CloudFormation eksctl Partners …更多 Terraform Pulumi Rancher © 2019, Amazon Web 责任共担模型 Security in the Cloud Security of the Cloud © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 责任共担模型（续） 用户 IAM 用户数据 平台及应用管理 操作系统, 网络以及网络配置 客户端数据加密

12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟 的基础架构。 Kubernetes满⾜了在⽣产中运⾏的应⽤程序的⼀些常⻅需求，例如： Co-locating helper processes ，促进组合应⽤程序和保留”⼀个应⽤程序的每个容器“模型 Mounting storage systems Distributing secrets Checking application health Replicating application

Alluxio 助力 Kubernetes， 加速云端深度学习 范斌 Alluxio 创始成员 车漾 阿里云高级技术专家 目录 • 我们是谁 • 问题背景 • Alluxio 助力云原生 AI 模型训练 • 相关资料 • Alluxio 是谁 • Allluxio 与 Kubernetes 结合 • Alluxio 优化实践 我们是谁？ 车漾 阿里云高级技术专家 范斌 Alluxio RestNet50 模型训练速度（images/second） 分布式训练/GPU硬件升级加速明显 模拟数据训练时间 108 15.12 4.62 3.39 1 0 20 40 60 80 100 120 P100 (1GPU) P100 (8GPU) P100 (32GPU) V100 (8GPU) V100 (32GPU) RestNet50 模型训练时间(hours) 单机缓存无法满足海量数据加速 9993.6 3189.6 0 2000 4000 6000 8000 10000 12000 Synthetic ESSD云盘 PL2 RestNet50 模型训练速度 （images/second） 云盘 Alluxio - 分布式缓存的领导者 开源项目由李浩源博士(Alluxio公司CEO)在加州大学Berkeley分校 AMPLab就读期间创立