KUBERNETES 的 容器器 + AI 平台 如何助⼒力力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） - com/caicloud/cyclone Cyclone 技术架构 云原⽣生 CI/CD 引擎 设计 - 云原⽣生，k8s 亲和性 性能 - 为企业场景优化 扩展性 - ⽀支持 AI ⼯工作流 运⾏行行 AI 应⽤用 KUBEFLOW 的应⽤用 • Kubeflow 社区的联合创始⼈人 • kubeflow/tf-operator • 定义 TFJob Spec (CRD) ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI ⼯工作流 • 探索开发 • 线上运⾏行行 关注并回复 kubecon18 P7 展台

Kubernetes 与 AI 相结合架构、 落地解析（从 0 到 1 赵慧智 技术总监 （才云科技 Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 • 是一套集自动部署，弹性扩容，并且基于容器的集群管理工 具。 • 快速部署应用程序 上的软件架构：Kubernetes 与 container 通信，Node 的分类 Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 Kubernetes 基本概念 - Pod • Pod 是 Kubernetes 中最小 的资源 • 一个 Pod 包含一个或多个 Controller • Volume • Kubectl Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI 技术介绍 AI 云平台介绍及构成 AI 与 Kubernetes 融合与架构解析 Kubernetes 企业级架构 ���! OpenStack! �����! PAAS OpenAPI! ����

Automated testing • Repeatable/consistent • CI/CD • This has worked well for App Dev. Now time for AI/ML • But, must ensure data scientist are not hindered by structure Why Containers, Kubernetes & Helm exported models with TF Serving or Seldon • Additional components for storage, workflow, etc. Artificial Intelligence solves critical life problems Demo: Find ��� Image classification with Inception v3

Edge with K3s and SUSE RGS based on existing intelligence gathered in advance. Logistically, this requires high lev- els of coordination, or intelligence can be compromised and quickly become out- dated

Data Science Team Arief Hermansyah – Go-Jek Data Science Team Shani Pribadi – Go-Jek Business Intelligence Team Sourabh Gupta – Go-Jek International Expansion Team Giovanni Sakti – Go-Jek System Team

Management Container Orchestration Data Processing Pipelines Data Flow Graphs for Machine Intelligence Kubernetes Contributors opensource.google.com A strong community with corporate and independent

��AI�����K8S��! ���! ��������! AI�������! AI�����! ����K8S! ��K8S�AI��! ������! ������! AI����! AI����! AI�������! AI�����! ����K8S! ��K8S�AI��! ������! ������! AI�����-��! • ��������������� ��������������! AI�����-GPU! • �����! • GPU����������������! AI�����-��! • �����! • IOPS�������������������10T+�! • NFS������! • ����������! • ����������������! AI�����! ����K8S! AI�������! ��K8S�AI��! JOB��! • ����Job�����������������! �������! • ����Prometheus����! • ����ES����! ��K8S�AI��! AI�����! AI�������! ����K8S! ������! ������! �����! ������! Ceph�����! • �������10T+! • �����������

k8s-service k8s-app-name app-name ai-test ai-dc-server ai-dc-server ai-dc-servedr ai-preview ai-dc-web ai-dc-web ai-dc-web ai-prod ai-dc-api ai-dc-api ai-dc-api 业务线名称 ai dt ad 现有环境名 test preview k8s-app-name 容器host应用名称，deployment 名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用docker容 仓库域名+路径 空间名 应用名称 日期-时间戳 git版本库 镜像完整地址 registry.hz.local/huize ai-test ai-dc-web 20190510-1033 v20 registry.hz.local/huize/ai-test_ai-dc-web:20190510-1033_v20 k8s镜像构建过程 domain/path namespaces app-name

Rights Reserved. 6 AI 辅助软件开发 毫无意外，本期技术雷达主要围绕 AI 相关话题展开讨论。这是有史以来第一次，我们需要一个可视化指南来 理清不同 AI 的类别和功能（即使在 JavaScript 生态系统十分混乱的时期，我们也从未采取过这样的做法）。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司，我们对于使用 AI 辅助软件开发特别感兴趣。因此， 本期技术雷达讨论了许多代码辅助工具，如 用于服务端渲染（SSR）web 应用的 web 组件 采纳 24. Colima 试验 25. CloudEvents 26. DataOps.live 27. Google Cloud Vertex AI 28. Immuta 29. Lokalise 30. Orca 31. Trino 32. Wiz 评估 33. ActivityPub 34. Azure Container Apps 35 个作为自主代理的客户服务聊天机器人。如 果机器人无法达成客户的目标，它会认识到自己的限制并将客户引导到人工处理。这种方法显然仍处于早期发 展阶段：自主代理通常存在高失败率和高昂的 AI 服务费用，至少有一家 AI 初创公司已经从代理为基础的方法转 向其他方向。 20. 平台编排 评估 随着平台工程的广泛采纳，我们看到了新一代的工具，它们超越了传统的平台即服务（PaaS）模型，为开发人

竞争的下一个主战场。 来源：Gartner，2023 年 4 月 图 2 2022 年全球各区域云计算市场规模占比 从厂商层面来看，云计算巨头借助云+AI 等技术优势不断扩大 领先地位。AWS、微软凭借投入时间早、地区布局广、云+AI 等技 术优势，长期稳居全球云计算市场第一梯队。两家巨头厂商在体量 很大的情况下，仍保持快速增长。财报数据显示，2022 年 AWS 和 微软营收分别达到 全新的大数据、区块链、人工智能服务。2022 年谷歌提出开放、可 扩展的“数据云”愿景，构建信息统一化的“数据云”平台。百度 智能云践行“云智一体”发展路线，充分结合 AI 能力与自身云基础 设施能力，发布全栈自研的 AI 大底座。 安全防护方面，云原生安全成为厂商抢占市场的新赛道。近年 来，云原生采纳率大幅攀升，据 Gartner 预测，到 2025 年超过 95% 的应用将会采用云 架构层面，一云多芯既可以贴合多元算力新需求，又能够支撑 业务场景多形态。一云多芯作为云计算的全新技术架构，通常指用 一套云操作系统来管理不同类型芯片、架构、接口、技术栈等硬件 服务器集群。在如今算力需求爆炸的 AI 时代，一云多芯为各行各业 践行数字化转型提供了有力支持。一方面，它可以提供统一管理、 云计算白皮书（2023 年） 17 灵活便捷的算力资源，一定程度上解决了不同类型芯片的共存问题； 另