Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最 佳实践 方剑 阿里云云原生应用平台 高级开发工程师 观看视频回放 • Spring Cloud Alibaba PMC member • Apache RocketMQ Committer • Alibaba Nacos Committer • 阿里云 MSE 云产品核心研发 方剑(洛夜)自我介绍 业务高可用、多可用区部署 • 同城/异地容灾，业务多活 • 微服务需要更安全、更可信 成本 稳定 效率 • 白天流量高峰期发布 • 云边端一体化开发部署联调 • 服务治理体系强依赖SDK升级 • K8s下应用IP的不确定、导致服务治理规则的失效 • 应用迁移上云成本很高 • 极致、灵活的弹性 微服务在云原生下的挑战 后端服务BaaS化 DB，MQ, Redis, 注册中心、配置中心、服务治理中心 Deployment1 1. version=normal 1. version=gray 治理中心 Agent Agent Agent Agent Deployment2 注册中心 标签是云原生环境下的一等公民 user-id=120 version=normal 微服务 网关 Agent 安全生产: 金丝雀发布 http入口应用A 应用B v1 应用C v1 基线环境 开发环境1

试，还包括有功能和性能测试，并且构建流水线必 须运行所有这些测试以及安全扫描，我们更提倡自动合并依赖项更新 PR。 简而言之，团队必须完全相信，流水 线运行成功后，软件就可以投入生产。在这种情况下，依赖项更新 PR，即使它们在间接依赖项中包含主要版本 更新，也应该自动合并。 6. 针对 FAIR 数据的数据产品思维 试验 数据产品思维重视将数据消费者视为客户，确保他们在数据价值链中的无缝体验。这包括易用的数据发现、理 检索增强生成（RAG） 是一种结合预训练参数和非参数记忆的文本生成技术。它使你能够通过你的领域内特有 的包含上下文的知识，来强化预训练模型中的现有知识。使用 RAG，你会先从非参数记忆中去检索相关文档集 （一般是通过在向量数据库中的相似性搜索），再使用 LLM 中的参数记忆生成与检索出的文档一致的输出。我们 发现 RAG 对各种需要大量知识的 NLP 任务十分有用，包括问答，总结和故事生成。 技术 输入，如 JSON 文档， 清晰而精确，为模型提供了所寻求响应类型的指示。以这种方式限制响应有助于缩小问题空间，并且可以产生 更准确的响应，特别是当结构符合领域特定语言（DSL）的语法或模式情况下。我们还发现，将结构化输入与 自然语言注释或标记结合使用，比仅使用自然语言或结构化输入产生更好的响应。通常，在构建提示时，自然 语言会与结构化内容简单地交织在一起。与许多大语言模型行为一样，我们不知道为什么这样做有效，但我们

嚴格保密十幾年的秘密武器——Borg 的開源 專案版本。Borg 是 Google 久負盛名的一個內部使用的大規模叢集管理系統，它基 於容器技術，目的是實現資源管理的自動化，以及跨多個資料中心的資源利用率最 大化。十幾年來，Google 一直透過 Borg 系統管理著數量龐大的叢集式應用系統。 由於 Google 員工都簽署了保密協議，即便離職也不能洩露 Borg 的內部設計，所 以外界一直無法瞭解它的相關資訊。直到 快速、方便地對容器叢集進 行配置、建置和管理。 除了以上核心元件，在 Kubernetes 系統中還有許多可供配置的資源物件，例如 LimitRange、ResourceQuota。另外，一些系統內部使用的物件 Binding、Event 等 請參考 Kubernetes 的 API 說明文件。 1.5 Kubernetes 整體架構 Kubernetes 叢 集 由 兩 種 節 點 命令列工具，它提供了 Kubernetes 的叢集管理工具集。圖 1.14 描述了 Kubernetes 的系統架構。 圖 1.14 Kubernetes 的系統架構圖 2-6 Kubernetes 核心原理 2 2.1.2 透過 API Server 訪問 Node、Pod 和 Service 圖 2.1 列出了存取叢集 API Server 及叢集內資源物件互動的情況。 圖例： 圖 2

前提：保持⽹络畅通 系统版本满⾜要求 对于macOS或者Windows 10，Docker已经原⽣⽀持了Kubernetes。你所要做的只是启⽤Kubernetes即可，如下图： Minikube ⼀些场景下，安装Minikube是个不错的选择。该⽅式适⽤于Windows 10、Linux、macOS 官⽅安装说明⽂档：https://github.com/kubernetes/minikube 如何在Windows proposa（API和版本发布 提案）l 描述了API版本控制和软件版本控制之间的关系。 不同的API版本意味着不同程度的稳定性和⽀持。API Changes documentation 详细描述了每个级别的标准。概括如 下： Alpha级别: 版本名称包含 alpha （例如 v1alpha1 ） 05-Kubernetes API 18 可能有⼀些bug，启⽤该功能可能会显示错误。 默认禁⽤ ⼀些功能可能随时会被废弃，恕不另⾏通知 代码经过了良好的测试。启⽤该功能被认为是安全的。 默认启⽤ 整体功能不会被删除，尽管细节可能会改变 对象的schema/语义可能会在后续的beta版/稳定版本中以不兼容的⽅式发⽣变化。发⽣这种情况时，我们将提 供迁移到下⼀个版本的说明。 这可能需要删除、编辑和重新创建API对象。编辑进程可能需要⼀些思考。依赖 该功能的应⽤程序可能需要停机。 推荐仅⽤于⾮关键业务⽤途，因为后续版本中可能会发⽣不兼容的更改。如果您有多个可独⽴升级的集群，则

Kubernetes生態系統既龐大又複雜，不但有許多不同版本的Kubernetes可供選 擇，此外也難以瞭解哪種版本最適合組織的特定需求。 本白皮書的目標是因應這項挑戰，提供撰寫本文時Kubernetes版圖的當下狀態， 並比較三種企業級的Kubernetes發行版本，分別是Canonical Kubernetes、 Red Hat OpenShift及SUSE Rancher，範圍涵蓋19項關鍵功能，並於報告最後 Canonical Kubernetes、Red Hat Openshift及SUSE Rancher都已獲得CNCF認證。 2. 生命週期作業 開始踏上Kubernetes的旅程時，如果沒有思考要如何長期維護叢集，很容易就會 在開發和部署期間遭遇困難。許多以Kubernetes為中心的解決方案，雖然處理了 Kubernetes生命週期的初期階段，也就是第0天和第1天，但真正的挑戰要到第2 天才開始。 就第2天作業而言，Canonical 高可用度有助於盡量減少停機時間，並達到最高的可靠度及生產力，因此是所 有主要 Kubernetes 解決方案的標準特性。Canonical Kubernetes、Rancher 及OpenShift均提供高可用度叢集。 4. 叢集升級 由於每季都有新的Kubernetes版本，企業務必要確保解決方案具有可靠的升級策 略，跟隨上游保持最新狀態，並且無需犧牲穩定性或中斷持續營運。就此而言， Canonical Kube

K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）： Node是集群的工作节点，运行具体的Pod，当某个Node宕机时，其工作负载会被Master自动转移到其他Node节点上。 默认情况下kubelet会向Master注册自己。一旦Node被纳入集群管理，kubelet进程就会定时向Master节点汇报自身的 情况，比如操作系统等信息，这样Master就可以获取每个Node节点的资源使 普通pod：一旦被创建，会被放到etcd中存储，随后被k8s master调度到某个具体的node上并进行绑定，随后该pod被 对应的node上的kubelet进程实例化成一组相关的docker容器并启动起来。默认情况下，当pod中的某个容器停止时， K8s会自动检测到这个问题并重新启动这个pod（重启pod里面的所有容器），如果pod所在的node宕机，则会将这个 node上的所有pod重新调度到其他节点上。 静 里有些容器因为某种原因而不能被顺利创建。比如，调度不成功。 2.Running。这个状态下，Pod 已经调度成功，跟一个具体的节点绑定。它包含的容器都已经创建成功，并且至少有一个正 在运行中。 3.Succeeded。这个状态意味着，Pod 里的所有容器都正常运行完毕，并且已经退出了。这种情况在运行一次性任务时最 为常见。 4.Failed。这个状态下，Pod 里至少有一个容器以不正常的状态（非 0 的返回码）退出。这个状态的出现，意味着你得想办

境、甚至是雲端，任何地方儲存或使用，CipherTrust Transparent Encryption for Kubernetes 都將實現強 大的資料安全政策。無需對應用程式、容器或基礎架構 進行任何變更的情況下，企業可以選擇部署並使用容器 以提高成本效益、控制或效能。 CipherTrust Transparent CipherTrust Transparent Encryption for Kubernetes 以 應用在容器端本地產生並儲存的資料，以及藉由網路檔 案系統搭載在容器內的資料。 • 可擴充的透明加密 - 無需對應用程式、容器或基礎 架構進行任何變更下，提供資料安全控制。允許對 Kubernetes叢集內的所有容器施行單一政策，或是對 叢集的每一個容器施行有所區別的不同政策。這項解決 方案可因應業務需求變化而擴充或縮小 Kubernetes 環 境。 • 細粒度存取控制與可視性 - CipherTrust 來保護您的有價資料。 關鍵時刻 關鍵技術 Pod 容器集 Pod 容器集 應用程式 使用者 PV Claim CipherTrust Manager 持久儲存 儲存區 PV Controller Storage Class 儲存類別 Kubernetes 節點 CTE for Kubernetes Kubernetes 叢集

础设施，并为大数据、物联网、人工智能等新兴领域的发展提供基 础支撑。加快推动云计算创新发展，顺应新一轮科技革命和产业变 革趋势，是推进中国式现代化进程的关键。 过去一年，全球和我国云计算产业保持快速发展，并呈现出以 下特点： 一是云计算战略价值在全球范围内持续提升。美国继“云优先” （Cloud First）、“云敏捷”(Cloud Smart)之后，又出台多个战略文件， 将云计算应用至相关领域，并明确提出通过云战略获取全球优势， 新，持续推 动云计算与实体经济融合走深。 二是全球云计算市场稳定增长，我国保持快速发展。2022 年， 全球云计算市场规模为 4,910 亿美元，增速 19%，预计在大模型、 算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 19%的增速，我国云计算市场 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次发布云计算白皮书。本白皮书聚焦过去一年多来云计算 产业的新发展新变化，总结梳理国内外云计算政策、市场、技术、 应用等方面的发展特点，并对未来发展进行展望。

秀的几十种开源技术，经过众多 辩证选型、攻坚克难、编码调试、海量测试，“十年磨一剑，一朝试锋芒，全新 搭建的新一代容器化平台能够满足企业上云的各类场景需求。 多云编排 支持多云和混合云的统一集中管理，提供跨云资源检索及跨云的应用部署、发布和运 维能力，实现多云应用高效管控，提供基于集群资源的应用弹性扩缩，实现全局负载 均衡，具备故障恢复能力，有效解决多云应用灾备问题，助力企业构建多云、混合云 集群，帮助企业快速搭建企业级的容器云平台。容器管理模块的主 要功能如下： 集群管理 ➢ 集群的统一纳管，支持特定版本范围内的任意 Kubernetes 集群纳入容器管理范围， 实现云上、云下、多云、混合云容器云平台的统一管理。 ➢ 集群的快速部署，基于 DaoCloud 自主开源项目 Kubean 支持通过 Web UI 界面快速 部署企业级的 Kubernetes 集群，快速搭建企业级容器云平台，适配物理机和虚拟机 底层环境。 ➢ 一键式集群升级，一键升级 Kubernetes 版本，统一管理系统组件升级。 ➢ 集群高可用，内置集群容灾、备份能力，保障业务系统在主机故障、机房中断、自然 灾害等情况下可恢复，提高生产环境的稳定性，降低业务中断风险。 ➢ 集群的全生命周期管理，实现自建云原生集群的全生命周期管理。 ➢ 开放式 API 能力，提供原生的 Kubernetes OpenAPI