金融级云原生 PaaS 探索与实践 王成昌（晙曦）蚂蚁金服技术专家2/20 一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量  应用|数据库|机房 • 容灾  机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 生命周期 • 运维效率  大规模下基础设施稳定性 • 业务 Mesh 化  精细化流量控制  基础组件升级 • 业务可复制  业务敏捷  SaaS 面向站点级别输出7/20 PaaS 能力 • 面向多租户多环境； • 基础资源管控； • 应用发布运维体系； • 业务实时监控，日志收集； • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 IaaS层（Aliyun/OpenStack/VMWare/Bare Metal） PaaS 核心层 核 心 流 程 两地三中心架构 跨机房和地域统一应用运维 容器运行时 （Docker/Pouch/安全容器） CNI Plugins (VLAN/VXLAN/VPC Router/ENI)

Apache APISIX 在安信 PaaS 平台的应用 卢勇辉 安信证券网关产品负责人 01 网关选型 02 APISIX 在安信 PaaS 平台的应用 03 一些思考 04 下一步 CONTENT 网关选型 需求、场景与匹配度 01 安信技术平台演进 O U R B E G I N N I N G S 技术平台室成立 服务化平台建设（脚手架、 链路、监控、配置中心） Devops推广，覆盖全部自研 系统 O U R B E G I N N I N G S 启动应用上云战略 服务网格建设 中间件PaaS规划 DBaaS规划 安信PaaS平台规划 API网关规划 2 0 2 1 2 0 2 2 安信PaaS平台建设 中间件PaaS建设 DBaaS建设 API网关建设 信创容器云建设 ~ CICD工具链 Docker gRPC框架 为什么选择Apache e t h i n g a b o u t APISIX 在安信 PaaS 平台的应用 既是使用者，也是管理者 02 front cas casbin eaas appcenter upms IAM skywalking prometheus kafka-logger ... APISIX在安信PaaS平台的应用 1、路由转发 2、认证 3、鉴权 4、链路 5、监控

自动化的方式向上提供业务价值，并直面交付成本问题 企业管理层 业务架构师或者PM 产品|数据|应用|技术架构师 架构咨询团队 企业自己决定 云原生平台+架构咨询团队 数据平台 DevOps 微服务 PAAS 容器云 客户群体与规模 电信 制造 金融 服务业 政府 互联网 350.2亿 云原生采用规模占比与市场总规模 58% 11% 10% 8% 5% 发管理成本。 运行态 任何微小的变化都可能引发故障，如何避免？ 任何变更都需要提交到git中，并经过版本管理后 重新持续集成，变更有痕迹可查，随时可以找到对 应版本的变更进行回滚。 微服务PAAS-应用架构治理-总论 Applications Data Runtime Middleware OS Virtualization Servers Storage NetWorking NetWorking PaaS BpmPaas iPaas MFT Paas Baas Container Service RDS Service Cache|MQ Service Big Data Service aPaas 专业PaaS(2B) 技术Paas(2D) IaaS+ • Paas可以看做是从应用角度管理资源的平台 • Paas可以看做是应用运行态稳定性保障的平台 • Paas可以看做是连接各种服务的啮合中心

API而已，并不想了解API背后的运维细节或者需要协调运维能力！API成了一 种可以交易的商品，可以购买增强自己APP的能力，比如在自己APP里显示天气预报数据，从外部去管理应用平台，形成了一种新PaaS组织方式。 • 逻辑API：已有API的组 合，形成一个新API • 声明API：需要生成代 码框架（任何语言）， 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API Management • 把自己关在小黑 屋里面，自己就 可以自助的从API 使用角度定义、 驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品，可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 远端运维是主要的课题，那么就需要从宏观告知 研发人员，并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题，这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力，因为它的主动性，正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 Metric

CI/CD 流水线 K8s PaaS K8s 但是，K8s PaaS 正面临着“能力困境” 研发与运维人员日益增长的应用管理诉求 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 而且，PaaS 还面临着严重分化 PaaS A Kubernetes PaaS B PaaS C 研发效率 学习成本 同一个公司内数个 PaaS on Kubernetes 个内部 PaaS/Serverless • 烟囱化：互相之间完全独立， 没有可互操作性 • 用户不友好：大量基础设施层 语义泄露 • 封闭：不能利用 K8s 生态能力 Gateway Route Traffic Rollout Job Infra Ops Developers Operators Deployme nt Route Service Job PaaS A PaaS PaaS B Serverless C 案例：过去的阿里巴巴应用管理平台 Traits/Scopes Scale: - 10,000 nodes/cluster - 100,000 apps/cluster - 1,000,000 containers/cluster Applications: - 100,000 deploys/day - 500~1000 replicas/app

我的工作内容？ • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的？ PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台： 电商 PaaS Kubernetes 用户 ( 应用开发者和运维人员 ) 我所在的团队 metadata is organized around the concept of an application. Kubernetes is not a platform as a service (PaaS) and doesn‘t have or enforce a formal notion of an application. Instead, applications are informal Node Sidecar CNI CSI 为了更好的用户体验： 用户 期望： K8s 提供： 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 构建一个具备“以应用为中心的 API 抽象”、“用户友好”

系。 高级能力-业务双引擎循环驱动-业务数据化、数据业务化 互联网业务、万物互联业务等等造就了海量数据，而海量数据应该也必须能够提炼出价值为业务反向赋能，形成正向业务价值循环 云原生平台(PaaS+Caas+IaaS) 业务系统连接一组人，或者说企业业务实际能力提供者，通过双中台可 以将最上层业务产品诉求直接下沉到能力端，比如我们需要快速搭建一 个电商下单APP，只需要利用中台提供的能力要素，并在APP端组织业务 应商锁定， 可以提供超过5个9的响应率（99．999％），以避免每次停机导致平均数百万美元的损失。企业管理者终于意识到，云计算供 应商锁定会阻碍多云方法所带来的创造力、可用性和流动性。 • 云原生PaaS可以屏蔽多云的差异， 统一的不分何种云上的一致的运行 同一服务或者应用。 • 避免厂家锁定，客户可以自由选择 资源分布和费用组合，更加灵活。 • 中心云统一纳管运维和输出服务。 • 是一种以资源视角的云交付形式， 比较容易的策略是从PaaS向下或者从 Saas向下整体打包计算价格，比如： • 创建容器集群、部署应用时将会消耗的计算、网络、存储等资源费用，包括BCC、CDS、EIP、BLB等。 这些资源将按照对应的云服务的计费标准单独计费，不会体现在PaaS的账单中。 • 在使用PaaS的过程中，为了保存您的应用元数据和状态信息、提供应用监控和日志采集、服务注册 和配置中心等功能，PaaS需要消耗公共的计算、

云计算白皮书（2023 年） 3 （二）云市场进入稳定增长阶段，行业巨头进一步扩大 领先优势 从整体来看，全球云计算市场规模增速放缓。Gartner 数据显示 1，2022 年以 IaaS、PaaS、SaaS 为代表的全球云计算市场规模为 4,910 亿美元，增速 19%，较 2021 年同比下降 13.5%。虽然受通胀压力和 宏观经济下行的双重影响，2022 年云计算市场增速下降明显，但对 来源：中国信息通信研究院，2023 年 5 月 图 4 中国云计算市场规模及增速（亿元） 从细分领域来看，PaaS、SaaS 增长潜力巨大。2022 年，IaaS 市 场收入稳定，规模在 2442亿元，是 PaaS+SaaS 的 3 倍，增速达 51.21%， 较 2021 年同比下降 29.24%，预计长期增速将趋于平稳；PaaS 市场 受容器、微服务等云原生应用带来的刺激增长强势，总收入 342 亿 元，增长 亿元和 361 亿元，增速均超 100%， 远超行业平均水平。据中国信息通信研究院调查统计2，阿里云、天 翼云、移动云、华为云、腾讯云、联通云占据中国公有云 IaaS 市场 份额前六3；公有云 PaaS 方面，阿里云、华为云、腾讯云、天翼云、 百度云处于领先地位。 2 市场规模为 2022 年全年数据统计，主要依据企业财报、人员访谈、可信云评估、历史数据等得出。对于 市场数据不明确的领域，只发布头部企业整体情况，不做具体排名。

技术专家 • Kubernetes 基础技术中台团队 • 开放应⽤模型（OAM）项⽬ Core Maintainer • jianbo.sjb@alibaba-inc.com • 阿⾥存量 PaaS 对接 Kubernetes 的新挑战 • 研发和运维对 Kubernetes YAML ⽂件的看法 • 阿⾥对解耦研发和运维的实践与教训 • 标准化、统⼀化的应⽤管理 阿里巴巴大规模容器化基础设施 全面管理云资源（含虚拟机、VPC 等）？ K8s API 太复杂？ All in one。 思考题： 对于一个 K8s 应用的描述，大家的关注点是？ • 研发关心 根本看不懂 • 运维关心 某内部 PaaS 精挑细选，只剩下 ~5 个 Deployment 的字段允许研发填写。 简单却能力不足： 思考题： 有状态的复杂应用如何管理？ 基础设施能力还如何演进和透出？ 研发自己的诉求如何传达给运维和基础设施？ 效的对运维透出？ K8s 如何管理描述云资源？ 太好了，我还需要启动一个 RDS, 能跟 helm一起打包吗？ Operator 写好了,用 helm 打包部署吧，美滋滋.. 这样啊，你们PaaS 平台的 体验好割裂… 好吧，我们试试 …… 这你恐怕得单独去RDS 界面创建… 业务方运维 K8s 团队 CRD 搞定一切！ RDS SLB VPC • 对研发屏蔽 K8s API

leverage with PaaS capability • Facilitate our PaaS and micro-service product Kubernetes Capabilities/Advantages to Build DevOps Solution Pod Job CronJob • k8s itself is NOT a PaaS or DevOps platform，but ElasticSearch Monitor/Alert Service CronJob Node Pod Node Pod Unified logging、monitoring、alert with PaaS Consistent data Node group of build nodes Node group of user applications Scheduling customization