步步为营，扩大战果 • 杜绝一刀切k8s和Service Mesh落地方案演进路线 部署在 非k8s上 不是Service Mesh形态 部署在K8s上 非SM 部署在 非k8s上 Service Mesh (Sidecar模式) 部署在K8s上 Service Mesh (Istio模式) 部署在K8s上 Service Mesh (Sidecar模式) 部署在 非k8s上 Service 不现实 Istio的非k8s支 持投入产出比 太差 背景1：原生Istio无法支撑我们的规模 背景2：k8s（Sigma3.1）将加快普及 K8s普及在即， 不适合再大面积 铺开，快速会师ü 和路线1的核心差别 • 是先上k8s，还是先上Service Mesh • 而且是终极形态的Service Mesh（意味着更偏离目标） ü 好处是第一步（非k8s上向Sidecar模式演进）非常自然 缺点是再往后走 • 由于没有k8s的底层支持，就不得不做大量工作 • 尤其istio的非k8s支持，工作量很大 • 而这些投入，在最终迁移到k8s时，又被废弃 ü 结论： • 不符合蚂蚁的远期规划（k8s是我们的既定目标） • 会造成投资浪费（k8s铺开在即） 演进路线2分析 部署在 非k8s上 Service Mesh (Sidecar模式) 部署在 非k8s上 Service Mesh

概念正式提出9/24 云原生 Service Mesh 框架 - Istio • 由 Google，IBM 和 Lyft 联合开发，Go 语 言，与 K8s 一脉相承且深度融合 • K8s 提供了部署、升级和有限的运行流量管 理能力 • Istio 补齐了 K8s 在微服务治理上的短板 （限流、熔断、降级、分流等） • Istio 以 Sidecar 的形式运行在 Pod 中， 自动注入，自动接管流量，部署过程对业务 - 服务治理能力 – 基于Istio+Envoy 类型 功能 能力提供方 服务调用方（Client） 服务提供方（Server） 服务注册与发现 注册发现：云外基于 Consul，云内基于 K8s 默认的 ETCD √ 调用控制 协议支持：HTTP 1.X/2.X，GRPC,WebSocket，Dubbo， Thrift √ 路由控制：静态路由、动态路由、流量染色、分流控制等 √ 负载均衡：支持 倍。Envoy 部署方式为 per-node，功能和运维层面的限制还在评估当中。 • Sidecar 模式采用方案1进行优化，gateway 模式采用方案2进行优化。23/24 服务治理平台 – 升级严选服务治理能力 • 常用服务管理功能：服务上下线、服务实例管理 • 服务生命周期管控与查询 • 服务扩缩容：服务副本数、配额、扩缩容策略； 调整后自动应用至 K8s 集群 02.服务管控 •

• 节省资源 Java App Local Proxy OSP Server Remote Proxy Cluster Thrift over TCP PHP App C/C++/Node JS App Thrift over TCP Thrift over TCP JSON over HTTP JSON over HTTP多语言服务端接入 • Registry vs. Daemonset + remote proxy Sidecar（in Pod） Daemonset 对容器的影响 影响大。Pod中增加sidecar容器，加大整个Pod的资源需 求，对K8s的调度形成压力，特别是在资源紧张的情况下； 而且还容器导致资源浪费（sidecar的使用率问题） 影响小。宿主机预留部分资源启动daemonset 即可 运维难度 难度大。Sidecar故障会影响同一个pod的业务容器，同 Mixer的中央节点问题 • 传统基于日志收集的tracing方 案足够成熟 • 内部实现一套可插拔的鉴权框 架也能接受混合部署 vs. 绑定K8s • 历史原因导致长期都会物理机 和容器并存，内部需求必须要 同时支持物理机和云 • 绑定K8s能够享受K8s的红利， 但也限制了使用范围 +服务治理程度更接地气 • 不停的迭代、落地、反馈，打 造一系列的实用的治理功能 • 规则路由、标签路由、邻近机房

check) 配置数据(服 务信息，路由 信息等) 定制Istio组件 应用微服务 业务请求 控制流 图例说明 Pilot Mixer APP: Canary Deployment K8s API Server 管控规则 灰度发布 网格增强组件 原生组件 APP： Traffic Management APP ...产品化增强-服务注册发现 出于历史原因，我们使用了Kub 200个服务的规模下，CPU占用率降低了一个数量级 • 服务数据变化同步时延从分钟级降低到秒级 • Consul调用导致的TIME_WAIT Sockets数量减少到个位级产品化增强-Ingress API Gateway K8S Ingress Load balancing SSL termination Virtual hosting Istio Gateway Load balancing SSL termination 10.75.8.101 10.75.8.0/24 192.168.10.0/24 192.168.10.63 Envoy Service A Host/Pod xDS Request (Node: 192.168.10.63) Sevice A as Outboud Listener service A (IP :10.75.8.101) Infinite Loop Request

Discovery Service Sidecar证书管理方案 Istio With Envoy SDS Benefits:  The private key never leaves the node: It is only in the Citadel agent and sidecar’s memory.  The secret volume mount is no longer needed: 通道 密钥更新通道 安全Sidecar 的认证能力中依赖密钥等敏感信 息，在参考社区SDS方案的基础上，实现敏感 信息的管理及安全下发通道。  用户将密钥等信息通过CRD方式提交至K8s， 通过K8s的RBAC方式控制访问权限  拓展Citadel Watch 密钥相关的CR，筛选后 下发至对应的Citadel Agent节点  安全Sidecar 与 Citadel Agent

在 k8s 上部署高可用的 service mesh 监控 pctang@caicloud.io 唐鹏程 才云科技TOC Solving issues in a new way Monitoring your service mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring In the old days… ○ one or more prometheus per cluster ○ hashmod sharding Node Node Node Node Node Node Node Node Node Hashmod = 0 Hashmod = 1 Hashmod = 2 prometheus0 prometheus1

单集群规模 90%+ 应用服务 数十万 应用 Pods业务 6/19 统一资源调度架构 Part 1：蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 k8s 核心 CRI Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化 服务 Cluster Control Panel 在线应用 腾挪耗时不可控 3. 大规模腾挪的稳定性技术风险 9/19 资源分时链路切换 Part 2：资源分时调度 Kubernetes Node 分时调度 Agent Pod 资源 Node 分时调度 Agent Pod 资源 Node 分时调度 Agent Pod 资源 容量平台 监控平台 巡检平台 流量控制 流量平台 配置中心 流量控制器 流量状态CRD TensorFlow PyTorch Horovod/mpi XGBoost Spark SparkApplication Spark Operator 在线应用 无状态服务 Node Node Node Node Node Node 无状态服务 无状态服务 无状态服务 无状态服务 无状态服务 无状态服务 TF PS 1 TF Worker 1 TF Worker 2 spark driver 1 spark

Infrastructure Backend Proxy 优点： • 架构优雅，职责分明，边界清晰 • Mixer的变动不影响Proxy • Proxy无需和Adapter耦合 • 读取配置 -> 连接k8s/Galley • Adapter的运行时资源开销 • 不受Adapter增减/更新/升级影响 • 保持Proxy代码简单 • 保持Proxy代码简单 • 数据平面可替换原则 Kubernete v1的优点不应该成为Mixer v2的缺点 优点： • 架构优雅，职责分明，边界清晰 • Mixer的变动不影响Proxy • Proxy无需和Adapter耦合 • 读取配置 -> 连接k8s/Galley • Adapter的运行时资源开销 • 不受Adapter增减/更新/升级影响 • 保持Proxy代码简单 • 保持Proxy代码简单 • 数据平面可替换原则 • 集中式服务： 机？ 有了高大上的容器/k8s/云原生， 还要不要支持土里土气的 虚拟机？Part 3：ServiceMesh灵魂拷问三：要不要支持虚拟机？ Google Traffic Director 支持虚拟机，而且可以 虚拟机和容器相互访问 Linkerd 1.* 天然支持 Envoy 天然支持 Istio 开始准备支持，后 来实质性取消，基 本只有k8s好用 Linkerd 2.0

以蚂蚁金服的标准，稳定性的要求自然是很高 • 高可用方面的要求很非常高 ü 部署的要求 • 需要用于多种场合：主站，金融云，外部客户 • 需要满足多种部署环境：虚拟机/容器，公有云/私有云，k8s • 需要满足多种体系：Service Mesh，Sofa和社区主流开发框架 Service Mesh落地要面临的实际要求选择开源产品，还是选择自研？ 起点：开源 起点：自研 全新打造；或依托现有SDK • 第一选择，重点关注对象 • 奈何迟迟不能发布生产可用版本 • 性能和稳定性远远不能满足蚂蚁的 要求 • 但我们非常认可Istio的理念和方向 Conduit • 只支持k8s，而蚂蚁尚未普及k8s • 数据平面由Rust编写，过于小众，难于 从社区借力。 • 同样存在技术栈问题 • 公司和产品在社区知名度和影响力有限国内公司的选择之一：自研 华为：CES Mesher 控制平面据传“挣扎了一下”，最终还 是选择Istio，进行定制和扩展，解耦k8s国内公司的选择之三：另辟蹊径 UCloud：Service Mesh • 非常有意思的轻量ServiceMesh实践 • 从Istio中剥离Pilot和Envoy • 去掉Mixer和Auth • 定制Pilot，实现ETCD Adapter • 脱离k8s运行Sofa Mesh在技术选型时考虑 Envoy • 数据平面：Envoy最符合要求

ous.com/90 Brownfield • 棕地，已开发/污染过的土地 • 成熟的项目/遗留系统12/39 Part 2： 在当下『路口』的思考 • 大量的应用还跑在非 k8s 体系上（VM、独立的注册中心等） • 当下这些 brownfield 应用的业务价值往往更大，如何把它们纳入 Service Mesh 统一管控？ 现实场景 – Brownfield 应用当道 com/sofastack/sofa-rpc28/39 Part 3： 蚂蚁金服的产品实践 虚拟机支持 • 云原生架构下，sidecar 借助于 k8s 的 webhook/operator 机制可以方便地实现注入、升级 等运维操作 • 然而大量系统还没有跑在 k8s 上，所以我们通过 agent 的模式来管理 sidecar 进程，从而可 以使 Service Mesh 能够帮助老架构下的应用完成服务化改造，并支持新架构和老架构下服务