Mesh形态 部署在K8s上 非SM 部署在 非k8s上 Service Mesh (Sidecar模式) 部署在K8s上 Service Mesh (Istio模式) 部署在K8s上 Service Mesh (Sidecar模式) 部署在 非k8s上 Service Mesh (Istio模式) 应用终极形态 应用现状 1 1 1 2 2 2 3 4 4 4 4 比较理想，绝大部分 投入最终都将保留 Service Mesh (Sidecar模式) Service Mesh (Istio模式) 带完善的控制 平面，如Istio 只有Sidecar， 直接集成周边 不现实 Istio的非k8s支 持投入产出比 太差 背景1：原生Istio无法支撑我们的规模 背景2：k8s（Sigma3.1）将加快普及 K8s普及在即， 不适合再大面积 铺开，快速会师ü 和路线1的核心差别 • 是先上k8s，还是先上Service Mesh • 而且是终极形态的Service Mesh（意味着更偏离目标） ü 好处是第一步（非k8s上向Sidecar模式演进）非常自然 • 容易落地 • 快速达成短期目标 ü 缺点是再往后走 • 由于没有k8s的底层支持，就不得不做大量工作 • 尤其istio的非k8s支持，工作量很大 • 而这些投入，在最终迁移到k8s时，又被废弃

云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采 接口，可以直接抓取 • ETCD 可以考虑使用 sidecar 模式来抓，对于运维比较简 单一些，不需要先部署 ETCD 再去配置抓取规则 • ETCD 强依赖硬盘做持久化，所以要特别关注硬盘相关的 指标，尽量用 SSD 或 NVME 的盘 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，如果是 sidecar 模式，就直接使 用 categraf prometheus micrometer • 埋点方案尽量要全公司一套，规范统一，在代码框架层面内置，减轻各个研发团队的使用成本 Pod内的业务应用的监控 - statsd 数据流向 • 推荐做法：如果是容器环境，Pod 内 sidecar 的方式部署 statsd；如果是物理机虚拟机环境，每个机器上部署一 个 statsd 的 agent，接收到数据之后统一推给服务端 Pod-001 业务 容器 agent Pod-002

Mesh：istio的增强扩展版 Pilot Auth Mixer Envoy Pilot Auth Mixer Golang Sidecar Istio现有架构 Sofa Mesh架构 1. 用Golang开发 Sidecar，替代Envoy 2. Mixer被部分合 并进入Sidecar 3. Pilot/Auth 做扩展和增强 Control plane Control plane Data Data plane Data plane Mixer架构设计 Architect2Golang版Sidecar Pilot Auth Golang Sidecar Mixer XDS API Mixer Service HTTP/1.1 HTTP/2 Sofa RPC ü 参照Envoy的设计 ü 实现XDS API ü 兼容Istio ü 支持HTTP/1.1和HTTP/2 1和HTTP/2 ü 扩展Sofa/Dubbo/HSF Dubbo RPC HSF RPC最大的改变：合并部分Mixer功能 Pilot Auth Mixer Golang Sidecar Mixer ü Mixer三大功能： • Check – 同步阻塞 • Quota – 同步阻塞 • Report – 异步批量 ü 合并Check和Quota ü Report暂时保留在Mixer中

Spring-cloud-alibaba 生态进行推广，建立阿里 DNS（Dubbo+Nacos+Spring- cloud-alibaba/Seata/Sentinel）微服务最佳实践。 随着我们选择三合⼀的开源模式，又面临另外⼀个问题，未来内部和商业化关系是什么，代码关系 是什么？ 这个问题应该说⼀直持续，但是我们定下来开源、自研、商业化三位⼀体的战略，以开源为内核， 以商业化为扩展；开源做生态，商业化 风格 HTTP 接口，简单易用，方便多语言集成。  Console：易用控制台，做服务管理、配置管理等操作。  SDK：多语言 SDK，目前几乎支持所有主流编程语言。  Agent：Sidecar 模式运行，通过标准 DNS 协议与业务解耦。  CLI：命令行对产品进行轻量化管理，像 git ⼀样好用。 业务层  服务管理：实现服务 CRUD，域名 CRUD，服务健康状态检查，服务权重管理等功能。 日志模块：管理日志分类，日志级别，日志可移植性（尤其避免冲突），日志格式，异常码+帮 助文档。  回调机制：SDK 通知数据，通过统⼀的模式回调用户处理。接口和数据结构需要具备可扩展性。  寻址模式：解决 Server IP 直连，域名访问，Nameserver 寻址、广播等多种寻址模式，需要可 扩展。  推送通道：解决 Server 与存储、Server 间、Server 与 SDK 间高效通信问题。

K8s 一脉相承且深度融合 • K8s 提供了部署、升级和有限的运行流量管 理能力 • Istio 补齐了 K8s 在微服务治理上的短板 （限流、熔断、降级、分流等） • Istio 以 Sidecar 的形式运行在 Pod 中， 自动注入，自动接管流量，部署过程对业务 透明 • 提供了完整的 Service Mesh 解决方案 • 数据面：Envoy • 控制面：Pilot，Mixe Envoy(client模式)的 RT overhead 是0.6ms左右12/24 性能视角 – cNginx vs Envoy（优化后） • 优化方案 • 采用 sriov 容器网络 • Envoy：将1.13版本中 connection loadbalancer 特性移植到 1.10.x 版本 • Envoy 优化后在低并发（<64）的情况下，容器网络 client sidecar 优于 VM VM 网络直连 • Envoy 优化后在高并发（>=64）的情况下 • 容器网络 client sidecar 接近 VM 网络直连 • 容器网络 client sidecar 远远优于 VM cNginx（256并发 6.707 vs 15.771）13/24 当前演进方向 整体基于 Envoy+Istio 方案： • 数据面以 Envoy Proxy 作为代理组件 • 控制面以 Pilot

Service 业务逻辑 SDK 协议编解码 服务发现 负载均衡 熔断限流 服务路由 …… Service 业务逻辑 轻量级 SDK 协议编解码 Sidecar （MOSN） + 服务发现 负载均衡 熔断限流 服务路由 …… - 专注业务实现 - 无需感知Mesh - 专注服务间通讯和相 关能力 - 与业务逻辑无关 的功能剥离 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 业务进程专注于业务逻辑 SDK 中的大部分功能， 拆解为独立进程， 以 Sidecar 的模式运行 将服务治理能力下沉到基础设施，实现独立演进，透明升级7/39 异构系统统一治理 Part 1： 为什么需要Service Mesh? 多语言、多协议 图片来源：https://www -mesh 流量控制、监控8/39 金融级网络安全 Part 1： 为什么需要Service Mesh? 身份标识/访问控制 Service （client） Sidecar Sidecar Service （server） mTLS 服务鉴权 全链路可信、加密 零信任网络9/39 二、 在当下『路口』的思考10/39 Part 2： 在当下『路口』的思考

云原生应用相比传统应用的优势 低成本 高敏捷 高弹性 云原生应用 传统应用 部署可预测性 可预测性 不可预测 抽象性 操作系统抽象 依赖操作系统 弹性能力 弹性调度 资源冗余多 缺乏扩展能力 开发运维模式 DevOps 瀑布式开发 部门孤立 服务架构 微服务解耦架构 单体耦合架构 恢复能力 自动化运维 快速恢复 手工运维 恢复缓慢 云原生应用相比传统应用的优势(例子) 来实现计算资源向应用的无缝融合，以极简稳定的、 prometheus • ServiceMesh为容器云打通通信网格(东西南北流量)、补充服务治理能力的同时，也将平台能力与微服务运行 RT环境彻底隔离，平台能力可以做到标准化。 • 无论是原生运行模式还是PaaS运行模式，都能非常好的在一个通用平台上部署，并保留各自的优点和克服了 前面所分析的缺点。 SM 控 制 面 Service A Service B Enovoy Enovoy 服务发现 SideCar SideCar Node A 业务逻辑 网络堆栈 Node B 业务逻辑 网络堆栈 熔断器 服务发现 熔断器 服务发现 SideCar SideCar 统一化Service Mesh’s Control Plane • 通过将服务治理、通信、安全等从微服务框架中以独立进程剥离出来，解决了微服 务治理的碎片化以及基础设施耦合问题。 • 但是Sidecar（数据面

SDK 协议编解码 服务发现 负载均衡 熔断限流 服务路由 …… Service 业务逻辑 轻量级SDK 协议编解码 Sidecar （MOSN） 服务发现 负载均衡 熔断限流 服务路由 …… 将SDK客户端 的功能剥离 Sidecar专注服务间通讯 混合在一个进程内， 应用既有业务逻辑， 也有各种功能 业务进程专注于业务逻辑Service Mesh 为什么蚂蚁需要Service 等多种协议无损迁移资源问题 CPU • Cpuset模式，与业务App共享独占核 • Cpushare模式，与应用容器共享物理机Cpu资源 • 根据具体业务情况设置Cpu资源 内存 • 使用应用内存的1/16 • 与业务Share内存，最大限制使用1G，存在超卖问题，触发Pod 级别的direct reclaim问题 磁盘 • Sidecar与业务容器共享磁盘，并且不受容器启动顺序对磁盘分配的影响，单独mount配置文件 金融级的通信安全基础设施关于未来 § 云原生，多云混合云时代，南北，东西流量的边界逐渐模糊 § 应用网络代理层部分能力固化，下沉至系统网络栈或者智能硬件设备 § 物理通信基础设施的升级势必带来应用网络层的变革 § Sidecar -> Proxyless -> Networkless谢谢！

OSP client 服务路由 网络传输 服务元数据上报缺点 • 语言单一 • 升级困难 • 复杂代码嵌入对客户端进程影响大服务化体系2.0 - Service Mesh雏形 • 物理机、sidecar • Local & Remote，主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 JavaApp Thrift over TCP Thrift over TCP JSON over HTTP JSON over HTTP多语言服务端接入 • Registry Agent • sidecar • 注册代理 • 健康检查 • 服务端受限于Proxy支持的协 议（目前只支持HTTP 1.1） Local Proxy Web Server Service Registry API 组 件会给自定义需求带来障碍。 • 保持客户端选择proxy的自由度和灵活性，在我们的实践中好处大 于坏处胖客户端 vs. service mesh vs. cluster 胖客户端 Sidecar（物理机） Daemonset（云） Cluster（HTTP） 接入难度 容易。打入依赖包即可 容易。需依赖SDK 容易。需依赖SDK 编码难度 容易。IDL接口规范 容易。IDL接口规范

Makefile（include了tools/istio- docker.mk）把这个dockerfile build成了 ${HUB}/proxy:${TAG}镜像，也就是 Kubernetes里跟应用放在同一个pod下的 sidecar。非Kubernetes情况下需要把 pilot-agent、envoy跟应用部署在一起，这 就有点“污染”应用的意思了。Pilot-Agent的功能介绍 在proxy镜像中，pilot-agent负责的工作包括： envoy。 而envoy负责接受所有发往该pod的网络流量，分发所有从pod中发出的网络流量。 根据代码中的sidecar-injector-configmap.yaml（用来配置如何自动化地inject istio sidecar）， inject过程中，除了proxy镜像作为sidecar之外，每个pod还会带上initcontainer（Kubernetes中的概 念），具体镜像为proxy_ 以下属性： 1.Type pilot-agent有三种运行模式。根据role.Type变量定义，类型为model.Proxy，定义在context.go文件中，允许的3个取值范围为： i. "sidecar" 默认值，可以在启动pilot-agent，调用proxy命令时覆盖。Sidecar type is used for sidecar proxies in the application containers