application code, without the application needing to be aware. 服务网格是一个基础设施层，用于处理服务间通信。云原生应用有着 复杂的服务拓 扑，服务网格负责在这些拓扑中实现请求的可靠传递。 在实践中，服务网格通常实 现为一组轻量级网络代理，它们与应用程 序一起部署，但对应用程序透明。什么是Service Mesh？- by Istio Ingress Pod Microservice Envoy (Telemetry， Policy check) 配置数据(服 务信息，路由 信息等) 定制Istio组件 应用微服务 业务请求 控制流 图例说明 Pilot Mixer APP: Canary Deployment K8s API Server 管控规则 灰度发布 网格增强组件 原生组件 APP： 上图中的Kubernets集群使用了Knitter网络插件，部署了四个网络平面产品化增强-支持多网络平面 Istio1.0中不支持多网络平面，当服务地址和Envoy地址分别位于两个网络上时，会导致转发请求时 发生死循环，导致socket耗尽，Envoy不停重启。 Pilot Service Registry Register service (IP :10.75.8.101) 10.75.8

每个stream分配单独的goroutine处理， 调度开销高 3. 临时对象多，GC占比高 4. 基本实现了RFC中MUST部分，部分功 能需求上不匹配，如GRPC trailer实现技术案例 – HTTP/2.0优化 优化思路：适配MOSN框架，复用官方实现核心结构体和解析流程 Ø 框架适配 ü IO框架 ü 内存复用框架 ü workerpool协程池框架 Ø 功能支持 ü 请求流式处理模式 ü 热升级 ü Intel(R) Xeon(R) CPU E5620 @ 2.40GHz p kernel：2.6.32-220.23.2.el6.x86_64 p 单核模式：1 core； 多核模式： 4 core p Post请求：1k上传，1k下载 p h2load：100连接，10并发 场景 QPS RT(ms) MEM(M) CPU(%) Old http2(1 core) 2700 358ms 55M 100% 长连接网关RawEpoll模式 RawEpoll模式：使用epoll感知到可读事件之后，再从协程池中为其分配协程进行处理。 大幅减少goroutine实例数量，从而降低内存、调度开销 Netpoll implmented in Golang runtime conn.read conn …… 调度切换/就绪通知 3.请求处理过程中，协程调度 与经典netpoll模式一致 Raw Epoll goroutine pool

2SOFAMosn内数据流 3NET/IO 4 Ø屏蔽IO处理细节 Ø定义网络链接生命周期，事件机制 Ø定义可编程的网络模型，核心方法，监控指标 Ø定义可扩展的插件机制PROTOCOL 5 Ø定义编解码核心数据结构 üMesh处理三段式：Headers + Data + Trailers Ø定义协议Codec核心接口 ü编码：对请求数据进行编码并根据控制指令发送数据 ü解码：对IO数据进行解码并通过扩展机制通知订阅方 ü 向上确保协议行为一致性 ü 为网络协议请求/响应提供可编程的抽象载体 ü 考虑PING-PONG，PIPELINE，分帧STREAM三种典型流程特征 Ø定义Stream生命周期，核心事件 Ø定义Stream层编/解码核心接口 ü 核心数据结构复用Protocol层 Ø定义可扩展的插件机制 Ø对于满足请求Stream池化的需求 Ø需处理上层传入的状态事件PROXY 7 Ø基于Stream抽象提供多协议转发能力 Q u e u e C模块划分 11要点总结 12 Ø模块化，分层解耦 Ø统一的编程模型接口 Ø可扩展的事件驱动模型 Ø可扩展的路由/后端管理机制 Ø更好的吞吐量3 能力核心能力 1 网络处理 •网络编程接口 •链接管理 •事件机制 •Metrics 收集 •TCP 代理 •TLS 支持 •TProxy 支持 •平滑 reload •平滑版本升级 多协议 •SOFA

用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host, path, headers, SSL, …） • Services 将请求转发给你的应用（load balancing, …） • Middlewares 中间件，用来修改请求或 者根据请求来做出一些判断（ authentication, rate limiting, headers sRouters匹配器Services • Services 负责配置最终处理传入请求 的实际服务。 • 负载均衡（针对应用实例）：轮询（ 目前支持）、session 亲和性 • 带权重的轮询：仅可用于在 Service 之间，并且目前只支持 File Provider • Mirror：将发送到服务的请求镜像复 制到其他服务去，目前只支持 File ProviderMiddlewares配置 ProviderMiddlewares配置 • 静态配置：Traefik 启动时的 配置，Provider 连接信息、要 监听的 EntryPoints，通过配置 文件、命令行参数、环境变量 定义 • 动态配置：Traefik 处理请求 的所有配置，证书、路由、服 务、中间件等，动态改变、无 缝更新1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik

对于一个应用系统来说一定会有极限并发/请求数，即总有一个TPS/QPS阀值， 如果超了阀值则系统就会不响应用户请求或响应的非常慢，因此我们最好进行过 载保护，防止大量请求涌入击垮系统。 • 服务限流其实是指当系统资源不够，不足以应对大量请求，即系统资源与访问量 出现矛盾的时候，我们为了保证有限的资源能够正常服务，因此对系统按照预设 的规则进行流量限制或功能限制的一种方法。 • 限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行 一个时间窗口内的的请求进行 限速来保护系统，一旦达到限制速率则可以拒绝服务或进行流量整形。 • 限流无非就是针对超过预期的流量，通过预先设定的限流规则选择性的对某些请 求进行限流“熔断”。22/总页数 治理策略 & 高可用 • 微服务高可用设计手段 - 服务限流 • 接入层限流 • 调用外部限流服务限流 • 切面层/代理层限流 常用限 流架构23/总页数 治理策略 & 高可用 • • 微服务高可用设计手段 - 服务限流 • 拒绝策略 • 延迟处理 • 特权处理 常用限 流策略24/总页数 治理策略 & 高可用 • 微服务高可用设计手段 - 服务限流 • 固定、滑动时间窗口限流 • 适合微服务接口 • 选定的时间粒度上限流 • 令牌桶、漏桶限流 • 适合阻塞限流 • 超过最大访问频率后，请求阻塞等待或者直接拒绝（等待时间=0） 常用限 流算法25/总页数

Spanner LVS(四层负载) DNS LDC2 Spanner Spanner APP APP APP APP Keycenter 硬件加速 安全合规 亿级用户同时在线 千万级每秒RPC请求 百万级每秒推送Spanner 2010 • 自研，网络设备白盒化 • 全面实践全网https 2012 • 首次全流量支撑双十一大促 2013 • 支持蚂蚁LDC架构，三地五中心容灾架构 app1 app2 spanner LDC03 LDC04 app1 app2 app1 app2 IDC1 IDC2 1 首次请求app1 2 随机分流 3 uid转发目标zone 4 响应请求 5 写入cookie 6 再次请求app1 7 跨机房转发 50% 50% • 机房内zone随机路由 • Cookie zone转发 • 蓝绿发布 • 容灾 ØZone内容灾 Golang性能，成本符合蚂蚁实际需求 近十年的网络代理研发，运维经验SOFAMosn模块与能力划分SOFAMosn协程模型 ü 一条TCP连接对应一个Read协程，执行收包，协议解析 ü 一个请求对应一个worker协程，执行业务处理，proxy和Write逻辑SOFAMosn能力扩展 ü 协议扩展 MOSN 通过使用同一的编解码引擎以及编/解码器核心接口，提供协议的 plugin 机制，包括支持 • SofaRPC

并没有将参数作为元信息放置 在请求头。#3 短时间内支持电商业务复杂的服务治理功能 •扩展 VirtualService 和 DestinationRule#3 短时间内支持电商业务复杂的服务治理功能 •未来计划在 Envoy 中增加 WebAssembly 路由插件#4 解耦业务与基础设施 •实现 Sidecar 热升级，流量无损切换 1. 迁移至新的 Listener Fd 2. 告之新的请求重启链路，继续处理 告之新的请求重启链路，继续处理 老的回调 3. 请求重新连接使用新的 Envoy 4. 直到老的不再收到回调数据，下线让我们一起兑现 Service Mesh 价值Thank you ! 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT

出流量容灾20/24 数据平面性能优化 方案整体 • 新增MOA Mesh协议 • 减少decode请求体开销 • ProtoBuf替换JSON • 复用连接并适当设置连接数 Agent内部 • 对象池化：减少资源消耗与GC压力 • 响应等待机制：非阻塞等待 两次请求转发小于0.2ms Agent外部 • 提升服务器性能（缩减耗时绝对值） API层接口耗时增长小于6%21/24 服务器配置的最坏情况 实际需预留 600M内存22/24 数据平面兼容原有架构 对接原有系统 • 使用原有系统SDK、私有协议 直连访问 兼容未升级服务 • Proxy Agent支持以原有通信 协议处理请求、发起调用23/24 总结与展望 实践感悟 • Service Mesh通过一种全新的架构理念，系统地解决了微服务领域的关键架构痛点 • 是否应用Service Mesh架构以及如何选择落

ReadinessGate=true 添加Pod IP 注册Pod IP 添加finalizer ReadinessGate=false 删除Pod ip 注销 Pod IP 摘除 finalizer 处理剩余请求 升级完成 ReadinessGate=true 添加Pod IP 注册 Pod IP 添加finalizer Other protection Controllers 添加finalizer

application needing to be aware. -- by Willian Morgan(Buoyant) 服务网格是一个 基础设施层，用于处理服务间通信。云原生应用有着复杂的服务拓 扑，服务网 格负责在这些拓扑中 实现请求的可靠传递。在实践中，服务网格通常实现为一组 轻量级网 络代理，它们与应用程序一起部署，但 对应用程序透明。Service Mesh的实现原理 Spring