进击的 Traefik 杨川胡（阳明） 知群后台负责人 2019.10.26 Service Mesh Meetup #7 成都站 云原生边缘路由器探秘杨川胡（阳明） 知群后台负责人，原小米视频后台高级研发 ，《Prometheus 深入浅出》作者，「k8s技 术圈」社区作者，现阶段专注于云原生技术 领域，希望成为一个有产品思维的工程师1 Traefik 介绍 2 Traefik Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是什么？ • 云原生的边缘路由器 • 让部署微服务更加便捷而诞生的现 代 HTTP 反向代理、负载均衡工具 • 它支持多种后台 (Docker, Swarm, Kubernetes, M arathon, Mesos, Consul, Etcd, Z ookeeper ..1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik With KubernetesTraefik 是一个边缘路由器Traefik 自动服务发现Traefik 2.0 架构 • Providers 用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host

是一个高性能轻量级代理，它掌控了service的入口流量和出口流量，它提供了很多内置功能，如动态负 载服务发现、负载均衡、TLS终止、HTTP/2 & gRPC流量代理、熔断、健康检查等功能。 • Mixer 翻译过来是混音器，Mixer负责在整个Service Mesh中实施访问控制和使用策略。Mixer是一个可扩展组 件，内部提供了多个模块化的适配器(adapter)。 • Pilot 翻 翻译过来是领航员，Pliot对Envoy的生命周期进行管理，同时提供了智能路由（如A/B测试、金丝雀部 署）、流量管理（超时、重试、熔断）功能。Pliot接收用户指定的高级路由规则配置，转换成Envoy的 配置，使这些规则生效。 • Istio-Auth 服务间认证和终端用户认证功能Istio的Pilot功能解析Pilot官方架构Istio – EnvoyPilot-Agent的核心流程解读P 置ProxyConfig对象。下面分析几个相对重 要的配置。 role pilot-agent的role类型为model包下的Proxy，决定了pilot-agent的“角色”，role包括以下属性： 1.Type pilot-agent有三种运行模式。根据role.Type变量定义，类型为model.Proxy，定义在context.go文件中，允许的3个取值范围为： i. "sidecar"

基于严选第一代ServiceMesh（cNginx） 类型 功能 能力提供方 服务调用方（Client） 服务提供方（Server） 服务注册与发现 注册发现：基于 Consul √ 调用控制 协议支持：HTTP 1.X/2.X，可扩展至 TCP √ 路由控制：提供简单的路由能力 √ 负载均衡：支持 RR、权重、一致性 Hash 等 √ 流量复制：不提供 × 故障转移：继承 Nginx 的 Failover Failover 机制 √ 安全 访问控制：主要依靠中间件 × 中间件 治理控制 熔断降级：主要依靠中间件 中间件 限流：速率限制 √ 中间件 资源隔离：主要依靠中间件 中间件 故障注入：不提供 × 超时控制、重试、重写、重定向等：继承 Nginx 的 timeout 机制 √ 监控/故障诊断 链路追踪：主要依靠中间件 APM APM 性能监控：主要依靠中间件 APM APM 遥感数据：主要依靠中间件 历史包袱：现有的服务在不改造的情况下引入了服务治理能力 • 大大降低了中间件的研发投入和演进成本，也降低了业务和中间件的耦合成本 • 基础架构与业务架构可以独立演进 • 为多语言栈提供了服务治理能力7/24 持续演进的诉求 • 提供高质量的服务治理能力 • 增强流量管理能力 • 将更多治理特性（如限流、熔断、故障注入）与业务架构解耦 • 支持更多的协议 • 增强控制面 • 配合业务容器化上云及混合云架构8/24

QPS 提升了 50%，内存使用减少了 40%；HTTP/2.0 相比官方库原 生实现，QPS提升了100%；HTTP/1.1 也有 30% 以上的性能提升。同时，针对具体 问题提供具体的解决方案，例如对于长连接网关场景，提供raw epoll模式来优化性 能表现。 ü 能力上，经过多轮演进，0.4.0版本已经初步具备了生产所需的大部分功能点，支持 云原生场景下的多协议、路由&LB、后端管理、TLS、遥感监测、XDS对接等功能， 并充分优化了性能，目前已经在蚂蚁、UC生产环境进行了验证。落地实践案例蚂蚁落地 – 应用接入 ü 适用于蚂蚁当前的服务发现 体系 ü 通过中间件通道对应用推送 MOSN调用地址 ü 通过扩展cluster类型的方式 动态获取配置中心后端 ü MOSN出向路由基于明确的 服务依赖关系生成 ü 服务通过 id:version 定义 ü 适用于SOA化服务，标准微 服务 ü 适用于跨语言通信的场景蚂蚁落地 match，subset等 开源能力实现 ü 适配蚂蚁三地五中心机房部 署，LDC/弹性架构 ü 蚂蚁内部划分R/G/C三种 zone类型，每个Zone的能 力不保证对等 ü 适用于单次简单路由无法解 决的复杂架构场景(如非对 等路由，不确定当前zone 是否有该服务的提供方) Service A MOSN 深圳机房 上海机房 Service B MOSN Service B MOSN 1

Header ➢ 消息类型 ➢ 协议版本 ➢ 序列列化协议（body） Metadata ➢ 服务名 ➢ ⽅方法名 ➢ 系统参数及⽤用户参数 Body ➢ response ➢ RequestService Mesh Meetup · BeiJing Simple 序列列化 �22 微博Service Mesh实践 - WeiboMesh 基础类型 复合类型 type(1b Mesh Meetup · BeiJing 反向代理理特点 �33 微博Service Mesh实践 - WeiboMesh ➢ 提供HTTP/cgi provider，可扩展 ➢ HTTP框架⾃自动转RPC，业务⽆无需开发新RPC框架 ➢ 不不影响原有服务的提供 ➢ 改造成本极低Service Mesh Meetup · BeiJing Weibo Mesh的收益 �34 微博Service

漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Mesh微服务设计 4 Service Mesh的框架介绍我过往的经历情况 类型：传统互联网 模式：CS/BS模式 类型：互联网 模式：单体模式 类型：游戏 模式：单体模式 类型：互联网金融 模式：微服务模式Java版本演进史 JDK J2ME J2SE J2EE Java SE 2004年 Java SE 5.0 服务的划分保持代码高内聚的方法论：DDD战术建模Service Mesh将会是微服务设计的更好方式Service Mesh的核心价值 实现 业务逻辑 和 非业务逻辑 的分离 Ø 为下沉到基础设施提供可能 Ø 帮助应用轻量化，专注业务 Ø 实现应用的云原生化1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Mesh微服务设计 4 Service Mesh的框架介绍什么是Service

Meetup #7 成都站网络代理是什么？ 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么？ Maglev Ipvs Katran GFE BFE TGW Nginx Apache httpd SOFAMosn Envoy Linkerd网络的挑战网络的挑战 百万级每秒推送Spanner 2010 • 自研，网络设备白盒化 • 全面实践全网https 2012 • 首次全流量支撑双十一大促 2013 • 支持蚂蚁LDC架构，三地五中心容灾架构 • 全面上线SSL加速卡，提供软硬件一体加速方案 2015 • All in 无线，通信通道全面升级（MMTP，MTLS协议） 2016 • 安全防护能力提升，WAF，流量镜像 2018至 今 • 通信协议，架构， rite逻辑SOFAMosn能力扩展 ü 协议扩展 MOSN 通过使用同一的编解码引擎以及编/解码器核心接口，提供协议的 plugin 机制，包括支持 • SofaRPC • HTTP1.x,/HTTP2.0 • Dubbo ü NetworkFilter 扩展 MOSN 通过提供 network filter 注册机制以及统一的 packet read/write filter 接口，实现了

API key management API Billing and Rate limiting Other business logic ... 提供七层网关能力， 但和服务网格是割裂 的 提供七层网关和网格 能力，但缺少API管 理能力 提供API管理能力， 缺少服务网格能力在DexMesh场景下Mesh和API Gateway的分工与协同 External request MSB API Control Plane API Gateway：应用网关逻辑 • 使用不同端口为不同租户提供访问入口 • 租户间的隔离和访问控制 • 用户层面的访问控制 • 按用户的API访问限流 • API访问日志和计费 Service Mesh：统一的微服务通信管理 • 服务发现 • 负载均衡 • 重试，断路器 • 故障注入 • 分布式调用跟踪 • Metrics 收集产品化增强-支持多网络平面 收集产品化增强-支持多网络平面 电信系统一般会有多个网络平面的，主要原因包括：避免不同功能的网络之间的 相互影响； 网络设计冗余，增强系统网络的健壮性； 为不同的网络提供不同的 SLA ；通过网络隔离提高安全性；通过叠加多个网络增加系统带宽 上图中的Kubernets集群使用了Knitter网络插件，部署了四个网络平面产品化增强-支持多网络平面 Istio1.0中不支持多网络平面，当服务地址和Envoy地址分别位于两个网络上时，会导致转发请求时

• 配置 • 维护Part 1：ServiceMesh灵魂拷问一：要架构还是要性能？ Mixer v1 架构的优点 • 集中式服务： • 提高基础设施后端的可用性 • 为前提条件检查结果提供集群级别的全局2级缓存 • 灵活的适配器模型，使其以下操作变得简 单： • 运维添加、使用和删除适配器 • 开发人员创建新的适配器（超过20个适配器）Part 1：ServiceMesh灵魂拷问一：要架构还是要性能？ 不受Adapter增减/更新/升级影响 • 保持Proxy代码简单 • 保持Proxy代码简单 • 数据平面可替换原则 • 集中式服务： • 提高基础设施后端的可用性 • 为前提条件检查结果提供集群级别的全局2级缓存 • 灵活的适配器模型，使其以下操作变得简 单： • 运维添加、使用和删除适配器 • 开发人员创建新的适配器（超过20个适配器）合并没问题，如何合并才是问题 Part Support WebAssembly (WASM) in Envoy - https://github.com/envoyproxy/envoy/issues/4272 - 计划在1.12版本提供（1.11版本发布于7月12日） - envoy-wasm项目：Playground for Envoy WASM filter - https://github.com/envoyproxy/envoy-wasm