从开源 Istio 到企业服务 ——如何在企业中落地服务网格 From Istio OSS to Enterprise Service Mesh 宋净超（Jimmy Song） September 24, 2022 Shanghai, China Cloud Native Application Networking Secure, Observe and manage microservices

rights reserved. Page 3 目录 1. Envoy启动及配置文件 2. Envoy流量拦截原理、常用部署方式 3. Envoy可扩展过滤器架构、可观测性 4. Envoy线程模型 5. 生产环境问题分析及解决方法 6. 针对Envoy做的一些优化及效果 7. 常用性能分析测试工具及使用方法 8. 华为ASM产品介绍 Copyright © Huawei Technologies d建立证书更新通道。 • Envoy 通过pilot-agent转发机制与istiod建立长连接，通过xDS协议接收系统下发的监听器、路由、集群节点等更新信息。 • 3. 数据面通信 • 客户端请求进入容器网络，并被iptables规则拦截，经过DNAT后进入Envoy virtualOutbound监听器 • virtualOutbound经过监听过滤器恢复用于原始目标服务，并找到后端处理器处理新连接。 后端处理器在配置中指定处理协议，根据协议相关的网络过滤器处理读取到的数据。 • 如果为http协议，再经过请求过滤器处理http协议头部，如路由选择等功能并创建上游连接池 • 将修改及编码后的http消息通过网络发送到对端Envoy的容器网络。 • Iptables识别为入流量则进入virtualInbound端口。 • ORIGINAL_DST恢复原始目标后，根据virtualInbound配置的监听过滤器找到对

l-mcp） v 通过CRD定义的服务数据 q 自定义流量规则（如何将请求路由到这些服务？） v 通过CRD定义的流量规则 服务数据 流量规则 3 Istio 流量管理 – 控制面 – 服务发现 • K8s Service ： Pilot 直接支持 • ServiceEntry： 手动添加 Service 到 Pilot 内部注册表中 • WorkloadEntry：单独添加 Workload，对于虚机支持更友好 适配器： 将第三方注册表中的服务加入到 Pilot 中 Consul MCP Adapter https://github.com/istio-ecosystem/consul-mcp 欢迎大家试用、共建！ 4 Istio 流量管理 – 控制面 – 流量管理模型 Gateway Virtual Service Destination Rule 外部请求 内部客户端 Service2 Service1 对外请求 对外请求（Passthrough/ServiceEntry） 缺省路由 （服务名） 5 Istio 流量管理 – 数据面 – Envoy配置模型和xDS协议 ADS Server LDS RDS CDS EDS Envoy 配置模型的主要概念： • Downstream：连接到 Envoy 的下游 Host，发送请求并接收响应。 • Upstream： 上游 Host 接收来自 Envoy

r的介绍 • Check:也叫precondition，前置条件检查， 比如说黑白名单，权限。 • Quota:访问次数 • Report: 日志。Mixer的二次开发流程Mixer插件工作模型 上述的过程中，Envoy所做的数据收集、上传是自动完成的，而Mixer生成模版实例则 可以通过配置来完成。因此，所谓的Mixer插件实际上就是Adapter，开发Mixer插件 也就是开发Adapter。两种开发模式 Adapter • Adapter与mixer代码需要一起打包编译，最终生成 一个可执行文件。 Adapter作为grpc服务端，运行在独立的pod当中， Mixer通过通过rpc调用，将属性与日志发送给Adapter。基于Mixer的二次开发的流程 • 编写grpc服务端程序，接收来自mixer的数据，并实现自身业务逻辑 • 编写handler、instance、rule配置文件 • 编译 编译打包adapter，上传至docker仓库 • 编写k8s的deployment和service配置文件 • 部署应用基于Mixer的二次开发Hanlder Handlers 。为适配器提供配置。例如，到后端的 URL 、证书、缓存选项等等。基于Mixer的二次开发Instances Instances。属性映射。基于Mixer的二次开发Rules Rules。将数据交付给适配器。 定义了一个特定的

Istio的架构和基本原理 • FreeWheel的Istio实践 • 未来工作 • FreeWheel的痛点 我们是谁？ • FreeWheel 是一家为客户提供数字视频广告管理技术和服务的公司。其业务端产 品需要对接客户，提供视频广告投放优化界面，类似于 Web ERP，是一个典型 的三层架构。 微服务之痛 • 两年来，我们将若干复杂的Rails单体应用拆分、迁移到微服务架构， 逻辑用Gol • Report: 上报数据 • Check: 决策是否允许当前访问 • Quota: 决策容量是否足够 Mixer or Sidecar，这是一个问题 • Mixer提供了一种非常灵活的模型，让Handler可以在流量中动态的选 择一部分来引入额外的机制（如权限控制、限流等），在应用运维中 这是很重要的能力，只要是不修改请求、响应的功能都可以采用扩展 Mixer来实现 • Side 的部署变化再快， 也不会阻塞Istio • Istio其他配置管理没有防抖动处理（ VirtualService/DestinationRule等），如果用程序自动化注入这些 配置要注意在客户端实现限流 • Istio的配置管理缺少兼容性设计，CRD无法做到平滑升级 • Istio的架构和基本原理 • FreeWheel的Istio实践 • 未来工作 • FreeWheel的痛点

能 力，避免批处理任务的压力影响到用户体验。 ● 将服务端划分为两个服务实例组，分别用于处理批处理任务和用户请 求。 ● 客户端发起请求时通过一个“batchjob” header标明请求的来源 ，batchjob=true表示该请求来自于批处理任务；batchjob=false表示该 请求来自于用户请求。 ● 运维人员设置请求路由规则，将不同来源的请求路由到不同的服务实例 组进行处理。 #IstioCon

•Grafana，为SolarMesh提供流量的实时仪表盘 •SLO，为SolarMesh提供服务质量检测的能力 SolarMesh的特点 Copyright © 2021 Cloud To Go 控制端与业务端隔离 控制面与数据面隔离 solarmesh坏了，istio还在，业务不会中断 istiod坏了，envoy还在，业务也不会中断 Copyright © 2021 Cloud To Go 无需重启

io/docs/envoy/latest/configuration/http/http_filters/http_fi lters ○ …. ● 自定义开发： ○ 静态预编译： ■ 将其他过滤器集成到Envoy的源代码中，并编译新的Envoy版本。 ■ 这种方法的缺点是您需要维护Envoy版本，并不断使其与官方发行版保持同步。 ■ 此外，由于Envoy是用C++实现的，因此新开发的过滤器也必须用C++实现。 可维护性：不必更改Envoy自身基础代码库即可扩展其功能。 ○ 多样性：可以将流行的编程语言（例如C/C++和Rust）编译为WASM，因此开发人员可 以选择实现过滤器的编程语言。 ○ 可靠性和隔离性：过滤器会被部署到VM沙箱中，因此与Envoy进程本身是隔离的；即使 当WASM Filter出现问题导致崩溃时，它也不会影响Envoy进程。 ○ 安全性：过滤器通过预定义API与Envoy代理进行通信，因此它们可以访问并只能修改有 ○ https://github.com/pr oxy-wasm/spec ● 内置的Wasm runtime ○ ~20MB for WAVM ○ ~10MB for V8 ● 事件驱动模型 ● 兼容native filter调用 方式 8 Example Wasm filter configuration ● 下发到Envoy Proxy侧的配置 9 OCI Registry

由于没有真正的注册，所以使用手动添加 ServiceEntry 的方式代替 Adapter 功能 • Listener 和 Routers 配置信息目前是固定的 • Provider 只注册到本地 zk • Sidecar 注入到方式使用的是多个 Container感谢聆听 欢迎关注，获取最新分布式架构内容 关注服务网格，关注 ServiceMesher

速服务治理技术的研发和迭代，提升架构 能力可移植性。 #IstioCon 技术方案 l 核心原则 Ø 务实、高稳定性、低迁移成本。 l 核心思路 Ø 先单跳，后双跳。 Ø 服务发现下沉到Envoy。 Ø 基于 RPC + 服务发现实现透明流量劫持。 Ø 自建配置中心，产品化封装。 l 关键技术 Ø 内核劫持，使用Loopback IP 与 服务发现一一对应。 Ø RPC劫持，构建可快速扩展标准方案。 服务发现接入层。 ㊟ 内核劫持：Loopback方案 Ø loopback地址的管理和分配。 Ø 需要打通业务和loopback之间的映射管 理。 RPC劫持：可扩展方案 Ø envoy启动后注册port到bns-agent。 Ø rpc框架查询bns-agent IP与治理策略数据。 Ø bns-agent判断否使用envoy进行服务治理。 Ø rpc框架根据反馈的IP，治理策略信息请求对 应IP，会cache数据，需要即时更新。