for our server farm across the years?Prometheus at scale ● Did we achieve our SLO goal this quarter? ● Is our network bandwidth saturated this year? ● What is the resource usage for our server farm across Grafana prometheus Old-schooled federation ● “Slave” prometheis collecting metrics for one cluster. ● Top level prometheus scraping from slaves. ● Top level prometheus as a query katacoda.com/courses/istio /deploy-istio-on-kubernetes ● Mixer, pilot and envoy exposes prometheus metrics by default. ● Configure prometheus to collect data from istio components. ● Deploy example bookinfo

服务器端有改造，单跳 客户端有改造，单跳Service Mesh时代的客户端和寻址方式 服务发现 加密 负载均衡 请求路由 目标服务 的标识 序列化 链路追踪 故障注入 日志 监控 Metrics 熔断 限流 服务降级 前置条件检查 身份认证 密钥管理 访问控制 …… 下沉到 Service Mesh 轻量级客户端 传统 侵入式 客户端 客户端应该尽可能的轻薄通用: 实现简单，方便跨语言，减少升级可能 104:12220 instances：[”192.168.1.104:12220”] SOFA Registry CoreDNS RPC Controller Kube API server Discovery services renew RPC services Watch services renew RPC DNS b.svc -> 10.0.3.100 1. 指向ClusterIPSOFAMesh 的DNS寻址方案的实现细节 POD APP Register Agent RPC Service Controller CoreDNS Kube API Server Pilot Discovery SOFA MOSN Get Service Info Get Service Info Watch RPC Service Watch Service

Client Listener Read / Codec Read / Codec Read / Codec accept Stream Event Handler Pool Server Server Server worker Write Write Write connect send write worker worker Read / Codec Read / Codec Client Listene r Read / Codec Read / Codec Read accept Stream Event Handler Pool Server Server Server worker Write Write Write connect data write worker worker Read / Codec Read / Codec Write Write write data Codec Worker Pool线程模型规划: SEDA 10 Client Listener IO Pool Server Server Server IO Event Handler Pool data Codec Worker Pool Stream Event Handler Pool worker worker

基础资源管控； • 应用发布运维体系； • 业务实时监控，日志收集； • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 IaaS层（Aliyun/OpenStack/VMWare/Bare Metal） PaaS 核心层 Operator变更三板斧 发布运维体系 可灰度： • Controller 发布避免 0-1； 可回滚： • 回滚到基线版本； • 快速止血，停止新版本调和； 可监控： • metrics 指标(任务队列|消费&重 试情况|吞吐量&错误)；

务信息，路由 信息等) 定制Istio组件 应用微服务 业务请求 控制流 图例说明 Pilot Mixer APP: Canary Deployment K8s API Server 管控规则 灰度发布 网格增强组件 原生组件 APP： Traffic Management APP ...产品化增强-服务注册发现 出于历史原因，我们使用了Kubernetes来部 request MSB API Gateway API Management Ingress Sidecar Service Discovery & Traffic Management Server Sidecar Sidecar Client Service Mesh Service Mesh Control Plane API Gateway：应用网关逻辑 • 使用不同端口为不同租户提供访问入口 按用户的API访问限流 • API访问日志和计费 Service Mesh：统一的微服务通信管理 • 服务发现 • 负载均衡 • 重试，断路器 • 故障注入 • 分布式调用跟踪 • Metrics 收集产品化增强-支持多网络平面 电信系统一般会有多个网络平面的，主要原因包括：避免不同功能的网络之间的 相互影响； 网络设计冗余，增强系统网络的健壮性； 为不同的网络提供不同的 SLA ；通

流量控制 • 审计日志 • 黑白名单 • …K8S集群 云平台微服务演进之基于Spring Cloud的微服务方案 NS A Service Zuul Nginx Eureka Server Service 1 Service 2 Ribbon 注册 业务服务 配置中心 启动获取 Monitor Turbine K8S流量 SC流量 同集群调用微服务 Spring Experience Auto Scaling & Self Healing Resilience & Fault Tolerance Distributed Tracing Centralized Metrics Centralized Logging API Gateway Job Management Singleton Application Load Balancing Service a backing ConfigStore. 3."Kubernetes" KubernetesRegistry is a service registry backed by K8s API server. 4."Consul" ConsulRegistry is a service registry backed by Consul. 5. "Eureka" EurekaRegistry is

蚂蚁金服网络代理演进之路 肖涵（涵畅） 蚂蚁金服高级技术专家 2019.10.26 Service Mesh Meetup #7 成都站网络代理是什么？ 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么？ Maglev Ipvs Katran 规则，不仅占用内存，对路由匹 配性能也有较大影响 § SOFAMosn发布业务无感知，平 滑升级 § 海量，高频的发布订阅动作 § 发布分组策略，间隔策略平滑升级 l 支持新老 mosn 容器间链接、metrics 无损迁移，升级全程无重新建联 l 支持对服务中 mosn 容器进行无损平滑升级，即“给奔跑的汽车换轮胎” l 支持 SOFARPC、HTTP/1.x、消息、TLS 等多种协议无损迁移资源问题

Adapter的运行时资源开销 • 不受Adapter增减/更新/升级影响 • 保持Proxy代码简单 • 保持Proxy代码简单 • 数据平面可替换原则 Kubernete s API Server Adapters ConfigurationsOut-of-process Adapter 7/39 Istio的新回答：架构继续优先，性能继续放一边 Part 1：ServiceMesh灵魂拷问一：要架构还是要性能？ pipeline的，但是由于mixer 设计 的延迟和SPOF（单点故障）特性，导致直接在Envoy中实现 (Envoy SDS) • 复杂性 • Mixer使用一组称为模板的核心抽象，来描述传递给适配器的数据。 这些包括“metrics”，“logentry”，“tracepan”等。这些抽 象与后端想要消费的数据不匹配，导致运维需要编写一些手动配置， 以便在规范的 Istio 样式和后端特定的样式之间进行映射。原本期望 这种

RBAC Ø Tracing框架，已支持 SOFA Tracer Ø Metrics扩展，已支持 prometheus Ø 支持Mixer filter Ø 平滑升级迁移支持metrics Ø Access log Ø Listener log、Default log Ø IO、协议、前后端核心 metrics技术案例 – 协议自动识别 TLS链接 核心实现思路： Ø TLS通过ALPN来识别。 优化思路：适配MOSN框架，复用官方实现核心结构体和解析流程 Ø 框架适配 ü IO框架 ü 内存复用框架 ü workerpool协程池框架 Ø 功能支持 ü 请求流式处理模式 ü 热升级 ü metrics ü 修复HTTP/2 headers key不支持冒号开头字段的问题 ü 适配envoy的HTTP2配置项 Ø 代码管理 ü fork x/net/http2 代码 ü 新增mosn_http2

技术路线全覆盖-TelemetryV2(WIP) 23/28Tracing-协议支持 24/2825/28 Tracing SkyWalking 8.0之前 Tracing，Metrics 只能二选一 SkyWalking8.0 Tracing，Metrics 可以同时支持维度匹配 SkyWalking Mixer Mixerless Service App without version 同左 Instance