Spanner LVS(四层负载) DNS 网络控制面 LDC1 Spanner Spanner APP APP APP APP Keycenter HTTP1 TLS1.2 MMTP Mtls MQTT HTTP2 TLS1.3 QUIC 国密 硬件加速 安全合规 Spanner LVS(四层负载) DNS LDC2 Spanner Spanner APP APP APP APP 百万级每秒推送Spanner 2010 • 自研，网络设备白盒化 • 全面实践全网https 2012 • 首次全流量支撑双十一大促 2013 • 支持蚂蚁LDC架构，三地五中心容灾架构 • 全面上线SSL加速卡，提供软硬件一体加速方案 2015 • All in 无线，通信通道全面升级（MMTP，MTLS协议） 2016 • 安全防护能力提升，WAF，流量镜像 2018至 今 • 通信 压测 • 灰度蚂蚁金服SSL/TLS实践 合规 性能 安全软硬件一体解决方案 Intel QAT Cavium Nitrox软硬件一体解决方案 SSL握手性能 提升3倍 • 对Spanner实现了异步化改造 • 对openssl进行了异步化引擎改造 • 实现多芯片卡的负载均衡协议实现的改造-MTLS MTLS：1) 轻量级TLS库，小于50k；2) 优化的TLS协议 0-RTT •

•网络编程接口 •链接管理 •事件机制 •Metrics 收集 •TCP 代理 •TLS 支持 •TProxy 支持 •平滑 reload •平滑版本升级 多协议 •SOFA RPC •HTTP 1.x (待优化) •HTTP 2 (待优化) •Dubbo (研发中) •HSF (研发中) •On TLS 核心路由 •支持 virtual host 路由 •支持 headers/url/prefix 11 指标\软件 SOFAMosn Envoy QPS峰值 18000 N/A RT(avg) 12.354ms N/A MEM 100m N/A CPU 100% N/AGolang TLS单核性能测试 12 Ø环境 ü CPU： Intel(R) Xeon(R) CPU E5-2430 0 @ 2.20GHz ü 内存： 1.5G Ø软件 ü Nginx-1.13.8 with Case2 ü 证书：ECC p256 ü Cipher： ECDHE-ECDSA-AES256-GCM-SHA384 Ø命令 ü ab -f TLS1.2 -Z $cipher -c 100 -n 200000 https://$ipGolang TLS单核性能测试 13Golang 单核加解密性能分析 14 ØGolang 对 RSA 上没有优化，并且暂无优化计划 ØGolang 对 p256

协程池化 Ø 调度均衡 Ø SOFARPC深度优化 Ø TLS官方库IO优化 Ø HTTP1.1/HTTP2.0 IO优化 Ø 日志操作异步化&多次合 并 Ø 基于RCU的高性能配置更 新安全 & 可观察性 0.1.0 0.2.0 0.3.0 0.4.0 Ø mTLS支持 Ø 支持inspector探测 Ø TLS扩展支持，支持自定义 证书获取 Ø RBAC Ø Tracing框架，已支持 平滑升级迁移支持metrics Ø Access log Ø Listener log、Default log Ø IO、协议、前后端核心 metrics技术案例 – 协议自动识别 TLS链接 核心实现思路： Ø TLS通过ALPN来识别。 Ø TLS不带ALPN或者明文，通过预读首部字段识别。 ALPN扩展 预读字段 是 否 获取ALPN协商 所得协议 有 无 遍历所有协议 实现，执行 ProtocolMatch 问题提供具体的解决方案，例如对于长连接网关场景，提供raw epoll模式来优化性 能表现。 ü 能力上，经过多轮演进，0.4.0版本已经初步具备了生产所需的大部分功能点，支持 云原生场景下的多协议、路由&LB、后端管理、TLS、遥感监测、XDS对接等功能， 并充分优化了性能，目前已经在蚂蚁、UC生产环境进行了验证。落地实践案例蚂蚁落地 – 应用接入 ü 适用于蚂蚁当前的服务发现 体系 ü 通过中间件通道对应用推送

0 架构 • Providers 用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host, path, headers, SSL, …） • Services 将请求转发给你的应用（load balancing, …） • Middlewares 中间件，用来修改请求或 者根据请求来做出一些判断（ authentication traefik-webui-tls namespace: kube-system spec: entryPoints: - websecure routes: # 需要在公网做域名解析 - match: Host(`traefik.k8s.local`) kind: Rule services: - name: traefik port: 8080 tls: certResolver: kind: IngressRouteTCP metadata: name: redis spec: entryPoints: - redis routes: # 特定的域名需要指定对应的TLS证书 - match: HostSNI(`*`) services: - name: redis port: 6379More Info https://docs.traefik.io/谢谢

Meetup #6 广州站基于 Secret Discovery Service Sidecar 的证书管理方案 使用可信身份服务构建敏感数据下发通道 Service Mesh Sidecar 的 TLS 生产级落地实践 分享内容基于 Secret Discovery Service Sidecar 的证书管理方案 Kubernetes Secret 证书管理流程 在 Kubernetes 场景下，证书是通过 通信的Grpc服务获取密钥等敏感信息Service Mesh Sidecar 的TLS 生产级落地实践 TLS 实践难点 证书管理 开关切换 灰度控制 SDS 证书管理方案 ISTIO Policy | Mesh Policy ScopeConfigService Mesh Sidecar 的TLS 生产级落地实践 开关切换 RPC 通信场景下，为保证平滑无损的TLS切换能力，需 要分别控制 Server (Provider) (Consumer)端的 TLS 行为  对于Server 端利用Istio 的Policy CRD 实现 Namespace + Service 粒度的开关控制  对于Client 端理想情况下，希望是通过Istio 的 DestinationRule 和 VirtualService 来控制。但由于相 关条件尚未具备，因此通过现有注册中心来控制 Client TLS 能力Service Mesh

Kubernetes TLS，国密 服务鉴权 Mirror Ingress Controller Pod Msg 服务 MOSN Pod Dubbo 服务 MOSN Pod 数据访问服务 MOSN TLS，国密 服务鉴权 Mirror 访问请求 MOSN 多种服务注册中心 SOFA Registry Nacos Etcd ZooKeeper 多协议接入 TLS，国密 WAF，DDos2/10 未来发展思路与方向 更完善的文档及 Demo 安全审计 社区 更多的协议及服务框架支持 Dubbo、SpringCloud、 RocketMQ、gRPC、HTTP3、 MQTT、QUIC、TLS1.3 等 多协议 支持模块化 自适应限流 多协议深度扩展能力 多进程 WAF WebAssembly 兼容用户态协议栈 Lua 支持 核心和开放能力 适配 Istio，兼容 UDAP

Sockets数量减少到个位级产品化增强-Ingress API Gateway K8S Ingress Load balancing SSL termination Virtual hosting Istio Gateway Load balancing SSL termination Virtual hosting Advanced traffic routing Fault injection injection Other benifits brought by Istio API Gateway Load balancing SSL termination Virtual hosting Traffic routing API lifecycle management API access monitoring API access authorization API key management

• Contour支持Tracing能力 • 数据面共存 • 共用边车组件Envoy七牛现有Service Mesh体系 • Istio产品化 • 东西流量产品化 • 南北流量产品化 • TLS管理优化 • Contour增强 • 入口流量管控 • 跨集群调度 • 发展策略 • API版本兼容两种方式 • 数据面优先，控制面按需迭代七牛容器云Service Mesh发展 • 产品发展

服务间认证 • 终端用户认证Istio的核心组件 • Envoy 是一个高性能轻量级代理，它掌控了service的入口流量和出口流量，它提供了很多内置功能，如动态负 载服务发现、负载均衡、TLS终止、HTTP/2 & gRPC流量代理、熔断、健康检查等功能。 • Mixer 翻译过来是混音器，Mixer负责在整个Service Mesh中实施访问控制和使用策略。Mixer是一个可扩展组

nslookup nslookup ReNew Me ? Sorry , You Can’tCoreDNS 的力量 miekg/dns Caddy (plugins) TCP/UDP TLS gRPC ReNew Me ? Yes, I’m power by plugins CoreDNS https://ahmet.im/blog/coredns-grpc-backendsCoreDNS