DestinationRule Service Kubernetes层 POD-2 pilot-agent Container v5897 POD-1 pilot-agent Containermaster POD-n … jenkins Client Chrome • 无状态服务的扩缩容 Traffic serviceA Pod A1 Pod A2 RC/Deployment Scale 服务画像 监控中台 serviceB Pod B1 Pod B2 Pod B3 RC/Deployment Scale Horizontal Pod Autoscaler Horizontal Pod Autoscaler 获取metrics CPU Mem已经支持指标自定 义metrics(用户自定义指标) 获取metrics CPU Mem已经支持指标自定 义metrics(用户自定义指标)

Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 看要监控的组件 Kubernetes架构 l 服务端组件，控制面：API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点，最核心就是监控Pod容器和节点本 身，也要关注 kubelet 和 kube-proxy l 业务程序，即部署在容器中的业务程序的监控，这 个其实是最重要的 随着 Kubernetes 越来越流行，几乎所有云厂商都提供 Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 cAdvisor

Service Monitor Istio Virtual Service Deployment Ingress Service YAML 文件 代码、应用、CICD 流水线 容器 Pod Controller 调度 Node Sidecar CNI CSI 为了更好的用户体验： 用户 期望： K8s 提供： 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 抽象”、“用户友好” 且“高度可扩展”的 K8s！ 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高，用户体验越好 抽象程度 学习曲线 高 低 低 高 Deployment Pod Service Node … PodTemplate Configuration Revision Route $ heroku apps $ heroku domains $ heroku releases Encrypt Flagger Virtual Service Manual Scaling App CRD HPA Knative Service Cert Canary AutoScaler AutoScaling Route Job Deployment 缺乏交互、复用、可移植能 力。不同重复造轮子只是适 配不同 API 如何基于 K8s ，构建出一个既用户友好，又高可扩展，还

with a margin of 20 points from the top & bottom (vertical) and 30 points from the left & right (horizontal): mutool trim -b mediabox -m 20,30 -o out.pdf in.pdf Trim a document by trimming the MediaBox [a,b,c,d,e,f]. The transform matrix. • glyph – Integer. • unicode – Integer. • wmode – 0 for horizontal writing, and 1 for vertical writing. text.showGlyph(new mupdf.Font("Times-Roman"), mupdf.Matrix Return advance width for a glyph in either horizontal or vertical writing mode. Arguments • glyph – The glyph as unicode character. • wmode – 0 for horizontal writing, and 1 for vertical writing. Returns

object. • transform – [a,b,c,d,e,f]. The transform matrix. • glyph – • unicode – • wmode – 0 for horizontal writing, and 1 for vertical writing. showString(font, transform, string) Add a simple string wmode) Return advance width for a glyph in either horizontal or vertical writing mode. Arguments • glyph – The glyph. • wmode – 0 for horizontal writing, and 1 for vertical writing. Returns Width mutool JavaScript API 87 MuPDF Documentation, Release 1.21.2 • language – String. • wmode – 0 for horizontal writing, and 1 for vertical writing. • style – String. addFont(font) Create a PDF object from

with a margin of 20 points from the top & bottom (vertical) and 30 points from the left & right (horizontal): mutool trim -b mediabox -m 20,30 -o out.pdf in.pdf Trim a document by trimming the MediaBox [a,b,c,d,e,f]. The transform matrix. • glyph – Integer. • unicode – Integer. • wmode – 0 for horizontal writing, and 1 for vertical writing. text.showGlyph(new mupdf.Font("Times-Roman"), mupdf.Matrix Return advance width for a glyph in either horizontal or vertical writing mode. Arguments • glyph – The glyph as unicode character. • wmode – 0 for horizontal writing, and 1 for vertical writing. Returns

with a margin of 20 points from the top & bottom (vertical) and 30 points from the left & right (horizontal): mutool trim -b mediabox -m 20,30 -o out.pdf in.pdf Trim a document by trimming the MediaBox [a,b,c,d,e,f]. The transform matrix. • glyph – Integer. • unicode – Integer. • wmode – 0 for horizontal writing, and 1 for vertical writing. text.showGlyph(new mupdf.Font("Times-Roman"), mupdf.Matrix Return advance width for a glyph in either horizontal or vertical writing mode. Arguments • glyph – The glyph as unicode character. • wmode – 0 for horizontal writing, and 1 for vertical writing. Returns

Technology Co., Ltd. All rights reserved. SLB / APIGW/ … 问题2：观测盲点 KVM switch VM iptables POD envoy 服务 KVM switch VM iptables POD envoy 服务 开发兄弟们辛苦打桩 全链路到底有多全？ 业务 开发 桩 simplify the growing complexity © 2021, YUNSHAN Technology Co., Ltd. All rights reserved. 获得原力的挑战 SLB / APIGW/ … KVM switch VM iptables POD envoy 服务 KVM switch VM iptables POD envoy 服务 端点：eBPF内核依赖 路径：全链路数据关联 © 2021, YUNSHAN Networks Technology Co., Ltd. All K8s Node (VM/BM) 业务POD 业务POD 业务POD CNI vSwitch / Bridge DeepFlow 采集POD (HostNet) DaemonSet • 零干扰：无需对vSwitch和Node做任何配置、不监听任何端口 • 全自动：DaemonSet POD部署运行，随K8s自动扩展 • 零侵入：不侵入业务POD，可采集所有业务POD及本Node流量 虚拟化 - KVM

svce svce.n s svcd.n s svcd.n s Kube-proxy Kube-APIServer ServiceIp Backend Pod1 Labels:app=svcb Port:9379 Backend Pod2 Labels:app=svcb Port:9379 svca8 基础设施(Kubernetes)看Istio: 能力增强 服务部署运 维 服务治理 Kube-APIServer Etcd istioctl / kubectl Pilot Envoy SVC Pod Node Envoy SVC Pod Node Envoy SVC Pod list/watch (Service, Endpoints, Pod) 用户13 Istio & Kubernetes：统一服务发现 Pilot ServiceController( 灰度发布：A/B Testing19 灰度发布：Canary releases20 灰度发布：基于Kubernetes RC Version2 SVC SVC Pod1 Pod2 Pod3 SVC Pod1 Pod2 Version1(canary) 40% svcB svcA KubeAPIServer 60% Scheduler Controller- Managerr21

同时引入域名和DNS，实现通用寻址 （长期目标） 引入DNS寻址方式(基于域名和DNS的Naming Service)Pod: 192.168.1.103 客户端通过域名来对服务进行访问 SOFA Mosn Service A PORT 12220 PORT 15001 Pod: 192.168.1.104 SOFA Mosn Service B PORT 12220 PORT 15001 doSomething(); 2. 发起调用(请求报文中包含要调用的接口名和函数名) 按接口查找Kubernetes的DNS寻址 userservice pod DNS userservice pod userservice pod 1. 服务部署 • ServiceType=ClusterIP • ServiceName=userservice • ClusterIP=10.254 • 修改目标地址为Pod IP=192.168.1.* 6. 请求转发给pod kubernetes Pod IP=192.168.1.101 Pod IP=192.168.1.102 Pod IP=192.168.1.103 client Node podIstio 的DNS寻址 userservice pod DNS userservice pod userservice