平台侧自身复杂度变高， 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件，控制面：API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点，最核心就是监控Pod容器和节点本 身，也要关注 kubelet 和 kube-proxy l 业务程序，即部署在容器中的业务程序的监控，这 个其实是最重要的 进程的内存使用量 Kubernetes控制面 controller-manager的监控 • controller-manager 通过 /metrics 接口暴露监控数据， 直接拉取即可 • controller-manager 在 Kubernetes 架构中，是负责监听 对象状态，并与期望状态做对比，如果状态不一致则进行 调谐，重点关注的是各个controller的运行情况，比如任 务数量，队列深度 务数量，队列深度 • controller-manager出问题的概率相对较小，进程层面没 问题大概率就没问题 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，大盘可以参考 k8s/cm- dash.json • rest_client_request_duration_seconds 请求 apiserver 的耗时分布，histogram类型，按 照 url + verb

Volcano Global Kubernetes Volcano-controller Volcano-scheduler Kubernetes Volcano-controller Volcano-scheduler … Kube-apiserver Job/JobFlow Queue vc-controller vc-scheduler vsub kubectl Node 架构 多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s API Server Queue Controller Job Controller VG Controller VG API Server Cluster A K8s API Server Cluster B Agent Other Clusters Karmada

MultistageCodec：采集 ➔ 存储 ➔ 查询 DeepFlow Agent DeepFlow Ingester ClickHouse tagint DeepFlow Controller tagint tagint tagint tagstr DeepFlow Querier …… tagstr no-tag tagint tagint tagint tagint ③ 查询 ③ 查询 看云网更清晰 Simplify the growing complexity. Stage-1：采集时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Controller向Agent下发编码后的Int标签 • 仅向Agent下发最少的标签 • 标签的“基” • 如何选择基 • VPC：多租户环境下，与IP决定实例、服务 VPC：多租户环境下，与IP决定实例、服务 看云网更清晰 Simplify the growing complexity. Stage-2：存储时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Controller向Ingester下发编码后的Int标签 • 仅向Ingester下发需要持久化存储的标签 • 便于检索 • 如何选择需要随观测数据存储的标签

enterprise Pull layers for scanning Harbor API Scan data store Scan store Scanner registry Scan controller Launch scanning Scanner config Start scan 来自中国厂商： • 小佑科技 • 探针科技 制品安全分发-扫描 [2] 扫描报告有助于实时了解所管理镜像的相关漏洞信息和安全威胁程度 CR: Jobservice CR: Trivy Autonomous Operator Controllers harbor Controller PostgreSQL Controller Redis Controller Minio Controller External Services K8s Resources K8s Resources K8s Resources

Registry Addon Discovery Cron Job App Controller Application Helm Controller Database Rollout Controller Revision Manager Multi-env Deployment Controller Dependency Manager KubeVela 的整体架构 BaaS

的时候，需要申请的是内网 IP，而不是公网 IP 迭代2-ServiceMesh 需求： • 使用 OpenKruise 的 SidecarSet 注入/更新 Sidecar（MOSN） • Controller 兼容自动注入逻辑 迭代3-Multi Runtime 需求： • 使用 Containerd 之后、根据不同业务场景使用不同的 Runtime • 兼容 EKS 和 IDC（Kata） CPU 使用情况来自动扩缩容量 • 兼容 HPA 自动修改 replica 数量的逻辑 反思 • 新增一个无关的（HPA，Sidecar）功能都需要 Controller 适配是否合理？ • 新增一个公有云类型都需要修改 Controller 是否合理？ • 当新的需求来临应该怎么扩展？ …… 需求 需求： • 最好能兼容现在的逻辑（Helm 发布） • 方便扩展 • 高级特性

定制化能力，才能成为云原生 的操作系统。 标准化能力-分布式操作系统核心-容器服务-Operator API Server Kubectl Controller Pod,Deploymen t,etc. API Server Kubectl Custom Controller Custom Resource(CR) Operator机制 Pod,Deployment, etc Spec (K8s 缓存、请求分片与管理、静态响应处理、协议转换等，它将公共的非 业务功能能力进行了集成和管理，同时也简化了微服务的研发和部署。 为什么需要API网关 传统网关上容器云(K8S) Gateway 网关Controller K8S Scheduler Gateway Gateway 传统Gateway在云原生高弹性环境下容易变成单点故障区，或者流量瓶 颈点，所以需要根据业务规模进行容量和稳定性治理，那么就需要通

Control Loop Calling Nebula Cluster . ├── apis �� │ └── apps │ └── controller�manager ├── config │ └── crd │ ├── controller │ ├── nebula ├── cmd │ ├── ngctl ├── pkg │ ├── ngctl │ └──

clock skew ● KernelChaos: kernel fault injection ● StressChaos: burn cpu and memory ● DNSChaos …. ● Controller Manager ● Chaos Daemon ● Chaos Dashboard ● Grafana datasource plugin 为什么是 Chaos Mesh Chaos

⾯向交付的应⽤模型 Container Network Volume Device Pod Template Ingress ServiceMonitor Logger Workload Type/ Controller Type 能⼒模型 平台开发者/运维 应⽤模型 业务员开发者 容器模型 K8S模型 业务组件 业务组件 业务组件 流量治理 服务治理 运维能⼒ 应⽤ 应⽤模型定义⽤例