后面还要涉及到升级维护的问题。既然负载节点更重要， 我们讲解监控就从工作负载节点开始。 Kubernetes 所在宿主 的监控 Kubernetes所在宿主的监控 宿主的监控，比较常规和简单，无非就是 CPU、Mem、Disk、DiskIO、Net、Netstat、Processes、 System、Conntrack、Vmstat 等等。原理就是读取 OS 的数据（通过 /proc 和 syscall Categraf Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 关键指标 CPU使用率，分子是每秒内容器用了多少CPU 时间，分母是每秒内被限制使用多少CPU时间 sum( irate(container_cpu_usage_seconds_total[3m]) ) by (pod,id,namespace,container,ident,image) / sum( container_spec_cpu_quota/container_spec_cpu_period

调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation，backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 weight=2 Queuer2 with weight=1 Submit job to Queue 2 Queuer2 with weight=1 CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU CPU Queue2 is empty. Q1 can borrow resources from Queue2. Queue2 has workload Spark首个Batch调度器 SPARK-36057: Support volcano/alternative schedulers Pod Group Queue - 依据PodGroup调度 - 最小资源预留（CPU/MEM） - 作业优先级 - 多队列 - 多租户 - 优先级 - 公平调度 - 抢占 - …… More k8s native resource support • 首个Batch调度器

watch到Consul对应的agent id路径，实时感 知配置变化，并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑 返回agent id 增删改策略 获取策略列表 启动管控收集进程 watch配置变化 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知 • 部署全自动化 • 多Beats支持 • Beats运行时cpu/mem可控 • Agent监控视图 • 离线/容量/延时监控 • 分布式集群管理 • 异常快速定位 • 关联公司CMDB • 资源权限管理 • 配置灰度控制发布 • 配置一致性检测 Agent运行时监控 日志延时分析 Beats cpu/mem管控 ES/kafka容量管理 日志覆盖率分析 13 案例:高并发写入场景下Beats与ES性能优化 日志上报是 否有延时？ Filebeat资 源受限？ ES写入性 能不足？ beats性能 调优？ ES写入参 数调整 升级ES配 置 发现延时 Cpu/mem充足 Cpu/mcem充足 提升beats资 源配额

growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Service的Pod的QPS、IOPS、BPS分别是多少？ 例如：Pod所在的KVM宿主机的CPU、内存指标？ ② 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ③ Metrics与「非Aggregatable」的Log 例如：QPS降低与进程、服务器的日志有关联吗？ 存储 ③ 查询 ③ 查询 看云网更清晰 Simplify the growing complexity. MultistageCodec的性能提升：~10X 标签存储类型 机制 标签长度 CPU 内存 磁盘开销 使用Int Tag 直接存索引 16B 1 1 1 使用LowCard(String) Tag 索引和标签分离 16B 10 1 1.5 (Card.=5000) 5 (Card 监控600+个K8s Node（~8000个POD），共600*16vCPU • 每秒写入1M Row（50MB字节），每行100~150 Column • Server端共6*16vCPU，总计CPU消耗<150%，总计Load<60 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例

核心目标是保证系统和应用的完整性，从而保证系统按照设计预期所规 定的安全状态。尤其是像边缘计算BOX这种安全防护，根据唯一Hash值验 证，可以实现极为简单的边云接入操作，运行态并不会影响性能。 可信根一般是一个硬件，比如CPU或者TPM，将从 它开始构建系统所有组件启动的可信启动链，比 如UEFI、loader、OS、应用等，可以确保在被入侵 修改时的阻断行为，另外可以将可信启动链的 Hash值上传云端管理，可以做到中心管控验证的 应 高负荷的场景。另外也需要进一步将计算和内存分离出 来，使得计算层彻底变为无状态，可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA，绕过CPU，直接和远端内存通信，在计算与 存储分离、计算与内存分离架构上，提升网络利用率和 性能，也能得到传统数据库网络和性能上一样的体验。 • 底层Data Chunk，采用去中心存储，单体失败不影响数 据 间得到了极大的减少，上传和下载镜像的时间变的更短，快速启动和销毁变的很容易，总体极大的缩短了应用的 发布周期。 • 在资源利用率方面，借助云原生架构的技术能力，多方位提升系统的资源利用率，如细粒度调度（将CPU和内存 这两个核心资源划分的更细，从而更充分的分配系统资源）、动态调度（基于节点真实负载情况，而非静态划分 的资源，将任务调度到已分配了资源但是未实际使用的节点上，从而更充分的提高系统算力），在离线混部（根

Memory int `json:"memory"` CPU int `json:"cpu"` GPU int `json:"gpu"`

关联 应用链路（Tracing） 应用日志（Logging） 应用链路 TraceID 私 有 云 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 关联 应用链路（Tracing） 应用日志（Logging） 应用链路 TraceID 私 有 云 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性

程序漏洞导致的容器逃逸：参与到容器生态中的服务端、客户端程序自身存 在的漏洞都可能导致容器逃逸的风险，例如 CVE-2019-5736 漏洞。 2.3.3 拒绝服务攻击 由于容器与宿主机共享 CPU、内存、磁盘空间等硬件资源，且 Docker 本 身对容器使用的资源并没有默认限制，如果单个容器耗尽宿主机的计算资源或存 储资源（例如进程数量、存储空间等），就可能导致宿主机或其他容器的拒绝服 见容器安全内容。k8s 提权的方式和场景有很多，比如 RBAC 提权，还有一些 用于 k8s 提权的 Nday，比如 CVE-2018-1002105、CVE-2020-8559 等。 拒绝服务：主要从 CPU、内存、存储、网络等方面进行资源耗尽型攻击。 云原生安全威胁分析与能力建设白皮书 29 2.4.4 集群环境下的横向攻击 可能存在的横向攻击内容包括攻击 API Server 以及攻击其他服务，如攻击 Protection Platform 云原生应用程序保护平台 CNCF Cloud Native Computing Foundation 云原生计算基金会 COW Copy-on-Write 写时拷贝 CPU Central Processing Unit 中央处理器 CSA Cloud Security Alliance 云安全联盟 CSPM Cloud Security Platform Management

latency / fault / … ● TimeChaos: clock skew ● KernelChaos: kernel fault injection ● StressChaos: burn cpu and memory ● DNSChaos …. ● Controller Manager ● Chaos Daemon ● Chaos Dashboard ● Grafana datasource

迭代3-Multi Runtime 需求： • 使用 Containerd 之后、根据不同业务场景使用不同的 Runtime • 兼容 EKS 和 IDC（Kata） 迭代4-HPA 需求： • 根据 CPU 使用情况来自动扩缩容量 • 兼容 HPA 自动修改 replica 数量的逻辑 反思 • 新增一个无关的（HPA，Sidecar）功能都需要 Controller 适配是否合理？ • 新增一个公有云类型都需要修改