Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控，每个监控对象一个标识即可，没有维度的设计 •新一代监控系统更加关注应用侧的监控，没有维度标签玩不转，每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大，组件众多，涉及underlay controller-manager的监控 • controller-manager 通过 /metrics 接口暴露监控数据， 直接拉取即可 • controller-manager 在 Kubernetes 架构中，是负责监听 对象状态，并与期望状态做对比，如果状态不一致则进行 调谐，重点关注的是各个controller的运行情况，比如任 务数量，队列深度 • controller-manager出问题的概率相对较小，进程层面没

DevOps 开发多个维度， 这打破了原有的信息安全视角。在应对不断出现的针对云原生基础设施、平台及 容器的安全威胁过程中，原有的安全体系也产生了变革。主要表现在如下几个方 面：  防护对象产生变化 安全管理的边界扩展到了容器层面，需要采用新的安全策略和工具来保护容 器的安全性，如容器镜像的验证和加密、容器漏洞扫描和运行时监测等。  架构的变化 多云及混合云下的应用架构及工作负载更加复杂，需要采用分布式安全策略 kubelet 安全配 置要求、 CNI 和网络策略安全配置要求 2 网络安全等级 保护容器安全 要求 由中关村信息安全测评联盟团体标准委员会提出并归口，规定了在云环境中 采用容器集群技术的等级保护对象要求，包括第一级至第四级的安全要求。 3 云原生能力成 熟度模型 第 1 部分：技术架构 由中国信息通信研究院牵头编写，规定了基于云原生技术的平台架构的能力 成熟度评估模型，从服务化能力 的数据进行分析，并进行下一步的攻击。 权限设计不合理导致的攻击：权限设计不合理可能导致水平越权、垂直越权 和数据越权等攻击行为。水平越权，由于服务端在接收到客户端请求数据后进行 操作时没有判断数据的所属对象，致使用户 A 可以访问到属于同一角色的用户 B 的数据。 垂直越权，由于服务端没有设置权限控制或权限控制存在缺陷，导致恶意用 户只要猜测到管理页面的 URL 地址或者某些用于标识用户角色的参数信息等，

生产集群 https://myapp.io Running Instances 注册 工作负载类型 运维特征 发布/部署 CRD 注册中心 KubeVela 的 Application 对象 镜像与启动参数 多组件 如何扩容 扩容指标，实例数范围 组件类型 可灵活扩展的其 他能力 • 一个完整的应用描述文件（以 应用为中心） • 灵活的“schema”（参数由 能力模板自由组合） 的能力模板 – 组件类型 抽象封装方式 K8s 对象模板 CUE 模板 工作负载类型 Helm chart 封装 其他封装 使用方式(json schema) KubeVela 的能力模板 – 运维能力 抽象封装方式 可作用的工作负载 K8s 对象模板 CUE 模板 Helm chart 封装 其他封装 Trait 自身 CRD对象 使用方式 (json schema) 示例：上线新功能 态机 发布单模式下 Application 的更新不 再实际操作资源，只生成版本快照 AppRollout-1 开始 暂停 继续 成功 AppRollout-2 新的发布使用新的发布单对象 K8s Resource v1 -> v2 cluster2 cluster1 面向终态的多版本共存 --渐进式发布 Application AppRevision v1 AppRevision

Kafka ES HostGroup Auth DataSource FileCleaner ConfigGroup Config CgroupQuota Action … … 配置对象转化 对象引用 Pipeline 归属 Business Agent Agent Filebeat2 Packetbeat FileCleaner Filebeat1 … Logstash2

从实现上，可以认为 Rook 是一个提供了 Ceph 集群管理能力的 Operator。其使用 CRD 方式来对 Ceph、Minio 等存储资源进 行部署和管理。 Ceph文件存储 MiniO对象存储 • Operator：实现自动启动存储集群，并监控存储守护进程，并确保存储 集群的健康； • Agent：在每个存储节点上运行，并部署一个 CSI / FlexVolume 插件， 和 Kubernetes 一个服务进行部署，MON、OSD、MGR 守 护进程会以 pod 的形式在 Kubernetes 进行 部署，而 rook 核心组件对 ceph 集群进行 运维管理操作。 Rook 通过 ceph 可以对外提供完备的存储 能力，支持对象、块、文件存储服务，让 你通过一套系统实现对多种存储服务的需 求。同时 rook 默认部署云原生存储接口 的实现，通过 CSI / Flexvolume 驱动将应 用服务与底层存储进行衔接，其设计之初

大数据业务可以使用集群整体空闲资源， 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资 源配额 资源共享：Queue • 集群级别资源对象，与用户/namespace解耦 • 可用于租户/资源池之间共享资源 • 支持每个队列独立配置Policy，如 FIFO, fair share, priority, SLA等 K8S CLUSTER

com/apixxx3 https://B.com/apixxx2 传统认知的 web入口 新型入口 fosf://xxx.serv ices.user.id 序号 含义 API1 失效的对象级授权 API2 失效的用户认证 API3 过度的数据暴露 API4 资源缺失和速度限制 API5 功能级别授权已损坏 API6 批量分配 API7 安全性错误配置 API8 注入 API9

20%，虽然牺牲部分性能，但解决了用户在其可扩展 性、灵活性、生态上的痛点，另外对性能方面也有优化空间： 经济体互通网关蚂蚁侧场景，当前灰度了少量的线上流量，已经平稳运行了 1 个月左右； • 业务代码优化，如减少对象数量 • 内存管理优化，如 jemalloc 替换 tcmalloc、堆外内存 • runtime 相关优化，如 cgocheck 调优、P 分组管理等 • 交互协议优化，如减少 CGO 交互次数等