服务的版本v1. 定义 Ingress gateway 1 kubectl apply -f gateway.yaml 确认所有的服务和 Pod 都已经正确的定义和启动 确认所有的服务已经正确的定义和启动 1 kubectl get services 确认所有的Pod 都已经正确的定义和启动 1 kubectl get pods 确认⽹网关创建完成 1 kubectl get gateway

服务对外暴露攻击................................................................................27 2.4.3 业务 pod 攻击...................................................................................... 28 2.4.4 图 7 容器运行时安全风险......................................................................... 23 图 8 针对 k8s 进行攻击的路径分析......................................................... 27 图 9 针对微服务进行攻击的路径分析......... 图 13 容器逃逸结果展示...........................................................................40 图 14 k8s 权限提升攻击路径................................................................... 41 图 15 利用 CVE-2018-1002105

Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 看要监控的组件 Kubernetes架构 l 服务端组件，控制面：API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点，最核心就是监控Pod容器和节点本 身，也要关注 kubelet 和 kube-proxy l 业务程序，即部署在容器中的业务程序的监控，这 个其实是最重要的 随着 Kubernetes 越来越流行，几乎所有云厂商都提供 Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 cAdvisor

看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Service的Pod的QPS、IOPS、BPS分别是多少？ 例如：Pod所在的KVM宿主机的CPU、内存指标？ ② 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ③ Metrics与「非Aggregatable」的Log 混合云环境下的资源属性还有哪些 HOST KVM KVM VM L2GW、OvS iptables、ipvs POD POD envoy 应用进程 HOST KVM KVM VM L2GW、OvS iptables、ipvs POD POD envoy 应用进程 Gateway L4~L7 GW 资源池 区域 可用区 云平台 租户 云资源 宿主机 云服务器 Deployment StatefulSet ReplicaSet POD DeepFlow的典型客户环境中，两个微服务通信涉及到的标签多达上百个 Namespace Service Service Deployment Pod Container Node Cluster Ingress Deployment Pod Container 服务 app version env group

Technology Co., Ltd. All rights reserved. SLB / APIGW/ … 问题2：观测盲点 KVM switch VM iptables POD envoy 服务 KVM switch VM iptables POD envoy 服务 开发兄弟们辛苦打桩 全链路到底有多全？ 业务 开发 桩 simplify the growing complexity © 2021, YUNSHAN Technology Co., Ltd. All rights reserved. 业界动向 —— 云厂商监控 阿里云ARMS 问题：依赖于eBPF，仅支持Kernel 4.15+、仅阿里云（K8s需托管） simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved Technology Co., Ltd. All rights reserved. 获得原力的挑战 SLB / APIGW/ … KVM switch VM iptables POD envoy 服务 KVM switch VM iptables POD envoy 服务 端点：eBPF内核依赖 路径：全链路数据关联 © 2021, YUNSHAN Networks Technology Co., Ltd. All

华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling 多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s API Server Queue Controller Job Controller VG Controller VG API Server Cluster A K8s API Server Cluster B Agent Other Clusters Karmada network relevant info for running, # hosts, headless services etc. svc: [] # restart who job if any pod get evicted policies: - event: PodEvicted action: RestartJob tasks: - replicas: 1 name: mpimaster

以度量为基础，以NodeSelector算法来 决定在哪儿部署容器服务 • 运行时以期望与实际的差别进行动态调 整到期望的状态 标准化能力-分布式操作系统核心-容器服务-基本技术原理 事实标准的K8S容器服务设计 成应用与物理资源（IaaS，虚 拟机、物理，多云）的中间抽 象层，因为应用很复杂，很容 易陷入差异化定制市场，抽象 层的市场范围会更广，作为开 源平台，更容易成为通用性市 场选择。通用性才能做到普适 Kubectl Controller Pod,Deploymen t,etc. API Server Kubectl Custom Controller Custom Resource(CR) Operator机制 Pod,Deployment, etc Spec (K8s Yaml) Custom Resource Spec (K8S yaml) 通过拓展实现自定义控制器来实现对非标准资源的纳 以被微服务化或被容器化，那么现在阶段来看，整个 数字化转型的一些困难就是处于在技术上的碎片化，为云原生彻底发挥对极端变化的适应性价值还有很多障碍。 在统一的K8s管理面下， 通过一种代理容器(内置 了管理虚拟机的逻辑） 来启动虚拟化Pod， 此时可以同时在统一的 容器云平台下运行微服 务化容器化或者未容器 化的传统软件了； 另一个方向是，将底层计 算、存储和网络进行超融 合，提供极其简单的底层 运维能力，进一步简化云

云原生时代的应用与发布挑战 01 KubeVela 简介 02 KubeVela 中的渐进式发布实践 03 云原生时代，应用是怎 么样的？ 以 K8s 资源组合为核心 kubernetes/StatefulSet Kubernetes/Deployment K8s 的原生资源组合 1. 复杂、难懂、门槛高 2. 能力局限，不同场景各不相同 3. 不统一，每一个模式需要重新编 写发布对接 K8s-sigs 黑盒，不明确内部有哪些 资源。 2. 无法使用/对接云资源。 3. 发布能力缺失，使用 helm upgrade 没有灰度 能力。 Helm Chart 基于 CRD 自定义实现 需要大量 K8s 经验才能开发 某游戏公司自定义workload Pinterest 构建一个渐进式发布能力需要解决哪些 问题？ • 版本化 • 分批发布 • 滚动发布/原地发布 • 发布暂停 • 发布回滚 • 业务用户 选择并初始化部署环境 部署环境模板 选择能力模板 填写模板参数 组装能力为“应用” RDS Route Web Service Database 生产集群 Pod Nginx Pod 测试集群 生产集群 https://myapp.io Running Instances 注册 工作负载类型 运维特征 发布/部署 CRD 注册中心 KubeVela 的

（2）⾼容错化版本升级 （3）版本可回滚 （4）业务⾼观测性 ⾯向交付的应⽤模型 第三部分 K8S资源的模型定义 03. ⾯向交付的应⽤模型 Deployment Pod Container ⾯向交付的应⽤模型 03. ⾯向交付的应⽤模型 Container Network Volume Device Pod Template Ingress ServiceMonitor Logger Workload Controller Type 能⼒模型 平台开发者/运维 应⽤模型 业务员开发者 容器模型 K8S模型 业务组件 业务组件 业务组件 流量治理 服务治理 运维能⼒ 应⽤ 应⽤模型定义⽤例 03. ⾯向交付的应⽤模型 应⽤模型 PaaS平台 Kubernetes模型 K8S控制器 其他资源资源模型 逐级封装，向上透明 Application ComponentDefinition

居高不下的原因之一。 在K8s这种环境中，存在两种定制化的手段：其一是Deployment API，但是它却 把研发和运维的描述放在了一起；其二是Operator（CRD），我们不得不为不同 客户开发很多不同特质的Operator，交付成本依然很高。 定制Operator这种解决方案，看似 比较合理,但是强烈依赖于K8S这种 容器调度系统，无法做到通用化， 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念，用户面对的是Workload和Pod这样的概念，以及对应的运维概念（比如 HPA),在层次上是靠近对资源的抽象治理层面，对于业务研发人员而言是不友好的。应用 =Workload+运维特性+.......多种东西的集成，也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范，这是基 ess能力加快镜像构建速度、叠加安全左移能力等等。 OAM使得整体PAAS在通用化的情况下，向多种客户环境交付赋能。 OAM应用实例 从基础设施，到容器运行环境，再到应用都可以加入编排，想要在K8s上编排一切并不是容易的事情，通常一个应用，除了本身的容器之外还有许 多的依赖，常见的依赖有RDS，LB，MNS（SNS，SQS）等这类非容器资源。OAM在使用一体的“编排”语言即可将容器资源和非容器资源定义在一起。