业务研发 2. 语义与抽象程度不同 业务运维 3. 交互与使用习惯不同 业务研发、运维 YAML 文件 图形化界面 命令行工具 IaC 配置语言 扩容策略 • 当 RT 上升 10% 时，自动扩容 100 个实例 发布策略 • 当金丝雀实例通过 99% 的测试时，按 每小时切 10% 流量 的节奏进行发布 YAML 文件 YAML 文件 HorizontalPodAutoscaler Node Custom Resource 一组容器 一组 Pod 副本 Pod 的访问入口 节点 自定义对象 声明式 API 对象 基础设施层能力 业务运维 平台工程师 业务研发 扩容策略 发布策略 分批策略 访问控制 流量配置 应用管理平台 （Openshift、Cloudfoundry、阿里内部、腾讯内部 …） 应用 CI/CD 流水线 K8s PaaS K8s 但是，K8s PaaS 思考： 1. 基于 Kubernetes 2. 用户友好、高可扩展 3. 统一、标准化 理想中的应用管理平台 目标一：一个面向用户，应用为中心 CI/CD 流水线 应用 扩容策略 发布策略 分批策略 访问控制 流量配置 Pod Deployment Service Node Custom Resource 业务运维 业务研发 按需绑定 关键词：用户友好，应用层语义和抽象 平台工程师

设置登录、访问权限、外观 可观测性 一站式图形化仪表盘 应用工作台 CI/CD 流水线实现 GitOps 和 DevOps 工作流 多云编排 基于 Karmada 构建多云实例/负载/策略管理 微服务引擎 基于 Nacos/Sentinel/Eureka 等微服务治理中心和网关 服务网格 基于 Istio 定制的增强版网格化治理 版权 © 2023 DaoCloud 跨集群负载统一管理能力。 策略管理 支持以命名空间或集群粒度制定网络策略、配额策略、资源限制策略、灾备策 略、安全策略。 ➢ 网络策略，支持以命名空间或集群粒度制定网络策略，限定容器组与网络平上网络” 实体“通信规则。 ➢ 配额策略，支持以命名空间或集群粒度设定配额策略，限制集群内的命名空间的资源 使用。 ➢ 资源限制策略，支持以命名空间或集群粒度设定资源限制策略，约束对应命名空间内 应用对资源的使用。 ➢ 灾备策略，支持以命名空间或集群粒度设定灾备策略，实现以命名空间为维度进行容 灾备份，保障集群的安全性。 版权 © 2023 DaoCloud 第 10 页 ➢ 安全策略，支持以命名空间或集群粒度设定安全策略，为 Pod 定义不同的隔离级 别。 全局管理 全局管理是以用户为中心的综合性服务板块，包含用户与访问控制、企业空 间、审计日志、平台设置等基础服务模块。

创建 Namespace 和 PVC 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 创建 Service �. 创建 Ingress �. Haproxy 策略配置上述 Ingress 与服务映射的 �� 端⼝ �. 访问 Wordpress 容器服务 Kubernetes 版（CCK），提供⾼性能可伸缩的容器应⽤管理能⼒，⽀持Kubernetes社区原⽣应 pv使⽤⽂件夹的mode，⼀般选择 755 或 777 存储类名称：配置该存储类的名称，当创建pvc时，需要引⽤该名称 存储卷回收策略：Retain，PVC被删除后，保留对应的PV；Delete，PVC被删除后，删除对应 的PV 数据保留策略：当PV被删除后，如果数据保留策略为 true ，则归档相关数据，归档名称为 archived-原pv使⽤⽬录名称-时间戳 ； 如果为 false ，则直接删除该pv所使⽤的数据 必须满⾜，即硬约束，⼀定要满⾜，对应requiredDuringSchedulingIgnoredDuringExecution， Pod 的亲和性调度必须要满⾜后续定义的约束条件。 命名空间：该策略是依据 Pod 的 Label 进⾏调度，所以会受到命名空间的约束。 拓扑域：即 topologyKey，指定调度时作⽤域，这是通过 Node 节点的标签来实现的。 选择器：单击选择器右侧的添加按钮，可添加多条硬约束规则。

系统中的持久实体。Kubernetes使⽤这些实体来表示集群的状态。具体来说，它们可描 述： 容器化的应⽤程序正在运⾏什么（以及在哪些Node上运⾏） 这些应⽤可⽤的资源 这些应⽤的策略，例如重启策略，升级和容错 Kubernetes对象是⼀种“意图记录”——⼀旦您创建对象，Kubernetes系统将持续⼯作以确保对象存在。通过创建⼀个对 象，您可以有效地告诉Kubernetes系统您 ce。 Namespace是⼀种在多种⽤途之间划分集群资源的⽅法（通过 resource quota ）。 在未来的Kubernetes版本中，同⼀Namespace中的对象默认有相同的访问控制策略。 没有必要使⽤多个Namespace来分隔稍微不同的资源，例如同⼀软件的不同版本，可使⽤ labels 来区分同⼀ Namespace中的资源。 使⽤Namespace Namespace的创建和删除在 --large-cluster-size-threshold 个Node，默认50），那么驱逐就会停⽌；否则驱逐速率降低到 --secondary- node-eviction-rate （默认0.01）每秒。每个可⽤区实施这些策略的原因，是因为每个可⽤区都可能会从Master断开， ⽽另⼀个可⽤区仍然保持连接。如果您的集群不会跨越多个云提供商的可⽤区，那么就只有⼀个可⽤区（整个群集）。 译者按：可⽤区举例：AWS可⽤区：http://docs

攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 和 Wiz 是两个此类工具。我们建议管理复杂基础设施的团队在为组织设计安全策略或选择安全分析工具时考虑这 集成支持，我们非常期待能更广泛地使用它。 28. Immuta 试验 自从我们上次介绍了 Immuta 以来，我们的团队在使用这个数据安全平台方面已经积累了丰富的经验。它的亮 点包括能够将订阅和数据策略定义为代码、版本控制以及自动部署这些策略到更高的环境中。它基于属性的访 平台 © Thoughtworks, Inc. All Rights Reserved. 21 问控制（ABAC） 允许我们将标签关联到数据 Immuta 的全局订阅策略，访问权限将自动授予。值得一提的是 Immuta 的数据掩码策略，它通过对个人身份信息（PII）进行掩码和限制来保护数据隐私。可以使用行级安全策略来定 义对更细粒度的敏感信息的访问，以确保用户只能访问他们被授权查看的特定数据。我们对 Immuta 非常满意， 这也是为什么我们将其列入“试验”的原因：它提供了良好的开发者体验，使大型组织更容易管理数据策略。 29. Lokalise

ini�alDelaySeconds: 10 �meoutSeconds: 2 periodSeconds: 3 restartPolicy: Always #重启策略，默认Always #selector: #根据标签选择目标资源 # matchLabels: # lbnamexx: lbvaluexx tcpSocket: port: 80 ini�alDelaySeconds: 10 restartPolicy: Always #重启策略，默认Always，deploy不支持Never --- apiVersion: v1 kind: Service #创建service资源，不归deployment管理 metadata: tcpSocket: port: 80 ini�alDelaySeconds: 10 restartPolicy: Always #重启策略，默认Always # # kubectl apply -f monit.daemonset.yml #应用 # kubectl get daemonset #查看

维度：应用、核心应用 拓扑：单机、AZ 节点负载感知 资源利用率预测• 丰富的调度策略 规模化容器调度 APIServer Scheduler Webhook 离线特征分析 调度策略中心 专家策略 调度规则 CR Update if need 1. cpu分配策略 2. 应用/单机打散策略 3. 应用互斥/亲和策略 4. …… Pod 1. CPU精细化分配 2. 应用AZ/Node打散

器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 OCI & Docker 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 间长 •公司遗留内部运维（CI/CD）系统，需要对接公有云 •国内其他云厂商的容器服务问题较多、很不成熟 华为方案价值： •支持丰富的弹性伸缩指标策略，秒级伸缩应对流量变化 •支持模板方式一键部署，分钟级完成开服 •支持滚动升级等策略，秒级完成升级 •支持原生K8S API，方便集成调用 •提供Source2image工具，提高容器镜像的构建效率 CI/CD系统 客户交付 运维系统

Executor Task Node Node Node Global Job Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 Kubernetes 版本 • 月度发版 • 版本间的配置、参数、API 差异 多样集群类型（阿里云容器服务） Report Executor Autopilot Engine Ver.2 动态定制 Report Builder • 不同集群版本、类型、场景动态定制检测报告 • 不同检测点动态定制检测策略 Report cluster.version > 1.16.1 and cluster.type = Edge and report.type = upgrade Policy cluster terway.version > 1.0.9.14 Checkpoint terway.version terway.status Ver.2 动态扩展 Report Executor • 不同检测策略动态扩展检测任务 • KCQL + Data Driver = 泛化调用 Policy cluster.addon.terway.version > 1.0.9.14 Expression

腾讯大数据云 通用云平台 目录 • 架构简介 • 企业级容器云解决方案 • Next 企业级容器云架构 产品功能 企业级容器云解决方案 企业级 场景 易用 • 全组件自动化部署、统一配置管理、多策略灰度升级 • 提供可视化、自动化的运维能力，降低使用者的人力成本和学习成本 可靠 • 所有组件无单点； • 平台本身支持热升级； • 组件自身HA机制，如docker； • 多地域多可用区的容灾设计 k P2P Agent下载镜像对比 Registry与P2P Agent流量占比对比 • 镜像下载引入BT协议 • 对Docker Daemon零入侵 • 每层分别做种 • 优化blob下载策略 发表论文：《FID: A Faster Image Distribution System for Docker Platform》 2017 IEEE 2nd International Workshops 能力扩展：GPU支持 分布式存储Ceph 海量小数据读写优化 不同用户配额管理 任务带盘迁移 智能拓扑感知 GPU卡拓扑感知 资源访问代价树决策 资源调度算法解决碎片化 异构GPU统一管理 多种调度策略，多租户管理GPU卡 与CPU核自动绑定 支持单机多卡和多机多卡 发表论文：《Gaia Scheduler: A Kubernetes-based Scheduler Framework》 The