Kubernetes 管理 Docker 容器 date: 2020-12-18 tags: Kubernetes description: MacOS 平台 Kubernetes 管理 Docker 容器 图⽚来源于 Install Kubernetes: The Ultimate Guide Kubernetes 简介 Kubernetes 是容器集群管理系统，是⼀个开源的平台，

构建标准可扩展的云原生应用管理平台 2 3 有奖品？ 我的工作内容？ • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的？ PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台： 电商 PaaS Kubernetes 代码、应用、CICD 流水线 容器 Pod Controller 调度 Node Sidecar CNI CSI 为了更好的用户体验： 用户 期望： K8s 提供： 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 Route Job Deployment 缺乏交互、复用、可移植能 力。不同重复造轮子只是适 配不同 API 如何基于 K8s ，构建出一个既用户友好，又高可扩展，还 统一、标准化的应用管理平台？ 简单的“客户端”抽象： DCL (Data Configuration Language) 对 K8s 资源进行抽象实际上就是在操纵 YAML 数据，通过 DCL 来完成相比于 CRD +

Kubernetes YAML ⽂件的看法 • 阿⾥对解耦研发和运维的实践与教训 • 标准化、统⼀化的应⽤管理 阿里巴巴大规模容器化基础设施 新挑战 • 研发：Kubernetes API 太复杂？ • 运维：如何上手 Kubernetes 的扩展能力？ • 如何通过 Kubernetes 全面管理云资源（含虚拟机、VPC 等）？ K8s API 太复杂？ All in one。 思考题： 应用的描述，大家的关注点是？ • 研发关心 根本看不懂 • 运维关心 某内部 PaaS 精挑细选，只剩下 ~5 个 Deployment 的字段允许研发填写。 简单却能力不足： 思考题： 有状态的复杂应用如何管理？ 基础设施能力还如何演进和透出？ 研发自己的诉求如何传达给运维和基础设施？ K8s 扩展能力的真实情况 我的 Zookeeper 该用 哪种K8s Workload 接入？ 你恐怕得写个 Operator…… CRD？看配置文件？看 …… 文档？ • 扩展能力间出现冲突，导致线上故障 • 比如：CronHPA 和 默认 HPA 被同时安装给了同一个应用 • K8s 扩展能力之间的冲突关系，如何有效管理？如何有效的对运维透出？ K8s 如何管理描述云资源？ 太好了，我还需要启动一个 RDS, 能跟 helm一起打包吗？ Operator 写好了,用 helm 打包部署吧，美滋滋.. 这样啊，你们PaaS 平台的

Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 基于 K8s 的多云、混合云DBPaaS管理平台 ，支持MySQL、 PostgreSQL、Redis、MongoDB、Kafka等开源数据库的自动化 运维。 云猿生于2022年5月份成立，总部坐落于杭州，并同期设立 TPR （ThirdPartyResource），首次尝 试解决 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 备份策略、备份方式、恢复方式、备份管理等等。 Disaster Recovery & High Availability Failover/Switchover、多可用区、数据恢复等等。 Security & Compliance 访问控制、审计、安全链接、加密存储等等。 Patching & Upgrades 小版本升级、大版本升级、安全漏洞修复等等。 Data Migrations

地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 早在 2003 年就撰写了有关此主题的文章，但问题并没有消失。在 这期雷达中，我们讨论了许多现 情。 我们发现，许多组件库之所以受到批评，是因为所有者团队无法快速响应消费者的需求，并且无法接受来自外 部的贡献。产品为中心的思维方式还要求组织思考是否应该允许和怎样向设计系统做出贡献，以及如何管理这 些贡献——在这个话题上，我们推荐采用设计系统决策记录。对我们来说，维护一个良好的设计系统或组件库 不光是技术工作，也同样是社交工作。 2. 轻量级的 RFCs 方法 采纳 Request 能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 和 Wiz 是两个此类工具。我们建议管理复杂基础设施的团队在为组织设计安全策略或选择安全分析工具时考虑这 项技术。 5. 自动合并依赖项更新 PR 试验 软件供应链的复杂性是一个重大风险，我们已经在一些文章中进行过讨论，例如 SBOM

中间件服务 4 微服务治理 5 可观测性 5 应用商店 6 应用交付 6 信创异构 7 云边协同 7 云原生底座 8 模块化搭建 8 容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 14 云原生网络 15 搭建的新一代容器化平台能够满足企业上云的各类场景需求。 多云编排 支持多云和混合云的统一集中管理，提供跨云资源检索及跨云的应用部署、发布和运 维能力，实现多云应用高效管控，提供基于集群资源的应用弹性扩缩，实现全局负载 均衡，具备故障恢复能力，有效解决多云应用灾备问题，助力企业构建多云、混合云 的数字基础设施。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页

• 管理型居多 • 适应性不⾜… 系统建设 • 建设周期⻓ • 存在重复建设 • 投资回报低 • 系统维护成本⾼… 系统应⽤ • 数据分散，到处找 • 应⽤独⽴，难协同 • ⼀体化应⽤，不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 以容器平台功能为支撑， 实现应用的容器化托管， 解决环境一致性，部署 架构复杂等问题 通过租户体系保证租户 资源相互隔离，支撑多 租户场景 通过安全体系来保障 DevOps过程中的安全问 题 项⺫管理 项⺫管理 快速迭代开发，更短的发布周期， 并统⼀流程，规范化管理 持续交付 提⾼部署的效率，降低部署的⻛ 险，提⾼部署的质量，消除部⻔ 壁垒，交付过程标准化， 透明化 持续构建与测试 保障代码质量，提升开发效率 知识共享 知识共享与积累，不断完善，持 续学习改进 认证与改进 持续优化， 形成闭环 运维监控 运⾏状态可视化，数据化，降低 部署⻛险，快速反馈 运营统计 全链路指标统计，为持续改进提

12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress ⾯ ⼗⼏年的经验之 上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法 栈组合，也⽆需与⽣产基础架构环境结合。 在构建/发布期间⽣成容器镜像使得从开发到⽣产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于监控和管理——特别是当容器进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署

级，⾃自动扩缩，负载均衡，⽇日志查看，资 源监控，等多种功能。 KUN 运维管理理 监控 ⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN Cloud . 北北京 基于RBAC实现 账号管理理隔离 01 IPv6 02 Operator管理理有 状态的服务 03 监控 04 Think in Cloud . 北北京 • K8S提供了了多种身份认证策略略，具体如何实施？ • K8S的有两种⽤用户：服务账号(SA)和普通⽤用户(User)，但K8S不不会管理理User，如何管理理User？ • K8S有⼀一套完整的 权限的绑定？ • 对于多集群，如何实现User跨集群的管理理？ 基于RBAC实现账号管理理隔离 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 选择Token认证⽅方式 • 通过服务账号SA模拟普通⽤用户User，即User与SA⼀一⼀一对应 • 所有模拟账号SA放置同⼀一个NS，统⼀一管理理 • 定制权限组ClusterRole • 通过