Kubernetes 管理 Docker 容器 date: 2020-12-18 tags: Kubernetes description: MacOS 平台 Kubernetes 管理 Docker 容器 图⽚来源于 Install Kubernetes: The Ultimate Guide Kubernetes 简介 Kubernetes 是容器集群管理系统，是⼀个开源的平台，

构建标准可扩展的云原生应用管理平台 2 3 有奖品？ 我的工作内容？ • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的？ PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台： 电商 PaaS Kubernetes 代码、应用、CICD 流水线 容器 Pod Controller 调度 Node Sidecar CNI CSI 为了更好的用户体验： 用户 期望： K8s 提供： 研发与运维人员日益增长的应用管理诉求 传统 PaaS 有限的、不可扩展的专有API 与能力 K8s 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 Route Job Deployment 缺乏交互、复用、可移植能 力。不同重复造轮子只是适 配不同 API 如何基于 K8s ，构建出一个既用户友好，又高可扩展，还 统一、标准化的应用管理平台？ 简单的“客户端”抽象： DCL (Data Configuration Language) 对 K8s 资源进行抽象实际上就是在操纵 YAML 数据，通过 DCL 来完成相比于 CRD +

Kubernetes YAML ⽂件的看法 • 阿⾥对解耦研发和运维的实践与教训 • 标准化、统⼀化的应⽤管理 阿里巴巴大规模容器化基础设施 新挑战 • 研发：Kubernetes API 太复杂？ • 运维：如何上手 Kubernetes 的扩展能力？ • 如何通过 Kubernetes 全面管理云资源（含虚拟机、VPC 等）？ K8s API 太复杂？ All in one。 思考题： 应用的描述，大家的关注点是？ • 研发关心 根本看不懂 • 运维关心 某内部 PaaS 精挑细选，只剩下 ~5 个 Deployment 的字段允许研发填写。 简单却能力不足： 思考题： 有状态的复杂应用如何管理？ 基础设施能力还如何演进和透出？ 研发自己的诉求如何传达给运维和基础设施？ K8s 扩展能力的真实情况 我的 Zookeeper 该用 哪种K8s Workload 接入？ 你恐怕得写个 Operator…… CRD？看配置文件？看 …… 文档？ • 扩展能力间出现冲突，导致线上故障 • 比如：CronHPA 和 默认 HPA 被同时安装给了同一个应用 • K8s 扩展能力之间的冲突关系，如何有效管理？如何有效的对运维透出？ K8s 如何管理描述云资源？ 太好了，我还需要启动一个 RDS, 能跟 helm一起打包吗？ Operator 写好了,用 helm 打包部署吧，美滋滋.. 这样啊，你们PaaS 平台的

地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 早在 2003 年就撰写了有关此主题的文章，但问题并没有消失。在 这期雷达中，我们讨论了许多现 情。 我们发现，许多组件库之所以受到批评，是因为所有者团队无法快速响应消费者的需求，并且无法接受来自外 部的贡献。产品为中心的思维方式还要求组织思考是否应该允许和怎样向设计系统做出贡献，以及如何管理这 些贡献——在这个话题上，我们推荐采用设计系统决策记录。对我们来说，维护一个良好的设计系统或组件库 不光是技术工作，也同样是社交工作。 2. 轻量级的 RFCs 方法 采纳 Request 能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 和 Wiz 是两个此类工具。我们建议管理复杂基础设施的团队在为组织设计安全策略或选择安全分析工具时考虑这 项技术。 5. 自动合并依赖项更新 PR 试验 软件供应链的复杂性是一个重大风险，我们已经在一些文章中进行过讨论，例如 SBOM

级，⾃自动扩缩，负载均衡，⽇日志查看，资 源监控，等多种功能。 KUN 运维管理理 监控 ⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN Cloud . 北北京 基于RBAC实现 账号管理理隔离 01 IPv6 02 Operator管理理有 状态的服务 03 监控 04 Think in Cloud . 北北京 • K8S提供了了多种身份认证策略略，具体如何实施？ • K8S的有两种⽤用户：服务账号(SA)和普通⽤用户(User)，但K8S不不会管理理User，如何管理理User？ • K8S有⼀一套完整的 权限的绑定？ • 对于多集群，如何实现User跨集群的管理理？ 基于RBAC实现账号管理理隔离 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 选择Token认证⽅方式 • 通过服务账号SA模拟普通⽤用户User，即User与SA⼀一⼀一对应 • 所有模拟账号SA放置同⼀一个NS，统⼀一管理理 • 定制权限组ClusterRole • 通过

最新版本为20.10.x # systemctl enable docker # systemctl start docker # docker info ★配置docker服务使用systemd去管理（以及信任本地镜像仓库） # vi /etc/docker/daemon.json { "data-root": "/docker_data", "registry-mirrors": [ "h�ps://cof-lee crictl是遵循CRI接口规范的一个命令行工具，通常用它来检查和管理kubelet节点 上的容器运行时和镜像。（支持containerd/docker/crio） ★安装crictl工具 默认随kubeadm一起安装了，在cri-tools-xxxx.x86_64.rpm这个包里，如果想单独 安装，则直接装这个rpm包或者到github上下载此软件 # wget h�ps://github 至此，k8s高可用集群搭建完成 ★第5章、K8S的网络原理 ★pod网络与Service网络 整个K8S集群有3种网络ip： Node-ip 各k8s服务器的通信ip，是服务器本身的通信/管理ip Pod-ip 各pod容器组的ip，pod容器网络是给容器使用的，整个集群各 pod都有一个ip，直接使用pod ip可以互相访问，但随着pod漂 移到其他node或pod重启后，其ip是会变的，不固定。底层使

12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress ⾯ ⼗⼏年的经验之 上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法 栈组合，也⽆需与⽣产基础架构环境结合。 在构建/发布期间⽣成容器镜像使得从开发到⽣产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于监控和管理——特别是当容器进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 灵活的应⽤创建和部署 ：与VM映像相⽐，容器镜像的创建更加容易、有效率。 持续开发，集成和部署

产品功能 企业级容器云解决方案 企业级 场景 易用 • 全组件自动化部署、统一配置管理、多策略灰度升级 • 提供可视化、自动化的运维能力，降低使用者的人力成本和学习成本 可靠 • 所有组件无单点； • 平台本身支持热升级； • 组件自身HA机制，如docker； • 多地域多可用区的容灾设计 • 管理机挂掉：对应用无影响 • 计算节点挂掉：跨机迁移 • 健康探针 ① 存活探针 ② 就绪探针 背景：广告业务，8个集群，4个在线集群，4个离线集群， 分布在四个地区：北京、天津、成都、深圳。 需求：减少机器，降低成本。 手段：在线离线集群做合并。 问题：容器只能管理CPU和内存，不能对网络和磁盘IO做 管理，导致在线应用受离线业务影响。 一次现网事故 一个用户需求 可靠 设计目标 ◼在某个cgroup网络繁忙时，能保证其设定配额不会被其他cgroup挤占 ◼在某个cgr ◼在某个cgroup没有用满其配额时，其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时，优先级高的优先； 优先级相同 时， 配额大的占用多，配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记)： 在正常处

解耦⽅方式 采纳⼀一站式 PaaS 平台，⽐比如 OpenShift 容器器平台、DevOps、微服务：三者分开建设 企业的云原⽣生之旅 集群 规划、部署和运营 1 多集群 统⼀一管理理 2 基于 K8S 的 PaaS 服务 3 微服务架构 4 DevOps 5 - 规划、部署和运营⽣生产级别的 Kubernetes 集群是企业踏上云原⽣生之旅的第⼀一步 - 是开源的轻量量级 Kubernetes 发⾏行行版，专注于帮助企业规划、部署和运营 ⽣生产级别的 Kubernetes 集群。 计算 ⽹网络 存储 ⽤用途 ⼀一键部署 可视化安装 管理理 备份 伸缩 监控 ⽇日志 Day 0 Day 1 Day 2 规 划 部 署 运 营 升级 在线 / 离线 KubeOperator 的开发团队和运作模式 • 由 Jumpserver K8S 集群， 提升资源使⽤用效率 按需修补 快速升级 K8S 集群，与社区版本同步 应⽤用商店 快速在 K8S 中部署和管理理 应⽤用程序 Multi-AZ ⽀支持 Master 节点分布在不不同的故障域 简单易易⽤用 通过 Web UI 来管理理和运营 K8S 集群 离线⽀支持 ⽀支持离线环境下的 K8S 集群 的部署与升级 GPU ⽀支持 轻松运⾏行行机器器学习、⾼高性能