02-安装单机版Kubernetes 03-使⽤Kubespray部署⽣产可⽤的Kubernetes集群（1.11.2） 04-K8s组件 05-Kubernetes API 06-理解K8s对象 07-Name 08-Namespace 09-Label和Selector 10-Annotation 11-K8s架构及基本概念 12-Master与Node的通信 13-Node Controller：当节点挂掉时，负责响应。 Replication Controller：负责维护系统中每个replication controller对象具有正确数量的Pod。 Endpoints Controller：填充Endpoint对象（即：连接Service＆Pod）。 Service Account & Token Controllers：为新的namespace创建默认帐户和API 运⾏。 addons（插件） Addon是实现集群功能的Pod和Service。Pod可由Deployment、ReplicationController等进⾏管理。Namespace的插件 对象则是在 kube-system 这个namespace中被创建的。 Addon manager创建并维护addon的资源。详⻅这⾥： here 。 DNS 虽然其他Addon不是严格要求的，但所有Kubernetes集群都应该有

CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 作的唯一入口，也是集群控制的入口进程。并提供认证、授权、访问控制、API注册和发现等机制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Sch Scheduler调度器（kube-scheduler）：负责资源调度（Pod调度）的进程，相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd：集群的数据存储，他存储着集群中所有的资源对象。数据存储采用的是键值对存储。保存了整个集群的状态。 11 www.h3c.com Confidential 秘密 11 11 K8s基本概念和术语介绍（Node） 工作节点（Node/Worker）：

controller-runtime 会马上为其增加 informer 并完成初始化 Cache 注意事项 Cache 中的对象都保存在内存中，如果对象很多，内存占用会比较大， 所以一方面要根据单个对象大小以及总得对象规模来评估 controller 内 存消耗。 另一方面 informer 提供了同类型对象的共享机制，降低内存开销 近距离感受 list & watch 机制 Cache 本质及开发建议 相信 的是最新版本，也不能假设一次 reconcile 中始 终会读到同一个版本 避免写后读 同一个 controller，在一次 reconcile 中，避免写 （create、update、delete）完一个对象后马上去 读（get、list）最新版本，等controller-runtime 触发下一次 reconcile 遵循惯例开发模式 即 controller 用读 cache，UT 中不用 cache u-lag -- ✅ ✅ d-lag ❌ -- -- 问题抽象 本地 cache 中的对象有两种可能，即及时（latest）与过 期（stale），我们生成的执行计划有3种可能的动作，即 Create、Update 和 Delete。 进一步的，stale 对象意味着本地 cache 落后于 API Server 中对象若干版本，也就是说有一段增量更新还没有 复制过来，那么这段增量可以用一个 c/u/d

大用量的请求都将被直接 拒绝 LimitRange对pod和容器的资源限制为cpu和内存使用量 LimitRange对PVC的资源限制为存储空间的使用量 资源限额只对新创建的资源生效，对于已经存在的对象不产生任何限制 limitrange和resourcequota都是有命名空间之分的 # cat > limitRange-testxx.yaml <对象数量及资源限额 ResourceQuota支持限制每种资源类型的对象总数，以及所有对象消耗的资源问 量 资源限额只对新创建的资源生效，对于已经存在的对象不产生任何限制 # cat > resourceQuota-testxx.yaml <对象X的实际状态（Actual State） 期望状态 = 获取集群中对象X的期望状态（Desired State） if 实际状态 == 期望状态 { 什么都不做 } else { 执行编排动作，将实际状态调整为期望状态

点击存储->存储类->新建存储类，可以在弹出的对话框中新建⼀个使⽤NAS盘的存储类 创建存储类的参数如下配置： 选择集群：选择配置存储类到哪个容器集群 存储类型：选择所⽀持的存储类型，⽬前仅⽀持NAS⽂件存储 存储对象：已创建并且挂在到该集群的NAS盘 驱动提供者：⽂件NAS存储选择 cds/nas server-ip: 系统会⾃动读取NAS盘的挂载点IP path：NAS盘对应的远端挂在⽬录，默认为 /nfsshare 点击集群->存储卷->新建存储存储卷，可以在弹出的对话框中新建⼀个使⽤NAS盘的存储卷 创建存储类的参数如下配置： 选择集群：选择配置存储类到哪个容器集群 存储类型：选择所⽀持的存储类型，⽬前仅⽀持NAS⽂件存储 存储对象：已创建并且挂在到该集群的NAS盘 存储驱动：请选择CSI（Flexvolume今后会停⽌⽀持） server-ip: 系统会⾃动读取NAS盘的挂载点IP path：NAS盘对应的远端挂在⽬录，默认为 ClusterIP 服务会⾃动创建。通过请求 : ，可以从集群的外部访问⼀个 NodePort 服务。 关联：选择服务要绑定的后端对象o。若不进⾏关联部署，则不会创建相关的 Endpoints 对象，您 可⾃⼰进⾏绑定。 外部流量策略：可选值为Local或Cluster。 说明 服务类型为NodePort时，才能设置外部流量策略。 端⼝映射：添加服务端⼝和容器端⼝，容器端⼝需要与后端的

随着规模增大存储系统成为瓶颈 etcd 存在性能问题 apiserver etcd K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 单点写 -> 多点写 multi raft range 分片，增大写并发 Brain 层无磁盘 io，只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页，降低延迟 内存高效复用，避免 OOM 读优化 - TiKV 作为存储引擎 持续优化和完善系统 架构演进 • 目前所有消息严格要求有序 • 消息不重不丢、严格有序，所以写必须单点 • Kubernetes 本质是一个最终一致性的系统 • 关注单个对象的最终状态 • 分片多点写，避免写单点 • 分片内部消息严格有序 • 分片间消息可以乱序 • 读、写、watch 能力均可以水平扩展 欢迎交流 联系邮箱: xuchen

KUN 运维管理理 监控 ⽇日志 权限 分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think cr-ns 2. cr-get Kubertnetes集群 ⽤用户管理理 ⽤用户：U1、U2 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 抽象Project对象给User使⽤用 • Project与每个集群的NS⼀一⼀一对应 • User在每个集群上都有对应模拟账号，⽤用于NS授权 NS ServiceAccount：SS Kubertnetes集群 Namespace 或者特 定Namespace中对CR的创建、更更新、删除事件 • Operator 处理理这些事件，可以使⽤用 k8s 中的pod、deployment、 statefulset 对象构建应⽤用 Operator⼯工作原理理 Operator Kubernetes API Server Informer Delete Update Add cr cr cr List

侵入式链路采集，支持查询服务的实时 RPS、错误率、时延等关键指标 ➢ 提供开源的聚合链路查询 ➢ 提供开箱即用的告警规则 ➢ 支持自定义指标、日志等告警 ➢ 支持灵活的配置告警级别、阈值、通知对象等 ➢ 提供邮箱、企业微信、钉钉、Webhook 等多种通知方式 ➢ 持久化存储指标、日志、链路数据 应用工作台 应用工作台是基于容器的 DevOps 云原生应用平台，提供了 DCE 用户可以按需安装/启用以下数据服务中间件，即插即用： ➢ Elasticsearch 搜索服务：目前首选的全文搜索引擎 ➢ Kafka 消息队列：常用于消息传输的数据管道 ➢ MinIO 对象存储：非常热门的轻量对象存储方案 ➢ MySQL 数据库：简单易用、性能更高的开源关系型数据库 ➢ RabbitMQ 消息队列：常用于交易数据的传输管道 ➢ Redis 缓存服务：高性能的开源内存数据库

单节点的限制。Thanos 通 过添加一些适用于大规模、长期和高可用性监控的功能来扩展 Prometheus。例如，它引入了一些组件将从 Prometheus 实例中读取的数据存储到对象存储系统中，管理对象存储系统对数据的保留和压缩，并且横跨 多个 Prometheus 实例做联合查询。我们的团队发现从 Prometheus 迁移到 Thanos 是无缝的，因为 Thanos 保持了与 组织使用之前，请考虑它们的许可，包括代码的许可和用于训练模型的数据集的许可，仔细评估这些方面后再 做决定。 78. OpenCost 评估 OpenCost 是一个开源项目，用于监控基础设施成本，并以 Kubernetes 对象（Pod、容器、集群等）的粒度展示 成本信息，涵盖各种集群内资源（CPU、GPU、RAM、存储、网络）的成本数据。它与多个云服务提供商的 API 进行集成，以获取计费数据，并可配置用于本地 Kubernetes 的结合很感兴趣，可以用于在无服务器函数中实现简单、轻量级的微服务。 85. Ajv 试验 Ajv 是一个流行的 JavaScript 库，用于根据使用 JSON Schema 定义的结构验证数据对象。对于验证复杂的数据 类型，Ajv 既快速又灵活。它支持多种多样的 schema 特性，包括自定义关键字和格式。许多开源的 JavaScript 应用程序和库都使用它。 我们的团队使用 Ajv

数据库 安全服务 网络 存储 Pod Deployment Service Node Custom Resource 一组容器 一组 Pod 副本 Pod 的访问入口 节点 自定义对象 声明式 API 对象 基础设施层能力 业务运维 平台工程师 业务研发 扩容策略 发布策略 分批策略 访问控制 流量配置 应用管理平台 （Openshift、Cloudfoundry、阿里内部、腾讯内部