Click to edit Master title style 1 可觀測性 (Observability) 在 Kubernetes Day2 Operation的考量與實踐 E . W. K u o @ i T h o m e K u b e r n e t e s S u m m i t 2 0 2 2 Click to edit Master title style complexity Observability Observability Demo 3 Day2 運營 定義與說明 Kubernetes Day2 運營的挑戰 馴服運營 複雜性 可觀測性 實踐與思維 可觀測性 關聯演示 Click to edit Master title style 4 Day2 Operation 定 義 與 說 明 4 Click to edit Master 有關 • 推動 Kubernetes 的動力通常是： • 提高開發人員的敏捷性 • 提高開發人員的開發速度 • 通過讓開發人員訪問自助服務配置 來消除開發過程中的摩擦 6 Click to edit Master title style 7 什麼是 Kubernetes Day 2 • 速度和敏捷性的顯著提高，從每月部 署轉變為每日部署。 • 但是應用程序的生命週期不會在部署

端⼝映射：配置所启动容器使⽤的协议（⽀持TCP和UDP）、端⼝ 环境变量：配置所启动容器所需的环境变量（key/value的形式） 健康检查和就绪检查：⽀持健康检查（liveness）和就绪检查（Readiness）。健康检查⽤于 检测何时重启容器；就绪检查⽤于确定容器是否已经就绪，且可以接受流量。更多信息，请参 ⻅https://kubernetes.io/docs/tasks/confi header。 ⽀持键值对的配置⽅式。 运⾏多久后开始检测（秒）：即 initialDelaySeconds，容器启动后第⼀次执⾏检测时需要等 待多少秒，默认为 3 秒。 检查间隔（秒）：即 periodSeconds，指执⾏检查的时间间隔，默认为 10 秒，最⼩为 1 秒。 不健康阈值：探测成功后，最少连续探测失败多少次才被认定为失败。默认是 3，最⼩值是 1。 TCP 即向容器发送⼀个 TCP 可选：Pod标签和注解。设置容器组的标签和注解。可⽤于Pod的调度设置。 可选：调度设置（亲和性调度依赖节点和 Pod 标签，您可使⽤内置的标签进⾏调度；也可预先 为节点、Pod 配置相关的标签） 节点亲和性。通过已有节点 Node 的标签（键）、操作符和标签值（值）进⾏设置。 必须满⾜，即硬约束，⼀定要满⾜，对应 requiredDuringS

thoughtworks.com/cn/radar/faq © Thoughtworks, Inc. All Rights Reserved. 4 Thoughtworks 技术雷达 技术雷达是具有前瞻性的。为了给新的技术条目腾出空间，我们挪出了近期没有发生太多变化的技术条目，但 略去某项技术并不表示我们不再关心它。 暂缓 评估 试验 采纳 采纳：我们强烈主张业界采用这些技术。我们会 在适当时候将其用于我们的项目。 相关话题展开讨论。这是有史以来第一次，我们需要一个可视化指南来 理清不同 AI 的类别和功能（即使在 JavaScript 生态系统十分混乱的时期，我们也从未采取过这样的做法）。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司，我们对于使用 AI 辅助软件开发特别感兴趣。因此， 本期技术雷达讨论了许多代码辅助工具，如 GitHub Copilot、Tabnine 和 Codeium。我们兴奋于 open-source 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23

器镜像构建和部署。 Dev和Ops分离问题 ：在构建/发布期间⽽⾮部署期间创建镜像，从⽽将应⽤程序与基础架构分离。 开发、测试和⽣产环境⼀致 ：在笔记本电脑运⾏与云中⼀样。 云和操作系统可移植性 ：可运⾏在Ubuntu、RHEL、CoreOS、内部部署，Google Container Engine以及任何其他 地⽅。 以应⽤为中⼼的管理：从在虚拟硬件上运⾏操作系统的抽象级别，提升到使⽤逻辑资源在操作系统上运⾏应⽤程序 applications Providing authentication and authorization 这提供了PaaS的简单性，并具有IaaS的灵活性，并促进了跨基础架构提供商的可移植性。 Kubernetes是⼀个怎样的平台？ 尽管Kubernetes提供了⼤量功能，但总有新的场景从新功能中受益。应⽤程序特定的⼯作流程可被简化，从⽽加快开发 ⼈员的速度。可接受的特别编排最初常 具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes control plane 所⽤的API 与开发⼈员和⽤户可⽤的API相同。⽤户可以使⽤ their own API 编写⾃⼰ 的控制器，例如 scheduler

取消挂载 # vi /etc/fstab # swapoff -a #取消所有swap挂载 ⑥NTP服务需要开启，使用集群内的ntp server，确保集群时间的一致性 # yum install chrony -y # systemctl enable chronyd # systemctl start chronyd # cat > /etc/chrony ip_vs_wrr # modprobe nf_conntrack_ipv4 #一般默认只用ip_vs_rr # lsmod | grep -e ip_vs -e nf_conntrack #检查是否已加载ip_vs模块 ★最后重启操作系统 # reboot ★第1章、部署k8s版本<=1.23 k8s在1.23及之前版本默认是调用docker作为底层的容器运行时，从1 --service-cidr=10.7.0.0/16 \ # service网段，即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --image-repository="cof- lee.com:5443/k8s" #指定为集群内部的docker镜像源 如果指定使用集群内部的docker镜像仓库，要提前在docker的daemon

K8s 版本 问题检测 • Kubernetes Conformance-testing（K8s 兼容性检查） • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace 在集群中运行 bpftrace 检查 Kernel 仅能检测 Kernel 相关问题 要求熟悉 所有包采集 Flow 采集 ebpf 注入 trace 读取 集群升级 集群异常检测闭环 • 集群升级前置检查 • 集群升级 • 集群升级后置检查 Autopilot Engine 诊断任务 前置检查 检测通过 检测未通过 修复 升级 1.12 1.16 后置检查 检测通过 检测未通过 修复 Demo 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践

谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 • 单 Key 读，提供线性一致性 • Range 扫描读，支持快照读，支持分页  写 • K8s 乐观锁 resource version • 单 Key CAS  Watch • Kubernetes list-watch KubeBrain 架构 • 主从架构 • 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft Goup • 全局有序 Range 分区 • 强一致性 • 支持多 key 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） Watch 机制本质上是一个消息队列系统 1. 可靠性 - 不重复、不丢失 2. 顺序性 - 保证最终状态的一致性 3. 实时性 - 高性能 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读

管理、弹性伸缩、监控运维的基本机制，决定容器 之间如何进行交互。 • Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google Borg商用系统开发，具有轻量级，可移植性，高 灵活性等特点。 • CNCF是围绕Kubernetes构建容器软件全栈的基金会组织，提供Kubernetes和周边软件的技术孵化和服务提供商资质认证 6 容器技术迅猛发展，Kubernetes主宰容器编排调度引擎市场 3144  CNCF初创成员，国内唯一白金会员  K8S社区技术指导委员会13席位之一，国内唯一  首批KSCP认证厂商之一  主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网

错误定位 配置版本，发布，回滚，可以更加方便 微服务的开发阶段 统一采用gRPC协议和protobuf编解码 CI check 阶段 • 主要做 pb 的 format、lint、breaking 检查。 CI build 阶段 • 会基于 pb 的注释自动产生文档，并推送至内部的微服务管理系统接口平台中 • 会生成 Go/PHP/Node/Java 桩代码和错误码，推送到指定的仓库 开发阶段 一个服务 返回的，所以每次error在客户端是反序列化，new出来 的。是无法通过errors.Is判断其根因。 • 将gRPC的错误码注册到一起，然后通过FromError方式， 利用map唯一性的判别，转化为本地错误，使用 errors.Is来判断根因。 • errors.Is(eerrors.FromError(err), UserErrNotFound()) 微服务的开发阶段 • protobuf RegisterHealthServer(newServer, health.NewServer()) • livenessProbe：如果检查失败，将杀死容器，根据Pod的restartPolicy来操作 • readinessProbe： 如果检查失败，Kubernetes会把Pod从service endpoints中剔除 exec: command: -grpc_health_probe

简介 3 九大能力 4 多云编排 4 中间件服务 4 微服务治理 5 可观测性 5 应用商店 6 应用交付 6 信创异构 7 云边协同 7 云原生底座 8 模块化搭建 8 容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 版权 © 2023 DaoCloud 第 6 页 应用商店 收录来自大数据、AI、中间件等十大领域生态伙伴的软件产品，实现生态技术、产 品、运营服务