如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储 备），但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环，并且需要意识到在转向远程工作时所 做的取舍。 © Thoughtworks SLSA。对于大多数 团队来说，致命弱点仍然是依赖项中存在漏洞，通常是来自于多层的间接依赖项。Dependabot 等工具可以通 过创建拉取请求（PR）来更新依赖项。不过，团队仍然需要制定工程纪律，以确保及时处理这些 PR，尤其是 对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试，还包括有功能和性能测试，并且构建流水线必 须运行所有这些测试以及安全扫描，我们更提倡自动合并依赖项更新 IaC 方式管理云原生资源的主要工具。然而，当下大多数托管环境都是云供应商 原生服务、第三方服务和自定义代码的复杂组合。在这些环境中，我们发现工程师通常会使用 Terraform 处理 云资源，又使用自定义脚本处理其他资源。这可能导致资源创建过程缺乏一致性和可重复性。事实上，在托管环 境中常用的许多第三方服务 Terraform 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、

applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 14 K8s组件 本⽂概述了Kubernetes集群中所需的各种组件。 Master组件 Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策（例如调度），以及检测和响应集群事件（例如：当 replication controller所设置的 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个 在此。请为你Kubernetes集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controller，它们是处理集群中常规任务的后台线程。逻辑上来讲，每个Controller都是⼀ 个单独的进程，但为了降低复杂性，它们都被编译成独⽴的⼆进制⽂件并运⾏在⼀个进程中。 这些控制器包括： Node Controller：当节点挂掉时，负责响应。

K8S提供了了多种身份认证策略略，具体如何实施？ • K8S的有两种⽤用户：服务账号(SA)和普通⽤用户(User)，但K8S不不会管理理User，如何管理理User？ • K8S有⼀一套完整的权限系统，但如何处理理User与权限的绑定？ • 对于多集群，如何实现User跨集群的管理理？ 基于RBAC实现账号管理理隔离 Think in Cloud . 北北京 基于RBAC实现账号管理理隔离 • 选择Token认证⽅方式 ⾸首先在k8s中注册CRD • Operator 于 API server 交互，Watch 全部的 Namespace 或者特 定Namespace中对CR的创建、更更新、删除事件 • Operator 处理理这些事件，可以使⽤用 k8s 中的pod、deployment、 statefulset 对象构建应⽤用 Operator⼯工作原理理 Operator Kubernetes API 还可以对集群进⾏行行配置更更新、删除等操作。 Operator Server Think in Cloud . 北北京 Operator管理理⽆无状态的服务 特性 A. ⽆无状态⽔水平弹缩： ⽀支持动态扩缩容 B. 容错处理理： 通过kubernetes validating admission configuration校验⽤用 户下发的编排的crd实例例，同时⾃自动恢复⽤用户误操作的该crd维护的资源 C.

低时延：为满⾜足低时延的要求，需要在离业务现场最近的边缘构建解决⽅方案，减少业务处理理时延。� ➔ 海海量量数据：物联⽹网时代边缘数据爆炸性增⻓长，难以直接回传⾄至云端且成本⾼高昂，数据在本地进⾏行行分析和过滤，节省⽹网络带宽。� ➔ 隐私安全：数据涉及到企业⽣生产和经营活动安全，在边缘处理理企业保密信息和个⼈人隐私。� ➔ 本地⾃自治：不不依赖云端的离线处理理能⼒力力和⾃自我恢复能⼒力力。� 低时延 海海量量数据 边缘计算应⽤用场景——智慧园区� ➔ 基于边缘计算打造智慧园区，通过视频监控+AI分析实现从⼈人防到技防，提升园区运营效率，提⾼高园区住户体验。� ➔ 对监控视频智能分析，实时感知⼊入侵、⼈人流量量⼤大等异常事件，降低园区的⼈人⼒力力成本。� ➔ 端侧⼈人脸抓取，视频分析在边缘侧执⾏行行。云端管理理边缘应⽤用全⽣生命周期，⽆无缝升级。云端AI模型训练，边缘侧推理理。� 端� 边� 云� ⼈人脸 检测 边缘计算应⽤用场景——智能家居� ➔ 基于边缘计算打造⾼高效、舒适、安全、便便利利、环保的智能家居环境。� ➔ 云端推送边缘应⽤用，实现应⽤用全⽣生命周期管理理和边缘设备托管。� ➔ 端侧涵盖多种智能设备，边缘侧就近处理理隐私数据，回传必要数据到云端。� 端� 边� 云� 容器器� 摄像头� 语⾳音设备� 红外设备� 应⽤用推送、应⽤用管理理、边缘设备托管� …...� 数据上传� 容器器� 容器器�

I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵入式流量治理 全生命周期管理。 ➢ 应用负载的弹性伸缩，支持应用负载的手动/自动扩缩容，支持横向伸缩、纵向伸缩、 以及定时伸缩，从容应对流量高峰。 ➢ 应用的全生命周期，支持应用查看、更新、删除、回滚、事件查看以及升级等全生命 周期管理。 ➢ 跨集群负载统一管理能力。 策略管理 支持以命名空间或集群粒度制定网络策略、配额策略、资源限制策略、灾备策 略、安全策略。 ➢ 网络策略，支持 定制等，实现用户信息的安全性和 平台的个性化。 可观测性 可观测模块 (Insight) 是以应用为中心、开箱即用的新一代云原生可观测性平 台。 能够实时监控应用及资源，采集各项指标、日志及事件等数据用来分析应 用健康状态，不仅提供告警能力以及全面、清晰、多维度数据可视化能力，兼 容主流开源组件，而且提供快捷故障定位及一键监控诊断的能力。 可观测模块实现了指标、日志、链路的统一采集，支持对指标、日志进行多维

自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化 册和发现等机制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-schedule 址。 22 www.h3c.com Confidential 秘密 22 22 K8s基本概念和术语介绍（Job） Job（任务）： Job是K8s用来控制批处理型任务的API对象。批处理业务与长期伺服业务的主要区别是批处理业务的运行有头有尾， 而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完 成的标志根据不同的spec.com

载 体细粒度化等诉求下，底层硬件在云计算的驱动下也因云而变。2022 年 6 月，阿里云发布 CIPU（Cloud infrastructure Processing Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 大数据、人工智能等场景中展现更好的性能。2022 年 12 月，AWS 云计算白皮书（2023 年） 7 发布第五代虚拟化芯片 Amazon 构建现代化应用的最典型技术方案，但应用现代化并非单纯依靠技 术手段达成，需要完整的建设方法论，具体包含五个方面，如图 7 所示：一是应用架构现代化，依据分而治之、开放设计、统一风格 三重设计原则，通过微服务、Serverless、事件驱动和命令职权分离 等先进架构升级应用范式；二是数据架构现代化，以云原生为底座 优化数据摄取、数据存储、数据分析、数据消费、数据治理等能力， 云计算白皮书（2023 年） 16 充分挖掘数 正逐步成为中小企 业数字化转型的突破口。 三、云计算正向数字世界操作系统转变 数字世界通过数字记录、描绘并模拟现实世界，是现实世界的 数字映射。数字技术实现了对现实世界的数据采集、存储，并能提 供分析处理数据所需的算力。云计算作为链接数字世界计算资源与 数字应用的纽带，能够有效整合海量、泛在的算力资源，加速数字 应用的感知、判断和执行。 （一）数字应用方式与算力资源供给的变革，推动云计 算作用转变

(gen=2)。 Controller-runtime 的 Reconcile 过程是一个 EDA 模型，当该 stale 对象的更新到达 cache 时，controller-runtime 会发送一个事件（Event）给到 owner controller（也就是我们的 cluster controller）。这时该对象处于 latest 状态， 根据表格，Plan Action执行后符合预期。对于其它已经处于 并不会有其它影响， 所以stale 对象被成功补救回来。 这个过程可以推广到多个 stale 对象。 所以最终 stale cache 下能保证 operator 的正确性，前提是 operator 要收到所有对象的事件。 Operator 最佳实践 第三部分 Operator 开发常见概念关系 Kubebuilder 框架模型 Setup 阶段接口 // For defines the type of object metav1.Object, scheme *runtime.Scheme) error {...} ⚠️ Owns + SetControllerReference 配合，保证收到所有事件 实战：build an operator from scratch 实验描述： Kubernetes 中有一个支持用 Cron 表达式运行定时任务的对象叫 CronJob，本次实验会用 Kubebuilder

K8s 元信息存储的需求 (3) 所以 etcd 为目前 K8s 唯一支持的存储 KubeBrain 架构 Kine KubeBrain KubeBrain 架构 • 主从架构 • 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft 3. 实时性 - 高性能 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 获取滑动窗 口当前 Committed Index 序 号 • 根据当前序号进行快照读 • Range 后 Client 通过 Watch 从leader RingBuffer 中获取 增量事件，达到 最终一致性 逻辑层 – 选主 逻辑层 – TSO 接入层 接入层 客户端 客户端 K8s 元信息存储的需求 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 •

•一个部署调度到多个集群 •业务可自定调度策略 •达到机架、机房、集群级容灾 服务发现方案 •K8S自带的服务发现不可用 •基于Pod事件的服务发现 •现状妥协导致服务发现链路变长 集群失败了 •没有办法操作K8S？ •基于假事件的重新调度 •灾难场景可迁移至备份集群 部署平台 •研发平台支持混合部署 •研发直接容器扩容完成迁移 •研发精确控制发版速度 •支持容器回滚到物理机