-> 选择增加节点类型为master -> 选择计算类型与规格 -> 添加云盘（可不选）-> 设 置添加数量 -> 输⼊登录⽤户密码 -> 核对⽆误后，点击确定进⾏添加 进⼊节点查看⻚⾯ -> 选择对应集群，新添加节点状态由创建中 -> 正常代表添加成功 8 添加worker节点 进⼊集群⻚⾯ -> 选择需要操作的集群 -> 点击集群扩容 核对集群ID -> 选择增加节点类型为worker 选择增加节点类型为worker -> 选择计算类型与规格 -> 添加云盘（可不选）-> 设置 添加数量 -> 输⼊登录⽤户密码 -> 核对⽆误后，点击确定进⾏添加 9 进⼊节点查看⻚⾯ -> 选择对应集群，新添加节点状态由创建中 -> 正常代表添加成功 删除worker节点（master节点不可移除） 进⼊节点查看⻚⾯ -> 选择对应集群，选择要删除的worker节点 -> 点击删除 10 点击删除后，仔细阅读提示后，没问题点击确认执⾏删除操作 动的⽀持 创建⽂件存储 NAS 选择⽂件存储NAS后，选择右上的新建按钮可以创建⼀块新的NAS存储 存储管理 1.简介 2. 操作说明 13 在新⻚⾯中，依次选择可⽤区，输⼊名称，选择类型和容量，最后单击确定 在该⻚⾯，可以看到所配置的存储的价格 可以⽤去的选择要和容器集群所在区域⼀致，不同区域的集群和存储间不能挂载和访问 创建挂载点 新创建的NAS盘，需要挂载后才能使⽤

具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes control plane 所⽤的API 与开发⼈员和⽤户可⽤的API相同。⽤户可以使⽤ their own API 编写⾃⼰ 的控制器，例如 scheduler 使得许多其他系统可以构建在Kubernetes上。 Kubernetes不是什么？ Kubernetes不是⼀个传统的，全⾯的PaaS系统。 它保留了⽤户的重要选择。 Kubernetes： 不限制⽀持的应⽤类型。不规定应⽤框架（例如 Wildfly ），不限制⽀持的语⾔运⾏时（例如Java，Python， Ruby），不局限于 12-factor applications ，也不区分应⽤程序和服务 。 商的特定代码应由云供应商⾃⼰维护，并在运⾏Kubernetes时 与cloud-controller-manager相关联。 以下控制器存在云提供商依赖： Node Controller：⽤于检查云提供商，从⽽确定Node在停⽌响应后从云中删除 Route Controller：⽤于在底层云基础设施中设置路由 Service Controller：⽤于创建、更新以及删除云提供商负载均衡器

检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23 的数据目录实现数据产品的可发现性，为了建立信任，我们发布数据质量和服务等级指标，比如数 据产品的及时性、完整性和一致性，并使用 Soda Core 和 Great Expectations 等工具自动化数据质量检查。 数 据可观测性可同时通过 Monte Carlo 等平台实现。 我们已经看到数据产品随着时间的推移，演变为多个用例的可重用构建块。随着我们在识别和构建价值驱动的 数据产品上的进展，后续用例

K8s 版本 问题检测 • Kubernetes Conformance-testing（K8s 兼容性检查） • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace 在集群中运行 bpftrace 检查 Kernel 仅能检测 Kernel 相关问题 要求熟悉 Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 Kubernetes 版本 • 月度发版 • 版本间的配置、参数、API 差异 多样集群类型（阿里云容器服务） • 托管版集群、Serverless 集群 • 边缘集群、GPU

ip_vs_wrr # modprobe nf_conntrack_ipv4 #一般默认只用ip_vs_rr # lsmod | grep -e ip_vs -e nf_conntrack #检查是否已加载ip_vs模块 ★最后重启操作系统 # reboot ★第1章、部署k8s版本<=1.23 k8s在1.23及之前版本默认是调用docker作为底层的容器运行时，从1 --service-cidr=10.7.0.0/16 \ # service网段，即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --image-repository="cof- lee.com:5443/k8s" #指定为集群内部的docker镜像源 如果指定使用集群内部的docker镜像仓库，要提前在docker的daemon --service-cidr=10.7.0.0/16 \ # service网段，即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --image-repository="cof- lee.com:5443/k8s" #指定为集群内部的docker镜像源 如果指定使用集群内部的docker镜像仓库，要提前在containerd的配置文件里配

错误定位 配置版本，发布，回滚，可以更加方便 微服务的开发阶段 统一采用gRPC协议和protobuf编解码 CI check 阶段 • 主要做 pb 的 format、lint、breaking 检查。 CI build 阶段 • 会基于 pb 的注释自动产生文档，并推送至内部的微服务管理系统接口平台中 • 会生成 Go/PHP/Node/Java 桩代码和错误码，推送到指定的仓库 开发阶段 • 错误定位 Generate • protoc -I {error proto file} --go-errors_out={output directory} • 实现我们自定义的error类型，方便断言。 • 根据注解的code信息，在错误码中生成对应的grpc status code • 确保错误码唯一，后续在API层响应用户数据确保唯一错误码，例如: 下单失败(1008) • errors里设置with 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码，触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark

服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云 理，都会通过Deployment来管理。 Deployment的几个使用场景： 1. 创建一个Deployment 对象来生产对应的Replicas Set并完成Pod副本的创建过程。 2. 检查Deployment 的状态 看部署动作是否完成。 3.更新Deployment 以创建新的Pod（比如镜像升级）。 4. 如果当前Deployment 不稳定，则回滚到一个早先的Deployment K8s集群中的存储卷跟Docker的存储卷有些类似，只不过Docker的存储卷作用范围为一个容器，而K8s的存储卷的生 命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。K8s支持非常多的存储卷类型，特别 的，支持多种公有云平台的存储，包括AWS，Google和Azure云；支持多种分布式存储包括GlusterFS和Ceph；也支持 较容易使用的主机本地目录hostPath和NFS。K8s还支持使用Persistent

理，支持网关实例的全生命周期管理。 ➢ API 策略管理：通过图形化界面进行 API 的增删改查，配置 API 策略，例如负载均 衡、路径改写、超时配置、重试机制、请求头/响应头重写、WebSocket、本地限流、 健康检查等，同时保障原生 API 的能力不受影响。 ➢ 插件管理：提供丰富的插件功能，支持安全、流量管控、缓存等插件，支持一键开启/ 停用插件。 ➢ 监控告警：微服务网关在部署时会自动配置监控、告警等功能。每个网关都自带完善 DNS 服务发现，实现集群间的服务发现能力。 Submariner 可根据需求选择安装。 版权 © 2023 DaoCloud 第 17 页 存储 云原生化存储的几种类型 1. 传统存储云原生化，通过 CSI 标准 同 Kubernetes 平台对接，此类 型相对来说比较普遍， 用户可利用现有存储，并且基于传统存储的 提供云原生存储能力稳定性好，SLA 强保障。 Kubernetes 对接。软件定义存储通过网 络使用企业中的每台机器上的磁盘空间， 并将这些分散的存储资源 构成一个虚拟的存储设备，数据分散在不同的存储设备中。 3. 纯云原生存储，此种类型的存储类型天然为云原生而生，构筑于云 原生平台之上，能比较好的契合云原生特性， 并可随着应用 Pod 的迁移而迁移，具备如下特性：高可扩展性，高可用性，但相对于 通过 CSI 标准接入的传统存储可靠性低一些。

CNI-X CNI-X Think in Cloud . 北北京 UK8S托管⽅方案 • 业务流量量⼊入⼝口由公有云的ULB和node节点承载。 • 通过在k8s集群中定义LoadBalance类型的service，业 务流量量可以先通过ULB转发到公有云Node节点上，再 通过公有云节点上kube-proxy配置的iptables规则转 发到整个集群中实际⼯工作的pod。 • 集群内部通信通过kubeproxy完成。 实际链路路 Think in Cloud . 北北京 UK8S客户案例例 - A 解决痛点 • 新服务的上线以及原有服务的更更新过程繁杂 • 动态服务迁移操作难度⼤大 • 线上服务健康检查复杂度⾼高 • 服务之间的调⽤用和发现配置⼯工作多 • 单个服务完全消耗云主机资源 商户管理理 购物商城 管理理后台 对接端 Ingress 订单系统 API 搜索服务 商品同步

封装规范Dockerfile  Dockerfile分片，构建编译 和运行环境  CMD固定为Docker-init  环境变量指引功能 Docker-Init 进程组 健康检查端口 容器启动退出钩子 回收僵尸进程 调试模式 注入环境变量开关 与内部基础设施对接 基础架构组合 负载均衡（ELB） 自动配置域名，按运 营商自动划分线路  CRD自定义资源  Flexvolume插件支持LVM  Node异步回收  改造发布策略  新建Deployment  新旧版本Deployment扩缩  健康检查探针适配 DCOS 组件服务 Mysql Redis Memc achd ELK ZK  规范配置  统一监控  数据自动迁移  故障自愈 CI/CD