顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace

OpenShift Container Platform 4.14 存储 在 OpenShift Container Platform 中配置和管理存储 Last Updated: 2024-02-17 OpenShift Container Platform 4.14 存储 在 OpenShift Container Platform 中配置和管理存储 法律通告 法律通告 Copyright © 2023 All other trademarks are the property of their respective owners. 摘要 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . PLATFORM 存 存储 储概述 概述 1.1. OPENSHIFT CONTAINER PLATFORM 存储的常见术语表 1.2. 存储类型 1.3. CONTAINER STORAGE INTERFACE (CSI) 1.4. 动态置备 第 第 2 章 章 了解 了解临时 临时存 存储 储 2.1. 概述 2.2. 临时存储的类型 2.3. 临时存储管理 2.4. 监控临时存储 第 第 3

OpenShift Container Platform 4.8 存储 在 OpenShift Container Platform 中配置和管理存储 Last Updated: 2023-06-12 OpenShift Container Platform 4.8 存储 在 OpenShift Container Platform 中配置和管理存储 法律通告 法律通告 Copyright © 2023 All other trademarks are the property of their respective owners. 摘要 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . PLATFORM 存 存储 储概述 概述 1.1. MODULES/OPENSHIFT-STORAGE-COMMON-TERMS.ADOC 1.2. 存储类型 1.3. CONTAINER STORAGE INTERFACE (CSI) 1.4. 动态置备 第 第 2 章 章 了解 了解临时 临时存 存储 储 2.1. 概述 2.2. 临时存储的类型 2.3. 临时存储管理 2.4. 监控临时存储

Ozone：Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com Ozone：Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接 口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个 砖，介绍Ozone的产生背景，主要架构和功能。 砖，介绍Ozone的产生背景，主要架构和功能。 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop 背景 HDFS是业界默认的大数据存储系统，在业界的大数据集群中有非常广泛的使用。HDFS集群有着 很高的稳定性，得益于它较简单的构架，集群也很容易扩展。业界包含几千个数据节点，保存上 百PB数据的集群也不鲜见。 HDFS通过把文件系统元数据全部加载到Name 有非常多的小文件，HDFS的元数据访问性能会受到影响。虽然可以通过各种Federation技术来扩 展集群的节点规模， 但单个HDFS集群仍然没法很好的解决小文件的限制。 基于这些背景，Hadoop 社区推出了新的分布式存储系统 Ozone，从构架上解决这个问题。 Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他 们对大数据有深刻的洞察力，清楚的了

KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 etcd 存在性能问题 apiserver etcd K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe

容器镜像仓库（Registry） 为 OpenShift Container Platform 配置容器镜像仓库（Registry） Last Updated: 2024-02-17 OpenShift Container Platform 4.12 容器镜像仓库（Registry） 为 OpenShift Container Platform 配置容器镜像仓库（Registry） 法律通告 法律通告 Copyright trademarks are the property of their respective owners. 摘要 摘要 本文档提供有关为 OpenShift Container Platform 配置和管理内部 registry 的说明。它还介绍了与 OpenShift Container Platform 相关的 registry 的一般信息。 . . . . . . . . . . . . REGISTRY OPERATOR 配置参数 2.6. 使用 CRD 启用 IMAGE REGISTRY 默认路由 2.7. 为镜像 REGISTRY 访问配置额外的信任存储 2.8. 为 IMAGE REGISTRY OPERATOR 配置一个存储凭证 2.9. 其他资源 第 第 3 章 章 设 设置和配置 置和配置 REGISTRY 3.1. 为 AWS 用户置备的基础架构配置 REGISTRY 3.2

登录到集群 1.1.12. 创建 registry 存储 1.1.12.1. 安装过程中删除的镜像 registry 1.1.12.2. 镜像 registry 存储配置 1.1.12.2.1. 为 VMware vSphere 配置 registry 存储 1.1.12.2.2. 为 VMware vSphere 配置块 registry 存储 1.1.13. 备份 VMware vSphere 私钥并将其添加到代理中 1.2.7. 获取安装程序 1.2.8. 在您的系统信任中添加 vCenter root CA 证书 1.2.9. 创建安装配置文件 1.2.9.1. 安装配置参数 1.2.9.1.1. 所需的配置参数 1.2.9.1.2. 网络配置参数 7 7 7 7 7 8 9 9 13 13 14 14 14 14 15 16 17 18 20 20 21 21 21 目录 录 1 1.2.9.1.3. 可选配置参数 1.2.9.1.4. 其他 VMware vSphere 配置参数 1.2.9.1.5. 可选的 VMware vSphere 机器池配置参数 1.2.9.2. 安装程序置备的 VMware vSphere 集群的 install-config.yaml 文件示例 1.2.9.3. 在安装过程中配置集群范围代理 1.2.10. 部署集群 1

容器镜像仓库（Registry） 为 OpenShift Container Platform 配置容器镜像仓库（Registry） Last Updated: 2023-04-19 OpenShift Container Platform 4.8 容器镜像仓库（Registry） 为 OpenShift Container Platform 配置容器镜像仓库（Registry） 法律通告 法律通告 Copyright trademarks are the property of their respective owners. 摘要 摘要 本文档提供有关为 OpenShift Container Platform 配置和管理内部 registry 的说明。它还介绍了与 OpenShift Container Platform 相关的 registry 的一般信息。 . . . . . . . . . . . . REGISTRY OPERATOR 配置参数 2.4. 使用 CRD 启用 IMAGE REGISTRY 默认路由 2.5. 为镜像 REGISTRY 访问配置额外的信任存储 2.6. 为 IMAGE REGISTRY OPERATOR 配置一个存储凭证 2.7. 其他资源 第 第 3 章 章 设 设置和配置 置和配置 REGISTRY 3.1. 为 AWS 用户置备的基础架构配置 REGISTRY 3.2

OPENSHIFT VIRTUALIZATION 第 第 5 章 章 更新 更新 OPENSHIFT VIRTUALIZATION 5.1. 关于更新 OPENSHIFT VIRTUALIZATION 5.2. 配置自动工作负载更新 5.3. 批准待处理的 OPERATOR 更新 5.4. 监控更新状态 5.5. 其他资源 第 第 6 章 章 为 为 KUBEVIRT-CONTROLLER 和 和 VIRT-LAUNCHER WINDOWS 安装 8.9. 解决故障节点来触发虚拟机故障切换 8.10. 在虚拟机上安装 QEMU 客户机代理 8.11. 查看虚拟机的 QEMU 客户机代理信息 8.12. 在虚拟机中管理配置映射、SECRET 和服务帐户 8.13. 在现有 WINDOWS 虚拟机上安装 VIRTIO 驱动程序 8.14. 在新 WINDOWS 虚拟机上安装 VIRTIO 驱动程序 8.15. 高级虚拟机管理 2. 实时迁移限制和超时 10.3. 迁移虚拟机实例到另一节点 10.4. 在专用额外网络中迁移虚拟机 10.5. 监控虚拟机实例的实时迁移 10.6. 取消虚拟机实例的实时迁移 10.7. 配置虚拟机驱除策略 第 第 11 章 章 节 节点 点维护 维护 11.1. 关于节点维护 11.2. 将节点设置为维护模式 11.3. 从维护模式恢复节点 11.4. 自动续订 TLS 证书

目 目录 录 第 第 1 章 章 关于 关于 OPENSHIFT VIRTUALIZATION 1.1. OPENSHIFT VIRTUALIZATION 的作用 1.2. 关于虚拟机磁盘的存储卷 1.3. 单节点 OPENSHIFT 的不同 1.4. 其他资源 第 第 2 章 章 OPENSHIFT VIRTUALIZATION 架 架构 构 2.1. OPENSHIFT VIRTUALIZATION OPENSHIFT VIRTUALIZATION 7.2. 关于更新 OPENSHIFT VIRTUALIZATION 7.3. 防止在 EUS 到 EUS 更新过程中进行工作负载更新 7.4. 配置工作负载更新方法 7.5. 批准待处理的 OPERATOR 更新 7.6. 监控更新状态 7.7. 其他资源 5 5 5 6 6 7 7 8 9 10 11 11 12 13 15 虚拟机实时迁移 12.2. 实时迁移限制和超时 12.3. 迁移虚拟机实例到另一节点 12.4. 在专用额外网络中迁移虚拟机 12.5. 取消虚拟机实例的实时迁移 12.6. 配置虚拟机驱除策略 12.7. 配置实时迁移策略 第 第 13 章 章 节 节点 点维护 维护 13.1. 关于节点维护 13.2. 自动续订 TLS 证书 73 73 73 74 74 75 75