Container Platform 3.11 扩展和性能指南 OpenShift Container Platform 3.11 扩展和性能指南 Last Updated: 2023-03-25 OpenShift Container Platform 3.11 扩展和性能指南 OpenShift Container Platform 3.11 扩展和性能指南 Enter your first name community. All other trademarks are the property of their respective owners. 摘要 摘要 扩展集群并调整生产环境中的性能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 使用 TUNED 配置集扩展主机 第 第 4 章 章 优 优化 化计 计算 算资 资源 源 4.1. 过量使用 4.2. 镜像注意事项 4.2.1. 使用预部署的镜像提高效率 4.2.2. 预拉取镜像 4.3. 使用 RHEL 工具容器镜像进行调试 4.4. 使用基于 ANSIBLE 的健康检查进行调试 第 第 5 章 章 优 优化持久性存 化持久性存储 储 5.1. 概述 5.2

Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 Last Updated: 2023-10-18 OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 法律通告 法律通告 Copyright trademarks are the property of their respective owners. 摘要 摘要 本文档提供了扩展集群和优化 OpenShift Container Platform 环境性能的说明。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 境的推荐主机实 实践 践 2.1. 管理 CPU 过量使用 2.2. 禁用透明巨页 2.3. 使用 RECEIVE FLOW STEERING（RFS）提高网络性能 2.4. 选择您的网络设置 2.5. 确保 Z/VM 上使用 HYPERPAV 的高磁盘性能 2.6. IBM Z 主机上的 RHEL KVM 建议 第 第 3 章 章 推荐的集群 推荐的集群扩 扩展 展实 实践 践 3.1. 扩展集群的建议实践

配置优先级和抢占 2.10. 使用节点选择器将 POD 放置到特定节点 2.10.1. 使用节点选择器控制 pod 放置 第 第 3 章 章 控制 控制节 节点上的 点上的 POD 放置（ 放置（调 调度） 度） 3.1. 使用调度程序控制 POD 放置 3.1.1. 调度程序用例 3.1.1.1. 基础架构拓扑级别 3.1.1.2. 关联性 3.1.1.3. 反关联性 3.2. 配置默认调度程序以控制 不仅允许您访问和管理节点；作为管理员，您可以在节点上执行以下任 务，使集群更有效、应用友好，并为开发人员提供更好的环境。 使用 Node Tuning Operator 管理需要一定级别的内核调整的高性能应用程序的节点级性能优化。 使用守护进程集在节点上自动运行后台任务。您可以创建并使用守护进程集来创建共享存储，在 每个节点上运行日志 pod，或者在所有节点上部署监控代理。 使用垃圾回收释放节点资源。您可以通过删除被终止的容器和任何正在运行的 节点上管理 pod 的方法，请参阅 在网络边缘使用远程 worker 节点。 1.2. 关于 POD pod 是共同部署到一个节点上的一个或多个容器。作为集群管理员，您可以定义 pod，将其分配到准备调 度和管理的健康节点上运行。只要容器正在运行，容器集就会运行。在 pod 被定义并在运行后，您无法更 改它。在使用 pod 时可以执行的一些操作有： 读 读取操作 取操作 作为管理员，您可以通过以下任务获取项目中

配置优先级和抢占 2.10. 使用节点选择器将 POD 放置到特定节点 2.10.1. 使用节点选择器控制 pod 放置 第 第 3 章 章 控制 控制节 节点上的 点上的 POD 放置（ 放置（调 调度） 度） 3.1. 使用调度程序控制 POD 放置 3.1.1. 调度程序用例 3.1.1.1. 基础架构拓扑级别 3.1.1.2. 关联性 3.1.1.3. 反关联性 3.2. 配置默认调度程序以控制 不仅支持访问和管理节点；作为管理员，您可以在节点上执行以下任务， 使集群更高效、应用程序友好，并为开发人员提供更好的环境。 使用 Node Tuning Operator，为需要一定等级内核调整的高性能应用程序管理节点级别的性能优 化。 在节点上启用 TLS 安全配置集，以保护 kubelet 和 Kubernetes API 服务器之间的通信。 使用守护进程集在节点上自动运行后台任务。您可以创建并使用守护进程集来创建共享存储，在 优先级与抢占功能时，调度程序会根据优先级来调度待处理 pod，而待处理 pod 会放在调 度队列中优先级较低的其他待处理 pod 的前面。因此，如果达到调度要求，较高优先级的 pod 可能比低 优先级的 pod 更早调度。如果 pod 无法调度，调度程序会继续调度其他较低优先级 pod。 2.9.1.1. Pod 优 优先 先级类 级类 您可以为 pod 分配一个优先级类，它是一种非命名空间的对象，用于定义从名称到优先级整数值的映射。

Operator 目录 3.2.10. 节点调优功能 用途 用途 Node Tuning Operator 为 NodeTuning 功能提供功能。 Node Tuning Operator 可以帮助您通过编排 TuneD 守护进程来管理节点级别的性能优化，并使用 Performance Profile 控制器获得低延迟性能。大多数高性能应用程序都需要一定程度的内核级性能优化。 Node Tuning Operator 为用户提供了一个统一的、节点一级的 sysctl 管理接口，并可以根据具体用户的 需要灵活地添加自定义性能优化设置。 如果您禁用了 NodeTuning 功能，一些默认的性能优化设置不会应用到 control-plane 节点。这可能会限 制具有 900 个节点或 900 路由的大型集群的可扩展性和性能。 其他 其他资 资源 源 第 第 3 章 章 集群功能 集群功能 27 使用 Node Tuning 下，出口流量在 OVN 中进行处理以退出集群，不受内核路由表中 的特殊路由的影响。默认值为 false。 此字段与 Open vSwitch 硬件卸载功能有交互。如果将此字段设置 为 true，则不会获得卸载的性能优势，因为主机网络堆栈会处理 出口流量。 ipForwarding object 您可以使用 Network 资源中的 ipForwarding 规格来控制 OVN-Kubernetes 管理接口上所有流量的

Operator 目录 3.2.7. 节点调优功能 用途 用途 Node Tuning Operator 为 NodeTuning 功能提供功能。 Node Tuning Operator 可以帮助您通过编排 TuneD 守护进程来管理节点级别的性能优化，并使用 Performance Profile 控制器获得低延迟性能。大多数高性能应用程序都需要一定程度的内核级性能优化。 Node Tuning Operator 为用户提供了一个统一的、节点一级的 sysctl 管理接口，并可以根据具体用户的 需要灵活地添加自定义性能优化设置。 如果您禁用了 NodeTuning 功能，一些默认的性能优化设置不会应用到 control-plane 节点。这可能会限 制具有 900 个节点或 900 路由的大型集群的可扩展性和性能。 OpenShift Container Platform 4.13 安装 安装 26 其他 （默认值）。 字符串 compute: 超线程： 是否在计算机器上启用或禁用并发多 线 线 程或超 程或超线 线程 程。默认情况下，启用并发 多线程以提高机器内核的性能。 重要 重要 如果您禁用并发多线 程，请确保您的容量规 划考虑机器性能显著降 低的情况。 enabled 或 Disabled compute.name 使用 compute 时需要此项。机器池的 名称。 worker compute

CPU、内存和其他系统资源中选择来设置配额。 修剪和回收 修剪和回收资 资源 源：通过修剪不需要的 Operator、组、部署、构建、镜像、registry 和 cron 作业来 回收空间。 扩 扩展 展和 和调优 调优集群 集群 ：设置集群限制、调整节点、扩展集群监控和优化您的环境的网络、存储和路 由。 第 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 4.6 文档 文档 5 。因为虚拟机 (VM) 和物理主机一样会消 耗尽可能多的资源，因此为虚拟机提供资源（如 CPU、RAM 和存储）的成本会比较高。另外，您可能会 看到，因为使用共享资源，导致虚拟实例中运行的应用程序的性能下降。 图 图 3.1. 用于 用于类 类部署的容器技 部署的容器技术 术的演 的演进 进 要解决这个问题，您可以使用容器化技术，在一个容器化环境中隔离应用程序。与虚拟机类似，容器具有 自己的文

地址配置 IP 故障转移 16.8. INGRESSIP 的高可用性 16.9. 删除 IP 故障切换 第 第 17 章 章 配置接口 配置接口级别 级别网 网络 络 SYSCTL 17.1. 配置调优 CNI 17.2. 其他资源 第 第 18 章 章 在裸机集群中使用流控制 在裸机集群中使用流控制传输协议 传输协议 (SCTP) 18.1. 支持 OPENSHIFT CONTAINER PLATFORM 26.6. 配置 SR-IOV INFINIBAND 网络附加 26.7. 将 POD 添加到额外网络 26.8. 为 SR-IOV 网络配置接口级别网络 SYSCTL 设置 26.9. 配置高性能多播 26.10. 使用 DPDK 和 RDMA 26.11. 使用 POD 级别绑定 26.12. 配置硬件卸载 (OFFLOADING) 26.13. 将 BLUEFIELD-2 从 DPU 切换到 网络是一个功能生态系统、插件和高级网络功能，它使用高级网络相关功能来扩展 Kubernetes 网络，集群需要为其一个或多个混合集群管理网络流量。这个网络功能生态系统集成了入 口、出口、负载均衡、高性能吞吐量、安全性和集群内部流量管理，并提供基于角色的可观察工具来减少 其自然复杂性。 以下列表重点介绍集群中可用的一些最常用的 Red Hat OpenShift Networking 功能： 由以下

Container Platform 的一个附加组件，它会带来额外的开销。除了 OpenShift Container Platform 要求外，每个集群机器都必须满足以下开销要求。覆盖集群中的物理资源 可能会影响性能。 重要 重要  OpenShift Container Platform 4.10 虚 虚拟 拟化 化 16 1 2 重要 重要 本文档中给出的数字基于红帽的测试方法和设置。这些数字会根据您自己的设置和环境而 Pod 的 container_t SELinux 策略被扩展来启用 OpenShift Virtualization 的基本功能。 网络多队列需要以下策略，它可在可用 vCPU 数量增加时扩展网络性能： allow process self (tun_socket (relabelfrom relabelto attach_queue)) 以下策略允许 virt-launcher 读取 /proc clusterrole 的 RBAC 定义： 6.3. 其他资源 管理安全性上下文约束 使用 RBAC 定义和应用权限 Red Hat Enterprise Linux (RHEL)文档中的优化虚拟机网络性能 在虚拟机中使用巨页 RHEL 文档中的配置巨页 $ oc get scc kubevirt-controller -o yaml $ oc get clusterrole kubevirt-controller

章 关于 关于 OPENSHIFT VIRTUALIZATION 5 实时迁移需要 ReadWriteMany (RWX) 访问模式。 与 Filesystem 卷模式相比，Block 卷模式性能有显著提高。这是因为 Filesystem 卷模式使用更 多存储层，包括文件系统层和磁盘镜像文件。虚拟机磁盘存储不需要这些层。 例如，如果您使用 Red Hat OpenShift Data Foundation，Ceph VirtualMachine 详情和配置 Metrics 标签页 内存、CPU、存储、网络和迁移指标 YAML 标签页 VirtualMachine YAML 配置文件 配置 配置 标签页 包含 调 调度 度、环 环境 境、网 网络 络接口 接口、磁 磁盘 盘和脚本 脚本选项卡 Configuration → Scheduling 标签页 调度 VirtualMachine 以便在特定节点上运行 Configuration 选项 选项卡上的 卡上的标签页 标签页 标签页 标签页 描述 描述 OpenShift Container Platform 4.13 虚 虚拟 拟化 化 26 调 调度 度 标签页 调度 VirtualMachine 以便在特定节点上运行 Environment 标签页 配置映射、secret 和服务帐户 网 网络 络接口 接口 标签页 网络接口 Disk