property of their respective owners. 摘要 摘要 有关安装 Red Hat OpenShift Container Storage 4.6 使用外部 Red Hat Ceph Storage 集群的说明， 请参阅本文档。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. 验证 OPENSHIFT CONTAINER STORAGE 集群是否正常运行 5.3. 验证 MULTICLOUD 对象网关是否健康 5.4. 验证存储类是否已创建并列出 5.5. 验证 CEPH 集群是否已连接 5.6. 验证存储集群是否已就绪 第 第 6 章 章 卸 卸载 载 OPENSHIFT CONTAINER STORAGE 6.1. 以外部模式卸载 OPENSHIFT CONTAINER OpenShift Container Storage 2 第 1 章 以外部模式部署概述 Red Hat OpenShift Container Storage 可以使用外部托管的 Red Hat Ceph Storage (RHCS) 集群作为存 储供应商。此部署类型支持裸机和用户置备的 VMware 环境。如需更多信息，请参阅规划部署。 有关如何安装 RHCS 4 集群的说明，请参阅安装指南。

Foundation 会升级所有 OpenShift Data Foundation 服务，包括后端 Ceph Storage 集群。 对于外部模式部署，升级 OpenShift Data Foundation 会仅升级 OpenShift Data Foundation 服 务，同时后端 Ceph 存储集群保持不变，需要单独升级。 我们建议升级 RHCS 和 OpenShift Data Fou 升级没有强烈依赖，因此您可以先升级 OpenShift Data Foundation operator，然后再升级 RHCS 升级，或反之亦然。请参阅 解决方案 以了解更多关于 Red Hat Ceph Storage 版本的信息。 重要 重要 不支持直接从 4.11 之前的版本升级到 4.12。 先决条件 先决条件 确保 OpenShift Container Platform 集群已更新至版本 Foundation 会升级所有 OpenShift Data Foundation 服务，包括后端 Ceph Storage 集群。 对于外部模式部署，升级 OpenShift Data Foundation 会仅升级 OpenShift Data Foundation 服 务，同时后端 Ceph 存储集群保持不变，需要单独升级。 我们建议升级 RHCS 和 OpenShift Data Fou

在configs.imageregistry.operator.openshift.io/cluster中 中中输入存储配置： 配置示例 配置示例 regionEndpoint: http://rook-ceph-rgw-ocs-storagecluster-cephobjectstore.openshift- storage.svc.cluster.local $ oc create secret generic OpenShift Data Foundation 的 的 Ceph RGW 存 存储 储 Red Hat OpenShift Data Foundation 集成了多个可与 集成了多个可与 OpenShift 镜 镜像 像 registry 搭配使用的存 搭配使用的存储类 储类 型： 型： Ceph、共享和分布式文件系 、共享和分布式文件系统 统以及内部 NooBaa 提供多云 提供多云对 对象网关 象网关 本文档概述了将 本文档概述了将镜 镜像 像 registry 配置 配置为 为使用 使用 Ceph RGW 存 存储 储的步 的步骤 骤。 。 先决条件 先决条件 您可以使用具有 您可以使用具有 cluster-admin 角色的用 角色的用户访问 户访问集群。

OpenShift Data Foundation 版本 4.x 由一组软件项目组成，包括： Ceph，提供块存储、共享分布式文件系统以及内部对象存储 Ceph CSI，用于管理持久性卷和声明的调配和生命周期 NooBaa 提供多云对象网关 OpenShift Data Foundation、Rook-Ceph 和 NooBaa 操作器，用于初始化和管理 OpenShift Data Foundation 使用特定测试的方法在其他 Operator 上绘制并强制实施受支持的 Red Hat OpenShift Data Foundation 部署的建议和要求。rook-ceph 和 noobaa operator 提供了打包了这些资源的存储集群资源。 Rook-ceph operator 此 operator 自动打包、部署、管理、升级和扩展持久存储和文件、块和对象服务。它为所有环境创建块 和文件存储类，并在内部 和文件存储类，并在内部环境中创建针对它的对象存储类和服务对象存储桶声明（Object Bucket Claims (OBCs)）。 此外，对于内部模式集群，它提供 Ceph 集群资源，它管理部署和服务，如下所示： 对象存储守护进程 (OSD) 监视器 (MON) 经理 (MGR) 元数据服务器 (MDS) 仅限内部 RADOS 对象网关 (RGW) 多云 多云对 对象网关 象网关 operator 此 operator

低层直接操作文件的应用程序 也称为存储区域网络 (SAN) 不可共享，这意味着，每次只有一个客户端可 以挂载这种类型的端点 聚合模式/独立于模式 GlusterFS [1]、 iSCSI、光纤通道、Ceph RBD、 OpenStack Cinder、AWS EBS [1]、 Dell/EMC Scale.IO、VMware vSphere 卷、GCE Persistent Disk [1]、Azure 聚合模式/独立于模式 GlusterFS [1]、 Ceph Object Storage（RADOS 网 关）、OpenStack Swift、Ayun OSS、AWS S3、Google Cloud Storage、Azure Blob 存储、Vendor S3 [3], Vendor Swift [3] 1. 聚合模式/独立于模式 GlusterFS、Ceph RBD、OpenStack Cinder、AWS master/etcd 节点由 NVMe 磁盘支持，因为 etcd 非常大，且敏感延迟。 2. Infra 节点托管路由器、Registry、日志记录和监控，并由 NVMe 磁盘支持。 3. 容器原生存储或 Ceph 存储节点由 NVMe 磁盘支持。 4. Bastion 节点是 OpenShift Container Platform 网络的一部分，用于编配性能和扩展测试。 11.4. 规划环境以延长集群最大值

卷模式性能有显著提高。这是因为 Filesystem 卷模式使用更 多存储层，包括文件系统层和磁盘镜像文件。虚拟机磁盘存储不需要这些层。 例如，如果您使用 Red Hat OpenShift Data Foundation，Ceph RBD 卷优先于 CephFS 卷。 重要 重要 您无法实时迁移使用以下配置的虚拟机： 具有 ReadWriteOnce (RWO) 访问模式的存储卷 透传功能，比如 GPU 对于这些虚拟机，不要将 作为临时解决方案，使用 ocs-storagecluster-ceph-rbd 存储类在使用 Red Hat Ceph Storage 的集群上实时迁移虚拟机。 如果您使用 csi-clone 克隆策略克隆超过 100 个虚拟机，则 Ceph CSI 可能无法清除克隆。手动 删除克隆也可能会失败。(BZ#2055595) 作为临时解决方案，您可以重启 ceph-mgr 来清除虚拟机克隆。 如果您停止集群中的节点，然后使用 卷模式性能有显著提高。这是因为 Filesystem 卷模式使用更 多存储层，包括文件系统层和磁盘镜像文件。虚拟机磁盘存储不需要这些层。 例如，如果您使用 Red Hat OpenShift Data Foundation，Ceph RBD 卷优先于 CephFS 卷。 重要 重要 您无法实时迁移使用以下配置的虚拟机： 具有 ReadWriteOnce (RWO) 访问模式的存储卷 透传功能，比如 GPU 对于这些虚拟机，不要将

Paused。这是因为两个 pod 会尝试同时访问共享 ReadWriteMany CephFS 卷。(BZ#2092271) 作为临时解决方案，使用 ocs-storagecluster-ceph-rbd 存储类在使用 Red Hat Ceph Storage 的集群上实时迁移虚拟机。 更新至 OpenShift Virtualization 4.10.5 会导致一些虚拟机(VM)处于实时迁移循环中。如果虚拟机 型号值。要确定此值，您可以为所有节点运行 oc describe node 并查看 cpu-model- 标签。选择所有节点上出 现的 CPU 型号。 如果您使用 Red Hat Ceph Storage 或 Red Hat OpenShift Data Foundation Storage，则一次克 隆超过 100 个虚拟机可能会失败。(BZ#1989527) 作为临时解决方案，您可以通过在存储配置集清单中设置 示例被硬编码，并不总是包含最新的上游更改。(BZ#2055492) 如果您使用 csi-clone 克隆策略克隆超过 100 个虚拟机，则 Ceph CSI 可能无法清除克隆。手动 删除克隆也会失败。(BZ#2055595) 作为临时解决方案，您可以重启 ceph-mgr 来清除虚拟机克隆。 未授权用户无法在虚 虚拟 拟机网 机网络 络接口 接口选项卡上使用添加网络接口按钮。(BZ#2056420)

Azure File Cinder GCE Persistent Disk iSCSI 本地卷 NFS Red Hat OpenShift Container Storage（只限于 Ceph RBD） VMware vSphere 注意 注意 Fibre Channel 和 HostPath PV 不支持挂载选项。 3.4. 持久性卷声明 (PVC) 每个 PersistentVolumeClaim 使用裸机基础架构部署 OpenShift Container Storage 4.8 部署 Red Hat OpenShift Container Storage 以使用外 部 Red Hat Ceph Storage 集群 以外部模式部署 OpenShift Container Storage 4.8 在现有 Google Cloud 集群上部署和管理 Red Hat OpenShift Container

Registry Operator 配置参数 流程 流程 以下配置参数可用于 GCP GCS registry 存储。 参数 参数 描述 描述 regionEndpoint: http://rook-ceph-rgw-ocs-storagecluster-cephobjectstore.openshift- storage.svc.cluster.local $ oc create secret generic

将现有镜像标记到镜像流中 用法示例 用法示例 # Add new volume based on a more complex volume source (AWS EBS, GCE PD, # Ceph, Gluster, NFS, ISCSI, ...) oc set volume dc/myapp --add -m /data --source= # Starts