--gpu-memory-utilization 。默认情况下，该值为 0.9 ，您可以将其调高以应对 OOM 问题。这也是为什么您发现一个大型语言模型服务总是占用大量内存的原因。 1.11 SkyPilot 1.11.1 SkyPilot 是什么 SkyPilot 是一个可以在任何云上运行 LLM、AI 应用以及批量任务的框架，旨在实现最大程度的成本节省、最 高的 GPU 可用性以及受管理的执行过程。其特性包括：

‣ Nsight Systems 2021.5.2.53 ‣ NVIDIA TensorRT™ 8.2.3 ‣ Torch-TensorRT 1.1.0a0 ‣ NVIDIA DALI® 1.11.1 ‣ MAGMA 2.5.2 ‣ Jupyter and JupyterLab: ‣ Jupyter Client 6.0.0 PyTorch Release 22.03 PyTorch