GPU Resource Management On JDOS 梁永清 liangyongqing1@jd.com 提供的服务 1. 用于实验的 GPU 容器 2.基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器，不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务 常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源，提高 GPU 利用率 – Job 调度 （部门 quota 限制 + 优先级） • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供

deployment, scaling, and management of containerized applications • Declarative • Can be a mix of GPU or CPU nodes • Massive Scale • OpenAI dedicates up to 10k cores for a single experiment • Autoscaling


 project CI/CD workspace Pod … resources CPU quota MEM quota Storage quota Device (GPU) quota …. quota Service Config group … k8s objects Application template ⽤用户场景 - OPENSTACK

也叫做 x86-64、x64、EM64T、Intel64 等。这是普通 x86 处理器(即的 386,486，奔腾等以及后继型号)的一种 64 位扩展，由 AMD 首先提出，最开 始 Intel 对于这种技术并不热心，所以，最早支持这种架构的软件通常称之为 AMD64，Ubuntu 也从 Debian 中延续这这种叫法。 基本上来说，06年之后生产的 Intel 和 AMD 处理器都支持这种架构。Atom IA64(安腾2)并不是这种架构 IA64 是另外一种完全不同的处理器架构—— EPIC。Intel 当时就是为了推广 IA64， 才对 x86-64 持冷淡态度，使 AMD 占据了先发优势。 XI.I.II 如何查看自己的计算机是否支持 AMD64？ 要查看自己的处理器是否支持 AMD64 可以去 AMD 或者 Intel 的官方网站去查找。 也可以使用一些专门查看硬件信息的软件查看。 如果有安装好的