GPU Resource Management On JDOS 梁永清 liangyongqing1@jd.com 提供的服务 1. 用于实验的 GPU 容器 2.基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器，不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务

Stream Processing and Analytics Vasiliki (Vasia) Kalavri
 vkalavri@bu.edu Spring 2020 4/09: Flow control and load shedding ??? Vasiliki Kalavri | Boston University 2020 Keeping up with the producers what if the queue grows larger than available memory? • block the producer (back-pressure, flow control) 2 ??? Vasiliki Kalavri | Boston University 2020 Load management approaches 3 ! Load shedder stabilize. • Requires a persistent input source. • Suitable for transient load increase. Scale resource allocation: • Addresses the case of increased load and additionally ensures no resources are

and third-party tools. • Scale CN2 by adding or removing nodes. • Configure CN2 by using custom resource definitions (CRDs). 2 • Upgrade CN2 software by applying updated manifests. • Uninstall CN2 by (VM) workloads, across multi-cluster compute and storage environments, all from a central point of control. It supports hard multi-tenancy for single or multi-cluster environments shared across many tenants The CN2 implementation consists of a set of Contrail controllers that reside on either Kubernetes control plane nodes or worker nodes depending on distribution. The Contrail controllers manage a distributed

Kubernetes 节点代理的 kubelet，以及为 Kubernetes 优化的 CRI-O 容器运行时。 OpenShift Container Platform 4.10 集群中的每一 control plane 机器都必须使用 RHCOS，其中包括一个 关键的首次启动置备工具，称为 Ignition。这一工具让集群能够配置机器。操作系统更新作为嵌入在容器 镜像中的 Atomic OSTree 架构场景。安 装程序将为集群置备底层基础架构。 您可以安装标准集群或自定义集群。对于标准集群，您要提供安装集群所需的最低限度详细信息。对于自 定义集群，您可以指定有关平台的更多详细信息，如 control plane 使用的机器数量、集群部署的虚拟机的 类型，或 Kubernetes 服务网络的 CIDR 范围。 若有可能，可以使用此功能来避免置备和维护集群基础架构。在所有其他环境中，可以使用安装程序来生 Platform。您可以使用安装程序来生成置备 集群基础架构所需的资产，再创建集群基础架构，然后将集群部署到您提供的基础架构中。 如果不使用安装程序置备的基础架构，您必须自己管理和维护集群资源，包括： 组成集群的 control plane 和计算机器的底层基础架构 负载均衡器 集群网络，包括 DNS 记录和所需的子网 集群基础架构和应用程序的存储 如果您的集群使用用户置备的基础架构，您可以选择将 RHEL 计算机器添加到集群中。

没有单点故障的高可用性基础架构，默认可用。 管理员可以控制要应用的更新，以及应用的时间。 1.1.1. 关于安装程序 您可以使用安装程序部署每种集群。安装程序会生成主要资产，如 bootstrap、control plane 和计算机器 的 Ignition 配置文件。您可以使用这三个机器配置开始使用 OpenShift Container Platform 集群，它为您 提供了正确配置的基础架构。 OpenShift Kubernetes 节点代理的 kubelet，以及为 Kubernetes 优化的 CRI-O 容器运行 时。 OpenShift Container Platform 4.14 集群中的每一 control plane 机器都必须使用 RHCOS，其中包括一个 关键的首次启动置备工具，称为 Ignition。这一工具让集群能够配置机器。操作系统更新作为可引导容器 镜像（使用 OSTree 作为后端）提供，该镜像由 一个临时的机器，它运行最小需要的 Kubernetes 配置来部署 OpenShift Container Platform 控制平面 （control plane）。 Control plane（控制平面） （控制平面） 一个容器编配层，用于公开 API 和接口来定义、部署和管理容器的生命周期。也称为 control plane 机 器。 Compute 节 节点 点 负责执行集群用户工作负载的节点。也称为 worker

没有单点故障的高可用性基础架构，默认可用。 管理员可以控制要应用的更新，以及应用的时间。 1.1.1. 关于安装程序 您可以使用安装程序部署每种集群。安装程序会生成主要资产，如 bootstrap、control plane 和计算机器 的 Ignition 配置文件。您可以使用这三个机器配置开始使用 OpenShift Container Platform 集群，它为您 提供了正确配置的基础架构。 OpenShift Kubernetes 节点代理的 kubelet，以及为 Kubernetes 优化的 CRI-O 容器运行 时。 OpenShift Container Platform 4.13 集群中的每一 control plane 机器都必须使用 RHCOS，其中包括一个 关键的首次启动置备工具，称为 Ignition。这一工具让集群能够配置机器。操作系统更新作为可引导容器 镜像（使用 OSTree 作为后端）提供，该镜像由 一个临时的机器，它运行最小需要的 Kubernetes 配置来部署 OpenShift Container Platform 控制平面 （control plane）。 Control plane（控制平面） （控制平面） 一个容器编配层，用于公开 API 和接口来定义、部署和管理容器的生命周期。也称为 control plane 机 器。 Compute 节 节点 点 负责执行集群用户工作负载的节点。也称为 worker

Spark application per account(SPA). 3. Supports QUEUE/NAMESPACE Access Control Lists (ACL) 4. Supports metadata & data Access Control Lists Users who have valid accounts could use all kinds of client tools get computing resource with managed ACLs, e.g. Queue Access Control Lists [https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn- site/FairScheduler.html#Queue_Access_Control_Lists], from cluster read connection properties (url, driver, user, password) from --color=[true/false] control whether color is used for display --showHeader=[true/false] show column names in query

Spark application per account(SPA). 3. Supports QUEUE/NAMESPACE Access Control Lists (ACL) 4. Supports metadata & data Access Control Lists Users who have valid accounts could use all kinds of client tools get computing resource with managed ACLs, e.g. Queue Access Control Lists [https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn- site/FairScheduler.html#Queue_Access_Control_Lists], from cluster read connection properties (url, driver, user, password) from --color=[true/false] control whether color is used for display --showHeader=[true/false] show column names in query

certificates, provides workload identity, and includes a builtin authorization system facilitated by its control plane. The goal of the assessment was to identify security issues related to the Istio code base Istio (NOTE: Envoy itself was not part of the assessment). • Istio Control Plane: Istio operator, side car injector, and other Istio control plane services • Istio Documentation: The documentation and secu- fields that could allow route hijacking • In testing, it did not appear to be possible to secure the control plane either by the controlPlaneSecuri ty configuration directive or other means. This left all default

Spark application per account(SPA). 3. Supports QUEUE/NAMESPACE Access Control Lists (ACL) 4. Supports metadata & data Access Control Lists Users who have valid accounts could use all kinds of client tools get computing resource with managed ACLs, e.g. Queue Access Control Lists [https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn- site/FairScheduler.html#Queue_Access_Control_Lists], from cluster read connection properties (url, driver, user, password) from --color=[true/false] control whether color is used for display --showHeader=[true/false] show column names in query