调度 GPUs

    这个页面介绍了用户如何在不同的 Kubernetes 版本中使用 GPU，以及当前存在的一些限制。

    从 1.8 版本开始，我们推荐通过 设备插件 的方式来使用 GPU。

    在 1.10 版本之前，为了通过设备插件开启 GPU 的支持，我们需要在系统中将 这一特性开关显式地设置为 true：--feature-gates="DevicePlugins=true"。不过， 从 1.10 版本开始，我们就不需要这一步骤了。

    接着你需要在主机节点上安装对应厂商的 GPU 驱动并运行对应厂商的设备插件 (、NVIDIA)。

    当上面的条件都满足，Kubernetes 将会暴露 nvidia.com/gpu 或 amd.com/gpu 来作为 一种可调度的资源。

    你也能通过像请求 cpu 或 memory 一样请求 <vendor>.com/gpu 来在容器中使用 GPU。然而，当你要通过指定资源请求来使用 GPU 时，存在着以下几点限制：

    • GPU 仅仅支持在 limits 部分被指定，这表明：
      • 你可以仅仅指定 GPU 的 limits 字段而不必须指定 requests 字段，因为 Kubernetes 会默认使用 limit 字段的值来作为 request 字段的默认值。
      • 你能同时指定 GPU 的 limits 和 requests 字段，但这两个值必须相等。
      • 你不能仅仅指定 GPU 的 request 字段而不指定 。
    • 容器（以及 pod）并不会共享 GPU，也不存在对 GPU 的过量使用。
    • 每一个容器能够请求一个或多个 GPU。然而只请求一个 GPU 的一部分是不允许的。

    下面是一个例子:

    • Kubernetes 节点必须预先安装 AMD GPU 的 Linux 驱动。

    如果你的集群已经启动并且满足上述要求的话，可以这样部署 AMD 设备插件：

    1. # 针对 Kubernetes v1.9
    2. kubectl create -f https://raw.githubusercontent.com/RadeonOpenCompute/k8s-device-plugin/r1.9/k8s-ds-amdgpu-dp.yaml
    4. # 针对 Kubernetes v1.10
    5. kubectl create -f https://raw.githubusercontent.com/RadeonOpenCompute/k8s-device-plugin/r1.10/k8s-ds-amdgpu-dp.yaml

    请到 报告有关此设备插件的问题。

    部署 NVIDIA GPU 设备插件

    对于 NVIDIA GPUs，目前存在两种设备插件的实现：

    官方的 NVIDIA GPU 设备插件

    官方的 NVIDIA GPU 设备插件 有以下要求:

    • Kubernetes 的节点必须预先安装
    • Docker 的默认运行时必须设置为 nvidia-container-runtime，而不是 runc
    • NVIDIA 驱动版本 ~= 361.93

    如果你的集群已经启动并且满足上述要求的话，可以这样部署 NVIDIA 设备插件：

    请到 报告有关此设备插件的问题。

    GCE 中使用的 NVIDIA GPU 设备插件

    并不要求使用 nvidia-docker，并且对于任何实现了 Kubernetes CRI 的容器运行时，都应该能够使用。这一实现已经在 Container-Optimized OS 上进行了测试，并且在 1.9 版本之后会有对于 Ubuntu 的实验性代码。

    1. # 在容器优化的操作系统上安装 NVIDIA 驱动:
    2. kubectl create -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/stable/daemonset.yaml
    4. # 在 Ubuntu 上安装 NVIDIA 驱动 (实验性质):
    5. kubectl create -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/stable/nvidia-driver-installer/ubuntu/daemonset.yaml
    7. # 安装设备插件:

    请到 报告有关此设备插件以及安装方法的问题。

    集群内存在不同类型的 NVIDIA GPU

    如果集群内部的不同节点上有不同类型的 NVIDIA GPU，那么你可以使用 来将 pod 调度到合适的节点上。

    例如：

    对于 AMD GPUs，您可以部署 节点标签器，它会自动给节点打上 GPU 属性标签。目前支持的属性：

    • 设备 ID (-device-id)
    • VRAM 大小 (-vram)
    • SIMD 数量(-simd-count)
    • 计算单位数量(-cu-count)
    • 固件和特性版本 (-firmware)
    • GPU 系列，两个字母的首字母缩写(-family)
      • SI - Southern Islands
      • KV - Kaveri
      • VI - Volcanic Islands
      • CZ - Carrizo
      • AI - Arctic Islands
      • RV - Raven

    示例:

    1. $ kubectl describe node cluster-node-23
    2. Name:               cluster-node-23
    3. Roles:              <none>
    4. Labels:             beta.amd.com/gpu.cu-count.64=1
    5.                     beta.amd.com/gpu.device-id.6860=1
    6.                     beta.amd.com/gpu.family.AI=1
    7.                     beta.amd.com/gpu.simd-count.256=1
    8.                     beta.amd.com/gpu.vram.16G=1
    9.                     beta.kubernetes.io/arch=amd64
    10.                     beta.kubernetes.io/os=linux
    11.                     kubernetes.io/hostname=cluster-node-23
    12. Annotations:        kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock

    在 pod 的 spec 字段中指定 GPU 的类型：

    这能够保证 pod 能够被调度到你所指定类型的 GPU 的节点上去。