调度 GPU

    特性状态：

    Kubernetes 支持对节点上的 AMD 和 NVIDIA GPU （图形处理单元）进行管理，目前处于实验状态。

    本页介绍用户如何在不同的 Kubernetes 版本中使用 GPU，以及当前存在的一些限制。

    Kubernetes 实现了 以允许 Pod 访问类似 GPU 这类特殊的硬件功能特性。

    作为集群管理员，你要在节点上安装来自对应硬件厂商的 GPU 驱动程序，并运行 来自 GPU 厂商的对应的设备插件。

    当以上条件满足时，Kubernetes 将暴露 amd.com/gpu 或 nvidia.com/gpu 为 可调度的资源。

    你可以通过请求 <vendor>.com/gpu 资源来使用 GPU 设备，就像你为 CPU 和内存所做的那样。 不过，使用 GPU 时，在如何指定资源需求这个方面还是有一些限制的：

    • GPU 只能设置在 limits 部分，这意味着：
      • 你可以指定 GPU 的 limits 而不指定其 requests，Kubernetes 将使用限制 值作为默认的请求值；
      • 你可以同时指定 limits 和 requests，不过这两个值必须相等。
      • 你不可以仅指定 requests 而不指定 limits。
    • 容器（以及 Pod）之间是不共享 GPU 的。GPU 也不可以过量分配（Overcommitting）。
    • 每个容器可以请求一个或者多个 GPU，但是用小数值来请求部分 GPU 是不允许的。

    有以下要求：

    • Kubernetes 节点必须预先安装 AMD GPU 的 Linux 驱动。

    如果你的集群已经启动并且满足上述要求的话，可以这样部署 AMD 设备插件：

    1. kubectl create -f https://raw.githubusercontent.com/RadeonOpenCompute/k8s-device-plugin/v1.10/k8s-ds-amdgpu-dp.yaml

    你可以到 RadeonOpenCompute/k8s-device-plugin 项目报告有关此设备插件的问题。

    部署 NVIDIA GPU 设备插件

    对于 NVIDIA GPU，目前存在两种设备插件的实现：

    官方的 NVIDIA GPU 设备插件

    有以下要求:

    • Kubernetes 的节点必须预先安装了 NVIDIA 驱动
    • Kubernetes 的节点必须预先安装 nvidia-docker 2.0
    • Docker 的必须设置为 ，而不是 runc。
    • NVIDIA 驱动程序的版本必须匹配 ~= 384.81

    如果你的集群已经启动并且满足上述要求的话，可以这样部署 NVIDIA 设备插件：

    你可以通过在 NVIDIA/k8s-device-plugin 中记录问题来报告此第三方设备插件的问题。

    GCE 中使用的 NVIDIA GPU 设备插件

    你可以使用下面的命令来安装 NVIDIA 驱动以及设备插件：

    1. # 在 Container-Optimized OS 上安装 NVIDIA 驱动:
    2. kubectl create -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/stable/daemonset.yaml
    4. # 在 Ubuntu 上安装 NVIDIA 驱动 (实验性质):
    5. kubectl create -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/stable/nvidia-driver-installer/ubuntu/daemonset.yaml
    7. # 安装设备插件:
    8. kubectl create -f https://raw.githubusercontent.com/kubernetes/kubernetes/release-1.12/cluster/addons/device-plugins/nvidia-gpu/daemonset.yaml

    你可以通过在 GoogleCloudPlatform/container-engine-accelerators 中记录问题来报告使用或部署此第三方设备插件的问题。

    关于如何在 GKE 上使用 NVIDIA GPU，Google 也提供自己的。

    如果集群内部的不同节点上有不同类型的 NVIDIA GPU，那么你可以使用 来将 pod 调度到合适的节点上。

    例如：

    如果你在使用 AMD GPU，你可以部署 ， 它是一个 控制器， 会自动给节点打上 GPU 设备属性标签。目前支持的属性：

    • 设备 ID (-device-id)
    • VRAM 大小 (-vram)
    • SIMD 数量(-simd-count)
    • 计算单位数量(-cu-count)
    • 固件和特性版本 (-firmware)
    • GPU 系列，两个字母的首字母缩写(-family)
      • SI - Southern Islands
      • CI - Sea Islands
      • KV - Kaveri
      • CZ - Carrizo
      • AI - Arctic Islands
      • RV - Raven

    示例:

    1. kubectl describe node cluster-node-23
    1. apiVersion: v1
    3. metadata:
    4.   name: cuda-vector-add
    5. spec:
    6.   restartPolicy: OnFailure
    7.   containers:
    8.     - name: cuda-vector-add
    9.       # https://github.com/kubernetes/kubernetes/blob/v1.7.11/test/images/nvidia-cuda/Dockerfile
    10.       image: "registry.k8s.io/cuda-vector-add:v0.1"
    11.       resources:
    12.         limits:
    13.           nvidia.com/gpu: 1
    15.     accelerator: nvidia-tesla-p100 # or nvidia-tesla-k80 etc.

    这能够保证 Pod 能够被调度到你所指定类型的 GPU 的节点上去。