容器运行时

    本文列出了在 Linux 上结合 Kubernetes 使用的几种通用容器运行时的详细信息：

    提示：对于其他操作系统，请查阅特定于你所使用平台的相关文档。

    控制组用来约束分配给进程的资源。

    当某个 Linux 系统发行版使用 作为其初始化系统时，初始化进程会生成并使用一个 root 控制组 (cgroup), 并充当 cgroup 管理器。 Systemd 与 cgroup 集成紧密，并将为每个 systemd 单元分配一个 cgroup。 你也可以配置容器运行时和 kubelet 使用 cgroupfs。 连同 systemd 一起使用 cgroupfs 意味着将有两个不同的 cgroup 管理器。

    单个 cgroup 管理器将简化分配资源的视图，并且默认情况下将对可用资源和使用 中的资源具有更一致的视图。 当有两个管理器共存于一个系统中时，最终将对这些资源产生两种视图。 在此领域人们已经报告过一些案例，某些节点配置让 kubelet 和 docker 使用 cgroupfs，而节点上运行的其余进程则使用 systemd; 这类节点在资源压力下 会变得不稳定。

    更改设置，令容器运行时和 kubelet 使用 systemd 作为 cgroup 驱动，以此使系统更为稳定。 对于 Docker, 设置 native.cgroupdriver=systemd 选项。

    注意：更改已加入集群的节点的 cgroup 驱动是一项敏感的操作。 如果 kubelet 已经使用某 cgroup 驱动的语义创建了 pod，更改运行时以使用 别的 cgroup 驱动，当为现有 Pods 重新创建 PodSandbox 时会产生错误。 重启 kubelet 也可能无法解决此类问题。 如果你有切实可行的自动化方案，使用其他已更新配置的节点来替换该节点， 或者使用自动化方案来重新安装。

    Cgroup v2 是 cgroup Linux API 的下一个版本。与 cgroup v1 不同的是， Cgroup v2 只有一个层次结构，而不是每个控制器有一个不同的层次结构。

    新版本对 cgroup v1 进行了多项改进，其中一些改进是：

    • 更简洁、更易于使用的 API
    • 可将安全子树委派给容器
    • 更新的功能，如压力失速信息（Pressure Stall Information）

    尽管内核支持混合配置，即其中一些控制器由 cgroup v1 管理，另一些由 cgroup v2 管理， Kubernetes 仅支持使用同一 cgroup 版本来管理所有控制器。

    如果 systemd 默认不使用 cgroup v2，你可以通过在内核命令行中添加 systemd.unified_cgroup_hierarchy=1 来配置系统去使用它。

    要应用配置，必须重新启动节点。

    切换到 cgroup v2 时，用户体验不应有任何明显差异， 除非用户直接在节点上或在容器内访问 cgroup 文件系统。 为了使用它，CRI 运行时也必须支持 cgroup v2。

    如果你想迁移到现有 kubeadm 托管集群中的 systemd cgroup 驱动程序， 遵循此迁移指南。

    Note: This section links to third party projects that provide functionality required by Kubernetes. The Kubernetes project authors aren’t responsible for these projects, which are listed alphabetically. To add a project to this list, read the before submitting a change. More information.

    本节包含使用 containerd 作为 CRI 运行时的必要步骤。

    使用以下命令在系统上安装 Containerd：

    安装和配置的先决条件：

    1. cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
    2. overlay
    3. br_netfilter
    4. EOF
    6. sudo modprobe overlay
    7. sudo modprobe br_netfilter
    9. # 设置必需的 sysctl 参数，这些参数在重新启动后仍然存在。
    10. cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
    11. net.bridge.bridge-nf-call-iptables  = 1
    12. net.ipv4.ip_forward                 = 1
    13. net.bridge.bridge-nf-call-ip6tables = 1
    14. EOF
    16. # 应用 sysctl 参数而无需重新启动
    17. sudo sysctl --system

    安装 containerd:

    2. 配置 containerd：

      1. sudo mkdir -p /etc/containerd
      2. containerd config default | sudo tee /etc/containerd/config.toml

    3. 重新启动 containerd:

      1. sudo systemctl restart containerd

    启动 Powershell 会话，将 $Version 设置为所需的版本（例如：$Version=1.4.3）， 然后运行以下命令：

    1. 下载 containerd：

      1. tar.exe xvf .\containerd-windows-amd64.tar.gz

    2. 提取并配置：

      1. Copy-Item -Path ".\bin\" -Destination "$Env:ProgramFiles\containerd" -Recurse -Force
      2. cd $Env:ProgramFiles\containerd\
      3. .\containerd.exe config default | Out-File config.toml -Encoding ascii
      5. # 检查配置。根据你的配置，可能需要调整：
      6. # - sandbox_image (Kubernetes pause 镜像)
      7. # - cni bin_dir 和 conf_dir 位置
      8. Get-Content config.toml
      10. # (可选 - 不过强烈建议) 禁止 Windows Defender 扫描 containerd
      11. Add-MpPreference -ExclusionProcess "$Env:ProgramFiles\containerd\containerd.exe"

    3. 启动 containerd:

    使用 cgroup 驱动程序

    结合 runc 使用 systemd cgroup 驱动，在 /etc/containerd/config.toml 中设置

    1. [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
    2.   ...
    3.   [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
    4.     SystemdCgroup = true

    如果您应用此更改，请确保再次重新启动 containerd：

    1. sudo systemctl restart containerd

    当使用 kubeadm 时，请手动配置 kubelet 的 cgroup 驱动.

    本节包含安装 CRI-O 作为容器运行时的必要步骤。

    使用以下命令在系统中安装 CRI-O：

    Note:

    CRI-O 的主要以及次要版本必须与 Kubernetes 的主要和次要版本相匹配。 更多信息请查阅 。

    安装并配置前置环境：

    2. # 创建 .conf 文件以在启动时加载模块
    3. cat <<EOF | sudo tee /etc/modules-load.d/crio.conf
    4. overlay
    5. br_netfilter
    6. EOF
    8. sudo modprobe overlay
    9. sudo modprobe br_netfilter
    11. # 配置 sysctl 参数，这些配置在重启之后仍然起作用
    12. cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
    13. net.bridge.bridge-nf-call-iptables  = 1
    14. net.ipv4.ip_forward                 = 1
    15. net.bridge.bridge-nf-call-ip6tables = 1
    16. EOF
    18. sudo sysctl --system

    在下列操作系统上安装 CRI-O, 使用下表中合适的值设置环境变量 OS:

    然后，将 $VERSION 设置为与你的 Kubernetes 相匹配的 CRI-O 版本。 例如，如果你要安装 CRI-O 1.20, 请设置 VERSION=1.20. 你也可以安装一个特定的发行版本。 例如要安装 1.20.0 版本，设置 VERSION=1.20.0:1.20.0.

    然后执行

    1. cat <<EOF | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable.list
    2. deb https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/ /
    3. EOF
    4. cat <<EOF | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable:cri-o:$VERSION.list
    5. deb http://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/$VERSION/$OS/ /
    6. EOF
    8. curl -L https://download.opensuse.org/repositories/devel:kubic:libcontainers:stable:cri-o:$VERSION/$OS/Release.key | sudo apt-key --keyring /etc/apt/trusted.gpg.d/libcontainers.gpg add -
    9. curl -L https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/Release.key | sudo apt-key --keyring /etc/apt/trusted.gpg.d/libcontainers.gpg add -
    11. sudo apt-get update
    12. sudo apt-get install cri-o cri-o-runc

    在下列操作系统上安装 CRI-O, 使用下表中合适的值设置环境变量 OS:

    然后，将 $VERSION 设置为与你的 Kubernetes 相匹配的 CRI-O 版本。 例如，如果你要安装 CRI-O 1.20, 请设置 VERSION=1.20. 你也可以安装一个特定的发行版本。 例如要安装 1.20.0 版本，设置 VERSION=1.20:1.20.0. 

    1. cat <<EOF | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable.list
    2. deb https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/ /
    3. EOF
    4. cat <<EOF | sudo tee /etc/apt/sources.list.d/devel:kubic:libcontainers:stable:cri-o:$VERSION.list
    5. deb http://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable:/cri-o:/$VERSION/$OS/ /
    6. EOF
    8. curl -L https://download.opensuse.org/repositories/devel:/kubic:/libcontainers:/stable/$OS/Release.key | sudo apt-key --keyring /etc/apt/trusted.gpg.d/libcontainers.gpg add -
    9. curl -L https://download.opensuse.org/repositories/devel:kubic:libcontainers:stable:cri-o:$VERSION/$OS/Release.key | sudo apt-key --keyring /etc/apt/trusted.gpg.d/libcontainers-cri-o.gpg add -
    11. sudo apt-get update
    12. sudo apt-get install cri-o cri-o-runc

    在下列操作系统上安装 CRI-O, 使用下表中合适的值设置环境变量 OS:

    然后，将 $VERSION 设置为与你的 Kubernetes 相匹配的 CRI-O 版本。 例如，如果你要安装 CRI-O 1.20, 请设置 VERSION=1.20. 你也可以安装一个特定的发行版本。 例如要安装 1.20.0 版本，设置 VERSION=1.20:1.20.0.

    然后执行

    1. sudo zypper install cri-o

    将 $VERSION 设置为与你的 Kubernetes 相匹配的 CRI-O 版本。 例如，如果要安装 CRI-O 1.20，请设置 VERSION=1.20。 你可以用下列命令查找可用的版本：

    1. sudo dnf module list cri-o

    CRI-O 不支持在 Fedora 上固定到特定的版本。

    然后执行

    1. sudo dnf module enable cri-o:$VERSION
    2. sudo dnf install cri-o --now

    启动 CRI-O：

    1. sudo systemctl daemon-reload
    2. sudo systemctl enable crio --now

    参阅CRI-O 安装指南 了解进一步的详细信息。

    cgroup 驱动

    默认情况下，CRI-O 使用 systemd cgroup 驱动程序。要切换到 cgroupfs 驱动程序，或者编辑 / etc / crio / crio.conf 或放置一个插件 在 /etc/crio/crio.conf.d/02-cgroup-manager.conf 中的配置，例如：

    1. [crio.runtime]
    2. conmon_cgroup = "pod"
    3. cgroup_manager = "cgroupfs"

    另请注意更改后的 conmon_cgroup，将 CRI-O 与 cgroupfs 一起使用时， 必须将其设置为 pod。通常有必要保持 kubelet 的 cgroup 驱动程序配置 （通常透过 kubeadm 完成）和 CRI-O 一致。

    1. 在每个节点上，根据安装 Docker 引擎 为你的 Linux 发行版安装 Docker。 你可以在此文件中找到最新的经过验证的 Docker 版本 。

    2. 配置 Docker 守护程序，尤其是使用 systemd 来管理容器的 cgroup。

      Note:

      对于运行 Linux 内核版本 4.0 或更高版本，或使用 3.10.0-51 及更高版本的 RHEL 或 CentOS 的系统，overlay2是首选的存储驱动程序。

    3. 重新启动 Docker 并在启动时启用：

      1. sudo systemctl enable docker
      2. sudo systemctl daemon-reload
      3. sudo systemctl restart docker

    Note:

    有关更多信息，请参阅

    Items on this page refer to third party products or projects that provide functionality required by Kubernetes. The Kubernetes project authors aren’t responsible for those third-party products or projects. See the CNCF website guidelines for more details.

    You should read the before proposing a change that adds an extra third-party link.