模拟 Linux 内核故障

    尽管 KernelChaos 的注入对象可以设置成一个或几个 Pod,但所属主机的其他 Pod 的性能也会受到一些影响,因为所有的 Pod 共享同一个内核。

    ::: warning 警告

    模拟 Linux 内核故障的功能默认关闭,请不要用于生产环境。

    :::

    下面是一个简单的 KernelChaos 配置文件:

    更多的配置示例,请参考 examples。你可按需修改这些配置示例。

    配置说明:

      • all:表示选出所有符合条件的 Pod
      • fixed:表示选出指定数量且符合条件的 Pod
      • fixed-percent:表示选出符合条件的 Pod 中指定百分比的 Pod
      • :表示选出占符合条件的 Pod 中不超过指定百分比的 Pod
    • selector 指定需要注入故障的目标 Pods。

    • failedkernRequest 指定故障模式 (kmalloc, bio 等),可以指定一个具体的调用链路径和可选的过滤条件。配置项包括:

      • failtype 指定故障类型,可设置的值包括:

        • ‘0’:表明注入 slab 分配错误 should_failslab。
        • ‘2’:表明注入 bio 错误 should_fail_bio。

        对于这三种故障的更多信息,请参考 和 inject_example

      • callchain 指定一个具体的调用链,例如:

        也可以使用函数参数作为过滤条件,进一步细粒度的故障注入。请参考 来获得更多信息。如果没有指定调用链,请保持 callchain 为空,表明它将在任意调用 slab alloc 的路径(比如 kmalloc)上注入故障。

        调用链的类型是 frame 数组,由以下三个部分组成:

        • funcname:可以从内核源码或 /proc/kallsyms 中找到 funcname,比如 ext4_mount
        • parameters:用于过滤。如果你想在 d_alloc_parallel(struct dentry *parent, const struct qstr *name)(其中 为 bananas)路径上注入 slab 错误,你需要将 parameters 设置为 struct dentry *parent, const struct qstr *name 否则省略此配置。
        • predicate:用于访问 frame 数组的参数,以 parameters 为例,你可以把它设置为 STRNCMP(name->name, "bananas", 8) 来控制故障注入路径,也可以不设置,使得所有执行 d_alloc_parallel 的调用路径都注入 slab 故障。
      • probability 指定故障发生概率,如果你想要 1% 的概率,请将其设置为 ‘1’.

      • times 指定触发故障的最大次数。

    使用 kubectl 创建实验,命令如下:

    KernelChaos 功能和 inject.py 类似,你可以阅读 来获得更多的信息。

    下面是一个简单的例子:

    在故障注入期间,输出如下:

    通过 container_id 可以限制故障注入范围,但有些路径会触发系统级别的行为。比如: