模拟 Linux 内核故障
尽管 KernelChaos 的注入对象可以设置成一个或几个 Pod,但所属主机的其他 Pod 的性能也会受到一些影响,因为所有的 Pod 共享同一个内核。
::: warning 警告
模拟 Linux 内核故障的功能默认关闭,请不要用于生产环境。
:::
- Linux 内核: 版本 >= 4.18
- 已启动 Linux 内核配置项 CONFIG_BPF_KPROBE_OVERRIDE
- 已设置 中 配置项的值为
true
下面是一个简单的 KernelChaos 配置文件:
更多的配置示例,请参考 examples。你可按需修改这些配置示例。
配置说明:
-
all
:表示选出所有符合条件的 Podfixed
:表示选出指定数量且符合条件的 Podfixed-percent
:表示选出符合条件的 Pod 中指定百分比的 Pod- :表示选出占符合条件的 Pod 中不超过指定百分比的 Pod
selector 指定需要注入故障的目标 Pods。
failedkernRequest 指定故障模式 (kmalloc, bio 等),可以指定一个具体的调用链路径和可选的过滤条件。配置项包括:
failtype 指定故障类型,可设置的值包括:
- ‘0’:表明注入 slab 分配错误 should_failslab。
- ‘2’:表明注入 bio 错误 should_fail_bio。
对于这三种故障的更多信息,请参考 和 inject_example。
callchain 指定一个具体的调用链,例如:
也可以使用函数参数作为过滤条件,进一步细粒度的故障注入。请参考 来获得更多信息。如果没有指定调用链,请保持
callchain
为空,表明它将在任意调用 slab alloc 的路径(比如 kmalloc)上注入故障。调用链的类型是 frame 数组,由以下三个部分组成:
- funcname:可以从内核源码或
/proc/kallsyms
中找到funcname
,比如ext4_mount
。 - parameters:用于过滤。如果你想在
d_alloc_parallel(struct dentry *parent, const struct qstr *name)
(其中 为bananas
)路径上注入 slab 错误,你需要将 parameters 设置为struct dentry *parent, const struct qstr *name
否则省略此配置。 - predicate:用于访问 frame 数组的参数,以 parameters 为例,你可以把它设置为
STRNCMP(name->name, "bananas", 8)
来控制故障注入路径,也可以不设置,使得所有执行d_alloc_parallel
的调用路径都注入 slab 故障。
- funcname:可以从内核源码或
probability 指定故障发生概率,如果你想要 1% 的概率,请将其设置为 ‘1’.
times 指定触发故障的最大次数。
使用 kubectl 创建实验,命令如下:
KernelChaos 功能和 inject.py 类似,你可以阅读 来获得更多的信息。
下面是一个简单的例子:
在故障注入期间,输出如下:
通过 container_id 可以限制故障注入范围,但有些路径会触发系统级别的行为。比如: