安全性和隔离性

    系统容器支持通过—user-remap接口参数将不同容器的user namespace映射到宿主机不同的user namespace，实现容器user namespace隔离。

    参数说明

    约束限制

    • 如果系统容器指定了—user-remap，那么rootfs目录必须能够被—user-remap指定的uid/gid用户所访问，否则会导致容器user namespace无法访问rootfs，容器启动失败。
    • 容器内所有的id都应该能映射到主机rootfs，某些目录/文件可能是从主机mount到容器，比如/dev/pts目录下面的设备文件，如果offset值太小可能会导致mount失败。
    • uid、gid和offset的值由上层调度平台控制，容器引擎只做合法性检查。
    • —user-remap只适用于系统容器。
    • —user-remap和—privileged不能共存，否则容器启动会报错。
    • 如果uid或gid指定为0，则—user-remap参数不生效。

    使用指导

    系统容器启动指定—user-remap参数：

    分别在宿主机和容器内查看/sbin/init进程信息：

    2. root         1  0.6  0.0  21624  9624 ?        Ss   15:47   0:00 /sbin/init
    3. [root@localhost ~]# ps aux | grep /sbin/init
    4. 100000    4861  0.5  0.0  21624  9624 ?        Ss   15:47   0:00 /sbin/init
    5. root      4948  0.0  0.0 213032   808 pts/0    S+   15:48   0:00 grep --color=auto /sbin/init

    可以看到/sbin/init进程在容器内的owner是root用户，但是在宿主机的owner是uid=100000这个用户。

    在容器内创建一个文件，然后在宿主机上查看文件的owner：

    1. [root@localhost ~]# isula exec -it eb bash
    2. [root@localhost /]# echo test123 >> /test123
    3. [root@localhost /]# exit
    4. exit
    5. [root@localhost ~]# ll /home/root-fs/test123
    6. -rw-------. 1 100000 100000 8 Aug  2 15:52 /home/root-fs/test123

    可以看到，在容器内生成了一个文件，它的owner是root，但是在宿主机上看到的owner是id=100000这个用户。

    容器引擎支持通过TLS认证方式来认证用户的身份，并依此控制用户的权限，当前容器引擎可以对接authz插件实现权限控制。

    接口说明

    通过配置iSulad容器引擎启动参数来指定权限控制插件，daemon配置文件默认为/etc/isulad/daemon.json。

    约束限制

    • authz需要配置用户权限策略，策略文件默认为/var/lib/authz-broker/policy.json，该配置文件支持动态修改，修改完即时生效，不需要重启插件服务。
    • 由于容器引擎为root用户启动，放开一般用户使用的一些命令可能会导致该用户不当获得过大权限，需谨慎配置。目前container_attach、container_create和container_exec_create动作可能会有风险。
    • 对于某些复合操作，比如isula exec、isula attach等命令依赖isula inspect是否有权限，如果用户没有inspect权限会直接报错。
    • 采用SSL/TLS 加密通道在增加安全性的同时也会带来性能损耗，如增加延时，消耗较多的CPU资源，除了数据传输外，加解密需要更大吞吐量，因此在并发场景下，相比非TLS通信，其并发量有一定程度上的下降。经实测，在ARM服务器（Cortex-A72 64核）接近空载情况下，采用TLS并发起容器，其最大并发量在200~250范围内。

    使用示例

    1. 确认宿主机安装了authz插件，如果需要安装，安装并启动authz插件服务命令如下：

      1. [root@localhost ~]# yum install authz
      2. [root@localhost ~]# systemctl start authz

    2. 要启动该功能，首先需要配置容器引擎和用户的TLS证书。可以使用OPENSSL来生成需要的证书，具体步骤如下：

      若要直接使用以上过程作为脚本，需替换各变量为配置数值。生成CA时使用的参数若为空则写为“’’”。PASSWORD、COMMON_NAME、CLIENT_NAME、VALIDITY为必选项。

    3. 容器引擎启动时添加TLS相关参数和认证插件相关参数，并保证认证插件的运行。此外，为了使用TLS认证，容器引擎必须使用TCP侦听的方式启动，不能使用传统的unix socket的方式启动。容器demon端配置如下：

      1. {
      2.     "tls": true,
      3.     "tls-verify": true,
      4.     "tls-config": {
      5.            "CAFile": "/root/.iSulad/ca.pem",
      6.            "CertFile": "/root/.iSulad/server-cert.pem",
      7.            "KeyFile":"/root/.iSulad/server-key.pem"
      8.     },
      9.     "authorization-plugin": "authz-broker"

    4. 然后需要配置策略，对于基本授权流程，所有策略都位于一个配置文件下/var/lib/authz-broker/policy.json。该配置文件支持动态修改，更改时不需要重新启动插件，只需要向authz进程发送SIGHUP信号。文件格式是每行一个策略JSON对象。每行只有一个匹配。具体的策略配置示例如下：

      • 所有用户都可以运行所有iSulad命令：{“name”:”policy_0”,”users”:[“”],”actions”:[“”]}。
      • Alice可以运行所有iSulad命令：{“name”:”policy_1”,”users”:[“alice”],”actions”:[“”]}。
      • 空用户都可以运行所有iSulad命令： {“name”:”policy_2”,”users”:[“”],”actions”:[“”]}。
      • Alice和Bob可以创建新的容器：{“name”:”policy_3”,”users”:[“alice”,”bob”],”actions”:[“container_create”]}。
      • service_account可以读取日志并运行docker top：{“name”:”policy_4”,”users”:[“service_account”],”actions”:[“container_logs”,”container_top”]}。
      • Alice可以执行任何container操作：{“name”:”policy_5”,”users”:[“alice”],”actions”:[“container”]}。
      • Alice可以执行任何container操作，但请求的种类只能是get：{“name”:”policy_5”,”users”:[“alice”],”actions”:[“container”], “readonly”:true }。

      说明：

      • 配置中匹配action支持正则表达式。
      • users不支持正则表达式。
      • users不能有重复用户，即同一用户不能被多条规则匹配。

    5. 配置并更新完之后，客户端配置TLS参数连接容器引擎，即是以受限的权限访问。

      1. [root@localhost ~]#  isula version --tlsverify --tlscacert=/root/.iSulad/ca.pem --tlscert=/root/.iSulad/cert.pem --tlskey=/root/.iSulad/key.pem  -H=tcp://127.0.0.1:2375

      如果想默认配置TLS认证进行客户端连接，可以将文件移动到~/.iSulad，并设置 ISULAD_HOST和ISULAD_TLS_VERIFY变量（而不是每次调用时传递 -H=tcp://$HOST:2375和—tlsverify）。

      1. [root@localhost ~]# mkdir -pv ~/.iSulad
      2. [root@localhost ~]# cp -v {ca,cert,key}.pem ~/.iSulad 
      3. [root@localhost ~]# export ISULAD_HOST=localhost:2375 ISULAD_TLS_VERIFY=1
      4. [root@localhost ~]# isula version

    容器虚拟化带来轻量高效，快速部署的同时，也因其隔离性不够彻底，给用户带来一定程度的使用不便。由于Linux内核namespace本身还不够完善，因此容器在隔离性方面也存在一些缺陷。例如，在容器内部proc文件系统中可以看到宿主机上的proc信息（如meminfo, cpuinfo，stat， uptime等）。利用lxcfs工具可以将容器内的看到宿主机/proc文件系统的内容，替换成本容器实例的相关/proc内容，以便容器内业务获取正确的资源数值。

    接口说明

    系统容器对外提供两个工具包：一个是lxcfs软件，另外一个是配合lxcfs一起使用的lxcfs-tools工具。其中lxcfs作为宿主机daemon进程常驻，lxcfs-tools通过hook机制将宿主机的lxcfs文件系统绑定挂载到容器。

    lxcfs-tools命令行格式如下：

    约束限制

    • 当前只支持proc文件系统下的cpuinfo, meminfo, stat, diskstats, partitions，swaps和uptime文件，其他的文件和其他内核API文件系统（比如sysfs）未做隔离 。
    • 安装rpm包后会在/var/lib/isulad/hooks/hookspec.json生成样例json文件，用户如果需要增加日志功能，需要在定制时加入—log配置。
    • diskstats只能显示支持cfq调度的磁盘信息，无法显示分区信息。容器内设备会被显示为/dev目录下的名字。若不存在则为空。此外，容器根目录所在设备会被显示为sda。
    • 挂载lxcfs时必须使用slave参数。若使用shared参数，可能会导致容器内挂载点泄露到主机，影响主机运行 。
    • lxcfs支持服务优雅降级使用，若lxcfs服务crash或者不可用，容器内查看到的cpuinfo, meminfo, stat, diskstats, partitions, swaps和uptime均为host信息，容器其它业务功能不受影响。
    • lxcfs底层依赖fuse内核模块以及libfuse库，因此需要内核支持fuse。
    • lxcfs当前仅支持容器内运行64位的app，如果容器内运行32位的app可能会导致app读取到的cpuinfo信息不符合预期。
    • lxcfs只是对容器cgroup进行资源视图模拟，对于容器内的系统调用（例如sysconf）获取到的仍然是主机的信息，lxcfs无法做到内核隔离。
    • lxcfs使用隔离后的cpuinfo显示的cpu信息具有如下特征：
      • processor：从0开始依次递增。
      • physical id：从0开始依次递增。
      • core id：固定为0。
      • cpu cores：固定为1。

    使用示例

    1. 首先需要安装lxcfs和lxcfs-tools这两个包，并启动lxcfs服务。

      1. [root@localhost ~]# yum install lxcfs lxcfs-tools 
      2. [root@localhost ~]# systemctl start lxcfs
      1. [root@localhost ~]# isula run -tid -v /var/lib/lxc:/var/lib/lxc --hook-spec /var/lib/isulad/hooks/hookspec.json --system-container --external-rootfs /home/root-fs none init
      2. a8acea9fea1337d9fd8270f41c1a3de5bceb77966e03751346576716eefa9782
      3. [root@localhost ~]# isula exec a8 mount | grep lxcfs
      4. lxcfs on /var/lib/lxc/lxcfs type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
      5. lxcfs on /proc/cpuinfo type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
      6. lxcfs on /proc/diskstats type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
      7. lxcfs on /proc/meminfo type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
      8. lxcfs on /proc/partitions type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
      9. lxcfs on /proc/stat type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
      10. lxcfs on /proc/swaps type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
      11. lxcfs on /proc/uptime type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)

    3. 执行update命令更新容器的cpu和mem资源配置，然后查看容器资源。根据如下回显可知，容器资源视图显示的是容器真实资源数据而不是宿主机的数据。

      1. [root@localhost ~]# isula update --cpuset-cpus 0-1 --memory 1G a8
      2. a8
      3. [root@localhost ~]# isula exec a8 cat /proc/cpuinfo
      5. BogoMIPS        : 100.00
      6. cpu MHz         : 2400.000
      7. Features        : fp asimd evtstrm aes pmull sha1 sha2 crc32 cpuid
      8. CPU implementer : 0x41
      9. CPU architecture: 8
      10. CPU variant     : 0x0
      11. CPU part        : 0xd08
      12. CPU revision    : 2
      14. processor       : 1
      15. BogoMIPS        : 100.00
      16. cpu MHz         : 2400.000
      17. Features        : fp asimd evtstrm aes pmull sha1 sha2 crc32 cpuid
      18. CPU implementer : 0x41
      19. CPU architecture: 8
      20. CPU variant     : 0x0
      21. CPU part        : 0xd08
      22. CPU revision    : 2
      24. [root@localhost ~]# isula exec a8 free -m
      25.               total        used        free      shared  buff/cache   available
      26. Swap:          4095           0        4095