部署集群

    openEuler 提供的 Kubernetes 集群自动化部署工具：

    • 支持在多种常见 Linux 发行版（例如 openEuler、CentOS、Ubuntu）上部署 Kubernetes 集群。
    • 支持在不同 CPU 架构（例如 AMD64 和 ARM64）上混合部署。

    使用 Kubernetes 集群自动化部署工具，需要满足如下要求：

    • 部署集群需要使用 root 权限
    • 待部署 Kubernetes 的机器已经配置好机器名称 hostname ，并且已安装 tar 命令，确保能够使用 tar 命令解压 tar.gz 格式的压缩包。
    • 待部署 Kubernetes 的机器已经配置 ssh ，确保能够远程访问。如果是普通用户 ssh 登录，需要确保该用户有免密执行 sudo 的权限。

    如果是离线安装，请根据集群的架构，准备对应架构的依赖包（ETCD 相关软件包、容器引擎相关软件包、Kubernetes 集群组件软件包、网络相关的软件包、coredns 软件包、依赖的容器镜像等）。

    假设网络插件为 calico、集群中所有机器的架构为 ARM64，准备安装包的步骤如下：

    1. 下载依赖的软件包和 calico.yaml 。

    3. 按照规定的目录存放下载的安装包、文件和镜像（具体存放格式请参见 “准备环境”）。例如：

      2. package
      3. ├── bin
      4. │   ├── bandwidth
      5. │   ├── bridge
      6. │   ├── conntrack
      7. │   ├── containerd
      8. │   ├── containerd-shim
      9. │   ├── coredns
      10. │   ├── ctr
      11. │   ├── dhcp
      12. │   ├── docker
      13. │   ├── dockerd
      14. │   ├── docker-init
      15. │   ├── docker-proxy
      16. │   ├── etcd
      17. │   ├── etcdctl
      18. │   ├── firewall
      19. │   ├── flannel
      20. │   ├── host-device
      21. │   ├── host-local
      22. │   ├── ipvlan
      23. │   ├── kube-apiserver
      24. │   ├── kube-controller-manager
      25. │   ├── kubectl
      26. │   ├── kubelet
      27. │   ├── kube-proxy
      28. │   ├── loopback
      29. │   ├── macvlan
      30. │   ├── portmap
      31. │   ├── ptp
      32. │   ├── runc
      33. │   ├── sbr
      34. │   ├── socat
      35. │   ├── static
      37. │   ├── vlan
      38. │   └── vrf
      39. ├── file
      40. │   ├── calico.yaml
      41. │   └── docker.service
      42. ├── image
      43. │   └── images.tar
      44. └── packages_notes.md

    4. 编写 packages_notes.md，声明软件包来源，便于用户查看。

      1. 1.  ETCD
      2.     - etcd,etcdctl
      3.     - 架构：arm64
      4.     - 版本：3.5.0
      5.     - 地址：https://github.com/etcd-io/etcd/releases/download/v3.5.0/etcd-v3.5.0-linux-arm64.tar.gz
      7. 2. Docker Engine
      8.     - containerd,containerd-shim,ctr,docker,dockerd,docker-init,docker-proxy,runc
      9.     - 架构：arm64
      10.     - 版本：19.03.0
      11.     - 地址：https://download.docker.com/linux/static/stable/aarch64/docker-19.03.0.tgz
      13. 3. Kubernetes
      14.     - kube-apiserver,kube-controller-manager,kube-scheduler,kubectl,kubelet,kube-proy
      15.     - 架构：arm64
      16.     - 版本：1.21.3
      17.     - 地址：https://www.downloadkubernetes.com/
      19. 4. network
      20.     - bandwidth,dhcp,flannel,host-local,loopback,portmap,sbr,tuning,vrf,bridge,firewall,host-device,ipvlan,macvlan,ptp,static,vlan
      21.     - 架构：arm64
      22.     - 版本：0.9.1
      23.     - 地址：https://github.com/containernetworking/plugins/releases/download/v0.9.1/cni-plugins-linux-arm64-v0.9.1.tgz
      24. 5. coredns
      25.     - coredns
      26.     - 架构：arm64
      28.     - 地址：https://github.com/coredns/coredns/releases/download/v1.8.4/coredns_1.8.4_linux_arm64.tgz
      30. 6. images.tar
      31.     - calico/node:v3.19.1 calico/cni:v3.19.1 calico/kube-controllers:v3.19.1 calico/pod2daemon-flexvol:v3.19.1 k8s.gcr.io/pause:3.2
      32.     - 架构：arm64
      33.     - 版本：NA
      34.     - 地址：NA
      35.  7. calico.yaml
      36.     - 架构：NA
      37.     - 版本：v3.19.1
      38.     - 地址：https://docs.projectcalico.org/manifests/calico.yaml

    5. 进入 package 目录，将下载的软件包打包成 packages-arm64.tar.gz

      1. $ tar -zcf package-arm64.tar.gz *

    6. 查看压缩包，确认打包成功。

    准备部署时使用的 YAML 配置文件。可以使用如下命令生成一个模板配置，然后根据部署需求修改生成的 template.yaml 。

    1. $ eggo template -f template.yaml
    1. $ eggo template -f template.yaml -n k8s-cluster -u username -p password --masters 192.168.0.1 --masters 192.168.0.2 --workers 192.168.0.3 --etcds 192.168.0.4 --loadbalancer 192.168.0.5

    安装 Kubernetes 集群。此处假设指定配置文件 template.yaml 。

    1. $ eggo -d deploy -f template.yaml

    安装完成后，根据回显信息，确认集群各节点是否安装成功。

    当集群中节点不满足业务需求，需要扩容时，可以在集群中新增节点。

    • 添加单个节点：通过命令行添加。示例参考如下：

      1. $ eggo -d join --id k8s-cluster --type master,worker --arch arm64 --port 22 192.168.0.5

    • 添加多个节点：通过配置文件方式添加。

      1. $ eggo -d join --id k8s-cluster --file join.yaml
      1. masters:     # 配置master节点列表，建议每个master节点同时作为worker节点，否则master节点可能无法直接访问pod
      2. - name: test0                     # 该节点的名称，为 k8s 集群查询显示的该节点名称
      3.   ip: 192.168.0.2                 # 该节点的 IP 地址
      4.   port: 22                        # ssh 登录的端口号
      5.   arch: arm64                     # 机器架构，x86_64 配置为 amd64
      6. - name: test1
      7.   ip: 192.168.0.3
      8.   port: 22
      9.   arch: arm64
      10. workers:                          # 配置 worker 节点列表
      11. - name: test0                     # 该节点的名称，为 k8s 集群查询显示的该节点名称
      12.   ip: 192.168.0.4                 # 该节点的 IP 地址
      13.   port: 22                        # ssh 登录的端口号
      14.   arch: arm64                     # 机器架构，x86_64 配置为 amd64
      15. - name: test2
      16.   ip: 192.168.0.5
      17.   arch: arm64