示例:使用 StatefulSet 部署 Cassandra

    使用StatefulSet可以更轻松地将有状态的应用程序部署到你的 Kubernetes 集群中。 有关本教程中使用的功能的更多信息, 请参阅 StatefulSet

    说明:

    Cassandra 和 Kubernetes 都使用术语节点来表示集群的成员。 在本教程中,属于 StatefulSet 的 Pod 是 Cassandra 节点,并且是 Cassandra 集群的成员(称为 ring)。 当这些 Pod 在你的 Kubernetes 集群中运行时,Kubernetes 控制平面会将这些 Pod 调度到 Kubernetes 的 上。

    当 Cassandra 节点启动时,使用 seed 列表来引导发现 ring 中的其他节点。 本教程部署了一个自定义的 Cassandra seed provider, 使数据库可以发现 Kubernetes 集群中出现的新的 Cassandra Pod。

    • 创建并验证 Cassandra 无头(headless)。
    • 使用 StatefulSet 创建一个 Cassandra ring。
    • 验证 StatefulSet。
    • 修改 StatefulSet。
    • 删除 StatefulSet 及其 。

    准备开始

    你必须拥有一个 Kubernetes 的集群,同时你的 Kubernetes 集群必须带有 kubectl 命令行工具。 建议在至少有两个节点的集群上运行本教程,且这些节点不作为控制平面主机。 如果你还没有集群,你可以通过 构建一个你自己的集群,或者你可以使用下面任意一个 Kubernetes 工具构建:

    要完成本教程,你应该已经熟悉 Pod、 和 StatefulSet

    注意:

    Minikube 默认需要 2048MB 内存和 2 个 CPU。 在本教程中,使用默认资源配置运行 Minikube 会出现资源不足的错误。为避免这些错误,请使用以下设置启动 Minikube:

    为 Cassandra 创建无头(headless) Services

    在 Kubernetes 中,一个 Service 描述了一组执行相同任务的 。

    以下 Service 用于在 Cassandra Pod 和集群中的客户端之间进行 DNS 查找:

    application/cassandra/cassandra-service.yaml

    1. kind: Service
    2. metadata:
    3. labels:
    4. app: cassandra
    5. name: cassandra
    6. spec:
    7. clusterIP: None
    8. ports:
    9. - port: 9042
    10. selector:
    11. app: cassandra

    创建一个 Service 来跟踪 cassandra-service.yaml 文件中的所有 Cassandra StatefulSet:

    1. kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-service.yaml

    验证(可选)

    获取 Cassandra Service。

    1. kubectl get svc cassandra
    1. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
    2. cassandra ClusterIP None <none> 9042/TCP 45s

    如果没有看到名为 cassandra 的服务,则表示创建失败。 请阅读调试服务,以解决常见问题。

    下面包含的 StatefulSet 清单创建了一个由三个 Pod 组成的 Cassandra ring。

    说明: 本示例使用 Minikube 的默认配置程序。 请为正在使用的云更新以下 StatefulSet。

    application/cassandra/cassandra-statefulset.yaml 示例:使用 StatefulSet 部署 Cassandra - 图2

    1. apiVersion: apps/v1
    2. kind: StatefulSet
    3. metadata:
    4. name: cassandra
    5. labels:
    6. app: cassandra
    7. spec:
    8. serviceName: cassandra
    9. replicas: 3
    10. selector:
    11. matchLabels:
    12. app: cassandra
    13. template:
    14. metadata:
    15. labels:
    16. app: cassandra
    17. spec:
    18. terminationGracePeriodSeconds: 1800
    19. containers:
    20. - name: cassandra
    21. image: gcr.io/google-samples/cassandra:v13
    22. imagePullPolicy: Always
    23. ports:
    24. - containerPort: 7000
    25. name: intra-node
    26. - containerPort: 7001
    27. - containerPort: 7199
    28. name: jmx
    29. - containerPort: 9042
    30. name: cql
    31. resources:
    32. limits:
    33. cpu: "500m"
    34. memory: 1Gi
    35. requests:
    36. cpu: "500m"
    37. memory: 1Gi
    38. capabilities:
    39. add:
    40. - IPC_LOCK
    41. lifecycle:
    42. preStop:
    43. exec:
    44. command:
    45. - /bin/sh
    46. - -c
    47. - nodetool drain
    48. env:
    49. - name: MAX_HEAP_SIZE
    50. value: 512M
    51. - name: HEAP_NEWSIZE
    52. value: 100M
    53. - name: CASSANDRA_SEEDS
    54. value: "cassandra-0.cassandra.default.svc.cluster.local"
    55. - name: CASSANDRA_CLUSTER_NAME
    56. value: "K8Demo"
    57. - name: CASSANDRA_DC
    58. value: "DC1-K8Demo"
    59. - name: CASSANDRA_RACK
    60. value: "Rack1-K8Demo"
    61. - name: POD_IP
    62. valueFrom:
    63. fieldRef:
    64. fieldPath: status.podIP
    65. readinessProbe:
    66. exec:
    67. command:
    68. - /bin/bash
    69. - -c
    70. - /ready-probe.sh
    71. initialDelaySeconds: 15
    72. timeoutSeconds: 5
    73. # 这些卷挂载是持久的。它们类似内联申领,但并不完全相同,
    74. # 因为这些卷挂载的名称需要与 StatefulSet 中某 Pod 卷完全匹配。
    75. volumeMounts:
    76. - name: cassandra-data
    77. mountPath: /cassandra_data
    78. # 这些将被控制器转换为卷申领,并挂载在上述路径。
    79. # 请勿将此设置用于生产环境,除非使用了 GCEPersistentDisk 或其他 SSD 持久盘。
    80. volumeClaimTemplates:
    81. - metadata:
    82. name: cassandra-data
    83. spec:
    84. accessModes: [ "ReadWriteOnce" ]
    85. storageClassName: fast
    86. requests:
    87. storage: 1Gi
    88. ---
    89. kind: StorageClass
    90. apiVersion: storage.k8s.io/v1
    91. metadata:
    92. provisioner: k8s.io/minikube-hostpath
    93. parameters:
    94. type: pd-ssd

    使用 cassandra-statefulset.yaml 文件创建 Cassandra StatefulSet:

    1. # 如果你能未经修改地应用 cassandra-statefulset.yaml,请使用此命令
    2. kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml

    如果你为了适合你的集群需要修改 cassandra-statefulset.yaml, 下载 , 然后应用修改后的清单。

    验证 Cassandra StatefulSet

    1. 获取 Cassandra StatefulSet:

      1. kubectl get statefulset cassandra

      响应应该与此类似:

      1. NAME DESIRED CURRENT AGE
      2. cassandra 3 0 13s

      StatefulSet 资源会按顺序部署 Pod。

    2. 获取 Pod 查看已排序的创建状态:

      1. kubectl get pods -l="app=cassandra"

      响应应该与此类似:

      1. NAME READY STATUS RESTARTS AGE
      2. cassandra-0 1/1 Running 0 1m
      3. cassandra-1 0/1 ContainerCreating 0 8s

      这三个 Pod 要花几分钟的时间才能部署。部署之后,相同的命令将返回类似于以下的输出:

      1. NAME READY STATUS RESTARTS AGE
      2. cassandra-0 1/1 Running 0 10m
      3. cassandra-1 1/1 Running 0 9m
      4. cassandra-2 1/1 Running 0 8m
    3. 运行第一个 Pod 中的 Cassandra , 以显示 ring 的状态。

      1. kubectl exec -it cassandra-0 -- nodetool status

    修改 Cassandra StatefulSet

    使用 kubectl edit 修改 Cassandra StatefulSet 的大小。

    1. 运行以下命令:

      1. kubectl edit statefulset cassandra

      此命令你的终端中打开一个编辑器。需要更改的是 replicas 字段。下面是 StatefulSet 文件的片段示例:

      1. # 请编辑以下对象。以 '#' 开头的行将被忽略,
      2. # 且空文件将放弃编辑。如果保存此文件时发生错误,
      3. # 将重新打开并显示相关故障。
      4. apiVersion: apps/v1
      5. kind: StatefulSet
      6. metadata:
      7. creationTimestamp: 2016-08-13T18:40:58Z
      8. generation: 1
      9. labels:
      10. app: cassandra
      11. name: cassandra
      12. namespace: default
      13. resourceVersion: "323"
      14. uid: 7a219483-6185-11e6-a910-42010a8a0fc0
      15. spec:
      16. replicas: 3
    2. 将副本数(replicas)更改为 4,然后保存清单。

      StatefulSet 现在可以扩展到运行 4 个 Pod。

    3. 获取 Cassandra StatefulSet 验证更改:

      1. kubectl get statefulset cassandra

      响应应该与此类似:

      1. NAME DESIRED CURRENT AGE
      2. cassandra 4 4 36m

    删除或缩小 StatefulSet 不会删除与 StatefulSet 关联的卷。 这个设置是出于安全考虑,因为你的数据比自动清除所有相关的 StatefulSet 资源更有价值。

    警告:

    根据存储类和回收策略,删除 PersistentVolumeClaims 可能导致关联的卷也被删除。 千万不要认为其容量声明被删除,你就能访问数据。

    1. 运行以下命令(连在一起成为一个单独的命令)删除 Cassandra StatefulSet 中的所有内容:

      1. grace=$(kubectl get pod cassandra-0 -o=jsonpath='{.spec.terminationGracePeriodSeconds}') \
      2. && kubectl delete statefulset -l app=cassandra \
      3. && echo "Sleeping ${grace} seconds" 1>&2 \
      4. && sleep $grace \
      5. && kubectl delete persistentvolumeclaim -l app=cassandra
    2. 运行以下命令,删除你为 Cassandra 设置的 Service:

      1. kubectl delete service -l app=cassandra

    Cassandra 容器环境变量

    本教程中的 Pod 使用来自 Google 的 gcr.io/google-samples/cassandra:v13 镜像。上面的 Docker 镜像基于 , 并且包含 OpenJDK 8。

    接下来