示例:使用 StatefulSet 部署 Cassandra

    使用StatefulSet可以更轻松地将有状态的应用程序部署到你的 Kubernetes 集群中。 有关本教程中使用的功能的更多信息, 请参阅 StatefulSet

    说明:

    Cassandra 和 Kubernetes 都使用术语节点来表示集群的成员。 在本教程中,属于 StatefulSet 的 Pod 是 Cassandra 节点,并且是 Cassandra 集群的成员(称为 ring)。 当这些 Pod 在你的 Kubernetes 集群中运行时,Kubernetes 控制平面会将这些 Pod 调度到 Kubernetes 的 上。

    当 Cassandra 节点启动时,使用 seed 列表来引导发现 ring 中的其他节点。 本教程部署了一个自定义的 Cassandra seed provider, 使数据库可以发现 Kubernetes 集群中出现的新的 Cassandra Pod。

    • 创建并验证 Cassandra 无头(headless)。
    • 使用 StatefulSet 创建一个 Cassandra ring。
    • 验证 StatefulSet。
    • 修改 StatefulSet。
    • 删除 StatefulSet 及其 。

    准备开始

    你必须拥有一个 Kubernetes 的集群,同时你的 Kubernetes 集群必须带有 kubectl 命令行工具。 建议在至少有两个节点的集群上运行本教程,且这些节点不作为控制平面主机。 如果你还没有集群,你可以通过 构建一个你自己的集群,或者你可以使用下面任意一个 Kubernetes 工具构建:

    要完成本教程,你应该已经熟悉 Pod、 和 StatefulSet

    为 Cassandra 创建无头(headless) Services

    在 Kubernetes 中,一个 Service 描述了一组执行相同任务的 。

    以下 Service 用于在 Cassandra Pod 和集群中的客户端之间进行 DNS 查找:

    application/cassandra/cassandra-service.yaml

    创建一个 Service 来跟踪 文件中的所有 Cassandra StatefulSet:

    1. kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-service.yaml

    获取 Cassandra Service。

    1. kubectl get svc cassandra

    响应是:

    1. NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
    2. cassandra ClusterIP None <none> 9042/TCP 45s

    下面包含的 StatefulSet 清单创建了一个由三个 Pod 组成的 Cassandra ring。

    说明: 本示例使用 Minikube 的默认配置程序。 请为正在使用的云更新以下 StatefulSet。

    示例:使用 StatefulSet 部署 Cassandra - 图2

    1. apiVersion: apps/v1
    2. kind: StatefulSet
    3. metadata:
    4. name: cassandra
    5. labels:
    6. app: cassandra
    7. spec:
    8. serviceName: cassandra
    9. replicas: 3
    10. selector:
    11. matchLabels:
    12. app: cassandra
    13. template:
    14. metadata:
    15. labels:
    16. app: cassandra
    17. spec:
    18. terminationGracePeriodSeconds: 1800
    19. containers:
    20. - name: cassandra
    21. image: gcr.io/google-samples/cassandra:v13
    22. imagePullPolicy: Always
    23. ports:
    24. - containerPort: 7000
    25. name: intra-node
    26. - containerPort: 7001
    27. name: tls-intra-node
    28. - containerPort: 7199
    29. name: jmx
    30. - containerPort: 9042
    31. name: cql
    32. resources:
    33. limits:
    34. cpu: "500m"
    35. memory: 1Gi
    36. cpu: "500m"
    37. memory: 1Gi
    38. securityContext:
    39. capabilities:
    40. add:
    41. - IPC_LOCK
    42. lifecycle:
    43. preStop:
    44. exec:
    45. command:
    46. - -c
    47. - nodetool drain
    48. env:
    49. - name: MAX_HEAP_SIZE
    50. value: 512M
    51. - name: HEAP_NEWSIZE
    52. value: 100M
    53. - name: CASSANDRA_SEEDS
    54. value: "cassandra-0.cassandra.default.svc.cluster.local"
    55. - name: CASSANDRA_CLUSTER_NAME
    56. value: "K8Demo"
    57. - name: CASSANDRA_DC
    58. value: "DC1-K8Demo"
    59. - name: CASSANDRA_RACK
    60. value: "Rack1-K8Demo"
    61. - name: POD_IP
    62. valueFrom:
    63. fieldRef:
    64. fieldPath: status.podIP
    65. readinessProbe:
    66. exec:
    67. command:
    68. - /bin/bash
    69. - -c
    70. - /ready-probe.sh
    71. initialDelaySeconds: 15
    72. timeoutSeconds: 5
    73. # 这些卷挂载是持久的。它们类似内联申领,但并不完全相同,
    74. # 因为这些卷挂载的名称需要与 StatefulSet 中某 Pod 卷完全匹配。
    75. volumeMounts:
    76. - name: cassandra-data
    77. mountPath: /cassandra_data
    78. # 这些将被控制器转换为卷申领,并挂载在上述路径。
    79. # 请勿将此设置用于生产环境,除非使用了 GCEPersistentDisk 或其他 SSD 持久盘。
    80. volumeClaimTemplates:
    81. - metadata:
    82. name: cassandra-data
    83. spec:
    84. accessModes: [ "ReadWriteOnce" ]
    85. storageClassName: fast
    86. resources:
    87. requests:
    88. storage: 1Gi
    89. ---
    90. kind: StorageClass
    91. metadata:
    92. name: fast
    93. provisioner: k8s.io/minikube-hostpath
    94. parameters:
    95. type: pd-ssd

    使用 文件创建 Cassandra StatefulSet:

    1. # 如果你能未经修改地应用 cassandra-statefulset.yaml,请使用此命令
    2. kubectl apply -f https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml

    如果你为了适合你的集群需要修改 cassandra-statefulset.yaml, 下载 https://k8s.io/examples/application/cassandra/cassandra-statefulset.yaml, 然后应用修改后的清单。

    验证 Cassandra StatefulSet

    1. 获取 Cassandra StatefulSet:

      1. kubectl get statefulset cassandra

      响应应该与此类似:

      1. NAME DESIRED CURRENT AGE
      2. cassandra 3 0 13s

      StatefulSet 资源会按顺序部署 Pod。

    2. 获取 Pod 查看已排序的创建状态:

      1. kubectl get pods -l="app=cassandra"

      响应应该与此类似:

      1. NAME READY STATUS RESTARTS AGE
      2. cassandra-0 1/1 Running 0 1m
      3. cassandra-1 0/1 ContainerCreating 0 8s

      这三个 Pod 要花几分钟的时间才能部署。部署之后,相同的命令将返回类似于以下的输出:

      1. NAME READY STATUS RESTARTS AGE
      2. cassandra-0 1/1 Running 0 10m
      3. cassandra-1 1/1 Running 0 9m
      4. cassandra-2 1/1 Running 0 8m
    3. 运行第一个 Pod 中的 Cassandra nodetool, 以显示 ring 的状态。

      1. Datacenter: DC1-K8Demo
      2. ======================
      3. Status=Up/Down
      4. |/ State=Normal/Leaving/Joining/Moving
      5. -- Address Load Tokens Owns (effective) Host ID Rack
      6. UN 172.17.0.5 83.57 KiB 32 74.0% e2dd09e6-d9d3-477e-96c5-45094c08db0f Rack1-K8Demo
      7. UN 172.17.0.4 101.04 KiB 32 58.8% f89d6835-3a42-4419-92b3-0e62cae1479c Rack1-K8Demo
      8. UN 172.17.0.6 84.74 KiB 32 67.1% a6a1e8c2-3dc5-4417-b1a0-26507af2aaad Rack1-K8Demo

    修改 Cassandra StatefulSet

    使用 kubectl edit 修改 Cassandra StatefulSet 的大小。

    1. 运行以下命令:

      1. kubectl edit statefulset cassandra

      此命令你的终端中打开一个编辑器。需要更改的是 replicas 字段。下面是 StatefulSet 文件的片段示例:

      1. # 请编辑以下对象。以 '#' 开头的行将被忽略,
      2. # 且空文件将放弃编辑。如果保存此文件时发生错误,
      3. # 将重新打开并显示相关故障。
      4. apiVersion: apps/v1
      5. kind: StatefulSet
      6. metadata:
      7. creationTimestamp: 2016-08-13T18:40:58Z
      8. generation: 1
      9. labels:
      10. app: cassandra
      11. name: cassandra
      12. namespace: default
      13. resourceVersion: "323"
      14. uid: 7a219483-6185-11e6-a910-42010a8a0fc0
      15. spec:
      16. replicas: 3
    2. 将副本数(replicas)更改为 4,然后保存清单。

      StatefulSet 现在可以扩展到运行 4 个 Pod。

    3. 获取 Cassandra StatefulSet 验证更改:

      1. kubectl get statefulset cassandra

      响应应该与此类似:

      1. NAME DESIRED CURRENT AGE
      2. cassandra 4 4 36m

    删除或缩小 StatefulSet 不会删除与 StatefulSet 关联的卷。 这个设置是出于安全考虑,因为你的数据比自动清除所有相关的 StatefulSet 资源更有价值。

    警告:

    根据存储类和回收策略,删除 PersistentVolumeClaims 可能导致关联的卷也被删除。 千万不要认为其容量声明被删除,你就能访问数据。

    1. 运行以下命令(连在一起成为一个单独的命令)删除 Cassandra StatefulSet 中的所有内容:

    2. 运行以下命令,删除你为 Cassandra 设置的 Service:

      1. kubectl delete service -l app=cassandra

    Cassandra 容器环境变量

    该镜像包括来自 Apache Debian 存储库的标准 Cassandra 安装。 通过使用环境变量,你可以更改插入到 cassandra.yaml 中的值。

    接下来