调试 Service

    对于这里的许多步骤，你可能希望知道运行在集群中的 Pod 看起来是什么样的。 最简单的方法是运行一个交互式的 busybox Pod：

    说明： 如果没有看到命令提示符，请按回车。

    如果你已经有了你想使用的正在运行的 Pod，则可以运行以下命令去进入：

    设置

    为了完成本次实践的任务，我们先运行几个 Pod。 由于你可能正在调试自己的 Service，所以，你可以使用自己的信息进行替换， 或者你也可以跟着教程并开始下面的步骤来获得第二个数据点。

    1. kubectl create deployment hostnames --image=registry.k8s.io/serve_hostname
    1. deployment.apps/hostnames created

    kubectl 命令将打印创建或变更的资源的类型和名称，它们可以在后续命令中使用。 让我们将这个 deployment 的副本数扩至 3。

    1. kubectl scale deployment hostnames --replicas=3
    1. deployment.apps/hostnames scaled

    请注意这与你使用以下 YAML 方式启动 Deployment 类似：

    1. apiVersion: apps/v1
    2. kind: Deployment
    3. metadata:
    4.   labels:
    5.     app: hostnames
    6.   name: hostnames
    7. spec:
    8.   selector:
    9.     matchLabels:
    10.       app: hostnames
    11.   replicas: 3
    12.   template:
    13.     metadata:
    14.       labels:
    15.         app: hostnames
    16.     spec:
    17.       containers:
    18.       - name: hostnames
    19.         image: registry.k8s.io/serve_hostname

    “app” 标签是 kubectl create deployment 根据 Deployment 名称自动设置的。

    确认你的 Pod 是运行状态:

    1. kubectl get pods -l app=hostnames
    1. NAME                        READY     STATUS    RESTARTS   AGE
    2. hostnames-632524106-bbpiw   1/1       Running   0          2m
    3. hostnames-632524106-ly40y   1/1       Running   0          2m
    4. hostnames-632524106-tlaok   1/1       Running   0          2m

    你还可以确认你的 Pod 是否正在提供服务。你可以获取 Pod IP 地址列表并直接对其进行测试。

    1. kubectl get pods -l app=hostnames \
    2.     -o go-template='{{range .items}}{{.status.podIP}}{{"\n"}}{{end}}'
    1. 10.244.0.5
    2. 10.244.0.6
    3. 10.244.0.7

    用于本教程的示例容器通过 HTTP 在端口 9376 上提供其自己的主机名， 但是如果要调试自己的应用程序，则需要使用你的 Pod 正在侦听的端口号。

    在 Pod 内运行：

    1. for ep in 10.244.0.5:9376 10.244.0.6:9376 10.244.0.7:9376; do
    2.     wget -qO- $ep
    3. done

    输出类似这样：

    1. hostnames-632524106-bbpiw
    2. hostnames-632524106-ly40y
    3. hostnames-632524106-tlaok

    如果此时你没有收到期望的响应，则你的 Pod 状态可能不健康，或者可能没有在你认为正确的端口上进行监听。 你可能会发现 kubectl logs 命令对于查看正在发生的事情很有用， 或者你可能需要通过kubectl exec 直接进入 Pod 中并从那里进行调试。

    假设到目前为止一切都已按计划进行，那么你可以开始调查为何你的 Service 无法正常工作。

    Service 是否存在？

    细心的读者会注意到我们实际上尚未创建 Service —— 这是有意而为之。 这一步有时会被遗忘，这是首先要检查的步骤。

    那么，如果我尝试访问不存在的 Service 会怎样？ 假设你有另一个 Pod 通过名称匹配到 Service，你将得到类似结果：

    1. wget -O- hostnames
    1. Resolving hostnames (hostnames)... failed: Name or service not known.
    2. wget: unable to resolve host address 'hostnames'

    首先要检查的是该 Service 是否真实存在：

    1. kubectl get svc hostnames
    1. No resources found.
    2. Error from server (NotFound): services "hostnames" not found

    让我们创建 Service。 和以前一样，在这次实践中 —— 你可以在此处使用自己的 Service 的内容。

    1. kubectl expose deployment hostnames --port=80 --target-port=9376
    1. service/hostnames exposed

    重新运行查询命令：

    1. kubectl get svc hostnames
    1. NAME        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
    2. hostnames   ClusterIP   10.0.1.175   <none>        80/TCP    5s

    现在你知道了 Service 确实存在。

    同前，此步骤效果与通过 YAML 方式启动 Service 一样：

    为了突出配置范围的完整性，你在此处创建的 Service 使用的端口号与 Pods 不同。 对于许多真实的 Service，这些值可以是相同的。

    如果你部署了任何可能影响到 hostnames-* Pod 的传入流量的网络策略入站规则， 则需要对其进行检查。

    详细信息，请参阅网络策略。

    Service 是否可通过 DNS 名字访问？

    通常客户端通过 DNS 名称来匹配到 Service。

    从相同命名空间下的 Pod 中运行以下命令：

      1. Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local
      3. Name:      hostnames
      4. Address 1: 10.0.1.175 hostnames.default.svc.cluster.local

      如果失败，那么你的 Pod 和 Service 可能位于不同的命名空间中， 请尝试使用限定命名空间的名称（同样在 Pod 内运行）：

      1. nslookup hostnames.default
      1. Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local
      3. Name:      hostnames.default
      4. Address 1: 10.0.1.175 hostnames.default.svc.cluster.local

      如果成功，那么需要调整你的应用，使用跨命名空间的名称去访问它， 或者在相同的命名空间中运行应用和 Service。如果仍然失败，请尝试一个完全限定的名称：

      1. nslookup hostnames.default.svc.cluster.local
      1. Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local
      3. Name:      hostnames.default.svc.cluster.local
      4. Address 1: 10.0.1.175 hostnames.default.svc.cluster.local

      你也可以在集群中的节点上尝试此操作：

      说明：

      10.0.0.10 是集群的 DNS 服务 IP，你的可能有所不同。

      1. nslookup hostnames.default.svc.cluster.local 10.0.0.10
      1. Server:         10.0.0.10
      2. Address:        10.0.0.10#53
      4. Name:   hostnames.default.svc.cluster.local
      5. Address: 10.0.1.175

      如果你能够使用完全限定的名称查找，但不能使用相对名称，则需要检查你 Pod 中的 /etc/resolv.conf 文件是否正确。在 Pod 中运行以下命令：

      1. cat /etc/resolv.conf

      你应该可以看到类似这样的输出：

      1. nameserver 10.0.0.10
      2. search default.svc.cluster.local svc.cluster.local cluster.local example.com
      3. options ndots:5

      nameserver 行必须指示你的集群的 DNS Service， 它是通过 --cluster-dns 标志传递到 kubelet 的。

      search 行必须包含一个适当的后缀，以便查找 Service 名称。 在本例中，它查找本地命名空间（）中的服务和所有命名空间 （svc.cluster.local）中的服务，最后在集群（cluster.local）中查找服务的名称。 根据你自己的安装情况，可能会有额外的记录（最多 6 条）。 集群后缀是通过 --cluster-domain 标志传递给 kubelet 的。 本文中，我们假定后缀是 “cluster.local”。 你的集群配置可能不同，这种情况下，你应该在上面的所有命令中更改它。

      options 行必须设置足够高的 ndots，以便 DNS 客户端库考虑搜索路径。 在默认情况下，Kubernetes 将这个值设置为 5，这个值足够高，足以覆盖它生成的所有 DNS 名称。

      如果上面的方式仍然失败，DNS 查找不到你需要的 Service ，你可以后退一步， 看看还有什么其它东西没有正常工作。 Kubernetes 主 Service 应该一直是工作的。在 Pod 中运行如下命令：

      1. nslookup kubernetes.default
      1. Server:    10.0.0.10
      2. Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local
      4. Name:      kubernetes.default
      5. Address 1: 10.0.0.1 kubernetes.default.svc.cluster.local

      如果失败，你可能需要转到本文的 节， 或者甚至回到文档的顶部重新开始，但不是调试你自己的 Service ，而是调试 DNS Service。

      假设你已经确认 DNS 工作正常，那么接下来要测试的是你的 Service 能否通过它的 IP 正常访问。 从集群中的一个 Pod，尝试访问 Service 的 IP（从上面的 kubectl get 命令获取）。

      1. for i in $(seq 1 3); do 
      2.     wget -qO- 10.0.1.175:80
      3. done

      输出应该类似这样：

      1. hostnames-632524106-bbpiw
      2. hostnames-632524106-ly40y
      3. hostnames-632524106-tlaok

      如果 Service 状态是正常的，你应该得到正确的响应。 如果没有，有很多可能出错的地方，请继续阅读。

      Service 的配置是否正确？

      这听起来可能很愚蠢，但你应该两次甚至三次检查你的 Service 配置是否正确，并且与你的 Pod 匹配。 查看你的 Service 配置并验证它：

      1. kubectl get service hostnames -o json
      1. {
      2.     "kind": "Service",
      3.     "apiVersion": "v1",
      4.     "metadata": {
      5.         "name": "hostnames",
      6.         "namespace": "default",
      7.         "uid": "428c8b6c-24bc-11e5-936d-42010af0a9bc",
      8.         "resourceVersion": "347189",
      9.         "creationTimestamp": "2015-07-07T15:24:29Z",
      10.         "labels": {
      11.             "app": "hostnames"
      12.         }
      13.     },
      14.     "spec": {
      15.         "ports": [
      16.             {
      17.                 "name": "default",
      18.                 "protocol": "TCP",
      19.                 "port": 80,
      20.                 "targetPort": 9376,
      21.                 "nodePort": 0
      22.             }
      23.         ],
      24.         "selector": {
      25.             "app": "hostnames"
      26.         },
      27.         "clusterIP": "10.0.1.175",
      28.         "type": "ClusterIP",
      29.         "sessionAffinity": "None"
      30.     },
      31.     "status": {
      32.         "loadBalancer": {}
      33.     }
      • 你想要访问的 Service 端口是否在 spec.ports[] 中列出？
      • targetPort 对你的 Pod 来说正确吗（许多 Pod 使用与 Service 不同的端口）？
      • 如果你想使用数值型端口，那么它的类型是一个数值（9376）还是字符串 “9376”？
      • 如果你想使用名称型端口，那么你的 Pod 是否暴露了一个同名端口？
      • 端口的 protocol 和 Pod 的是否对应？

      如果你已经走到了这一步，你已经确认你的 Service 被正确定义，并能通过 DNS 解析。 现在，让我们检查一下，你运行的 Pod 确实是被 Service 选中的。

      早些时候，我们已经看到 Pod 是运行状态。我们可以再检查一下：

      1. kubectl get pods -l app=hostnames
      1. NAME                        READY     STATUS    RESTARTS   AGE
      2. hostnames-632524106-bbpiw   1/1       Running   0          1h
      3. hostnames-632524106-ly40y   1/1       Running   0          1h
      4. hostnames-632524106-tlaok   1/1       Running   0          1h

      -l app=hostnames 参数是在 Service 上配置的标签选择器。

      “AGE” 列表明这些 Pod 已经启动一个小时了，这意味着它们运行良好，而未崩溃。

      “RESTARTS” 列表明 Pod 没有经常崩溃或重启。经常性崩溃可能导致间歇性连接问题。 如果重启次数过大，通过 了解相关技术。

      在 Kubernetes 系统中有一个控制回路，它评估每个 Service 的选择算符，并将结果保存到 Endpoints 对象中。

      1. kubectl get endpoints hostnames
      1. NAME        ENDPOINTS
      2. hostnames   10.244.0.5:9376,10.244.0.6:9376,10.244.0.7:9376

      这证实 Endpoints 控制器已经为你的 Service 找到了正确的 Pods。 如果 ENDPOINTS 列的值为 <none>，则应检查 Service 的 spec.selector 字段， 以及你实际想选择的 Pod 的 metadata.labels 的值。 常见的错误是输入错误或其他错误，例如 Service 想选择 app=hostnames，但是 Deployment 指定的是 run=hostnames。在 1.18之前的版本中 kubectl run 也可以被用来创建 Deployment。

      Pod 工作正常吗？

      至此，你知道你的 Service 已存在，并且已匹配到你的Pod。在本实验的开始，你已经检查了 Pod 本身。 让我们再次检查 Pod 是否确实在工作 - 你可以绕过 Service 机制并直接转到 Pod， 如上面的 Endpoints 所示。

      说明：

      这些命令使用的是 Pod 端口（9376），而不是 Service 端口（80）。

      在 Pod 中运行：

      输出应该类似这样：

      1. hostnames-632524106-bbpiw
      2. hostnames-632524106-ly40y
      3. hostnames-632524106-tlaok

      你希望 Endpoint 列表中的每个 Pod 都返回自己的主机名。 如果情况并非如此（或你自己的 Pod 的正确行为是什么），你应调查发生了什么事情。

      kube-proxy 正常工作吗？

      如果你到达这里，则说明你的 Service 正在运行，拥有 Endpoints，Pod 真正在提供服务。 此时，整个 Service 代理机制是可疑的。让我们一步一步地确认它没问题。

      确认 kube-proxy 正在节点上运行。在节点上直接运行，你将会得到类似以下的输出：

      1. ps auxw | grep kube-proxy
      1. root  4194  0.4  0.1 101864 17696 ?    Sl Jul04  25:43 /usr/local/bin/kube-proxy --master=https://kubernetes-master --kubeconfig=/var/lib/kube-proxy/kubeconfig --v=2

      下一步，确认它并没有出现明显的失败，比如连接主节点失败。要做到这一点，你必须查看日志。 访问日志的方式取决于你节点的操作系统。 在某些操作系统上日志是一个文件，如 /var/log/messages kube-proxy.log， 而其他操作系统使用 journalctl 访问日志。你应该看到输出类似于：

      1. I1027 22:14:53.995134    5063 server.go:200] Running in resource-only container "/kube-proxy"
      2. I1027 22:14:53.998163    5063 server.go:247] Using iptables Proxier.
      3. I1027 22:14:53.999055    5063 server.go:255] Tearing down userspace rules. Errors here are acceptable.
      4. I1027 22:14:54.038140    5063 proxier.go:352] Setting endpoints for "kube-system/kube-dns:dns-tcp" to [10.244.1.3:53]
      6. I1027 22:14:54.038209    5063 proxier.go:352] Setting endpoints for "default/kubernetes:https" to [10.240.0.2:443]
      7. I1027 22:14:54.038238    5063 proxier.go:429] Not syncing iptables until Services and Endpoints have been received from master
      8. I1027 22:14:54.040048    5063 proxier.go:294] Adding new service "default/kubernetes:https" at 10.0.0.1:443/TCP
      9. I1027 22:14:54.040154    5063 proxier.go:294] Adding new service "kube-system/kube-dns:dns" at 10.0.0.10:53/UDP
      10. I1027 22:14:54.040223    5063 proxier.go:294] Adding new service "kube-system/kube-dns:dns-tcp" at 10.0.0.10:53/TCP

      如果你看到有关无法连接主节点的错误消息，则应再次检查节点配置和安装步骤。

      kube-proxy 无法正确运行的可能原因之一是找不到所需的 conntrack 二进制文件。 在一些 Linux 系统上，这也是可能发生的，这取决于你如何安装集群， 例如，你是手动开始一步步安装 Kubernetes。如果是这样的话，你需要手动安装 conntrack 包（例如，在 Ubuntu 上使用 sudo apt install conntrack），然后重试。

      Kube-proxy 可以以若干模式之一运行。在上述日志中，Using iptables Proxier 行表示 kube-proxy 在 “iptables” 模式下运行。 最常见的另一种模式是 “ipvs”。先前的 “userspace” 模式已经被这些所代替。

      Iptables 模式

      在 “iptables” 模式中, 你应该可以在节点上看到如下输出:

      1. iptables-save | grep hostnames
      1. -A KUBE-SEP-57KPRZ3JQVENLNBR -s 10.244.3.6/32 -m comment --comment "default/hostnames:" -j MARK --set-xmark 0x00004000/0x00004000
      2. -A KUBE-SEP-57KPRZ3JQVENLNBR -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.3.6:9376
      3. -A KUBE-SEP-WNBA2IHDGP2BOBGZ -s 10.244.1.7/32 -m comment --comment "default/hostnames:" -j MARK --set-xmark 0x00004000/0x00004000
      4. -A KUBE-SEP-WNBA2IHDGP2BOBGZ -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.1.7:9376
      5. -A KUBE-SEP-X3P2623AGDH6CDF3 -s 10.244.2.3/32 -m comment --comment "default/hostnames:" -j MARK --set-xmark 0x00004000/0x00004000
      6. -A KUBE-SEP-X3P2623AGDH6CDF3 -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.2.3:9376
      7. -A KUBE-SERVICES -d 10.0.1.175/32 -p tcp -m comment --comment "default/hostnames: cluster IP" -m tcp --dport 80 -j KUBE-SVC-NWV5X2332I4OT4T3
      8. -A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-WNBA2IHDGP2BOBGZ
      9. -A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-X3P2623AGDH6CDF3
      10. -A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -j KUBE-SEP-57KPRZ3JQVENLNBR

      对于每个 Service 的每个端口，应有 1 条 KUBE-SERVICES 规则、一个 KUBE-SVC-<hash> 链。 对于每个 Pod 末端，在那个 KUBE-SVC-<hash> 链中应该有一些规则与之对应，还应该 有一个 KUBE-SEP-<hash> 链与之对应，其中包含为数不多的几条规则。 实际的规则数量可能会根据你实际的配置（包括 NodePort 和 LoadBalancer 服务）有所不同。

      IPVS 模式

      在 “ipvs” 模式中, 你应该在节点下看到如下输出：

      1. ipvsadm -ln
      1. Prot LocalAddress:Port Scheduler Flags
      2.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
      3. ...
      4. TCP  10.0.1.175:80 rr
      5.   -> 10.244.0.5:9376               Masq    1      0          0
      6.   -> 10.244.0.6:9376               Masq    1      0          0
      7.   -> 10.244.0.7:9376               Masq    1      0          0
      8. ...

      对于每个 Service 的每个端口，还有 NodePort，External IP 和 LoadBalancer 类型服务 的 IP，kube-proxy 将创建一个虚拟服务器。 对于每个 Pod 末端，它将创建相应的真实服务器。 在此示例中，服务主机名（10.0.1.175:80）拥有 3 个末端（10.244.0.5:9376、 10.244.0.6:9376 和 10.244.0.7:9376）。

      Userspace 模式

      在极少数情况下，你可能会用到 “userspace” 模式。在你的节点上运行：

      1. iptables-save | grep hostnames
      1. -A KUBE-PORTALS-CONTAINER -d 10.0.1.175/32 -p tcp -m comment --comment "default/hostnames:default" -m tcp --dport 80 -j REDIRECT --to-ports 48577
      2. -A KUBE-PORTALS-HOST -d 10.0.1.175/32 -p tcp -m comment --comment "default/hostnames:default" -m tcp --dport 80 -j DNAT --to-destination 10.240.115.247:48577

      对于 Service （本例中只有一个）的每个端口，应当有 2 条规则： 一条 “KUBE-PORTALS-CONTAINER” 和一条 “KUBE-PORTALS-HOST” 规则。

      几乎没有人应该再使用 “userspace” 模式，因此你在这里不会花更多的时间。

      假设你确实遇到上述情况之一，请重试从节点上通过 IP 访问你的 Service ：

      1. curl 10.0.1.175:80
      1. hostnames-632524106-bbpiw

      如果失败，并且你正在使用用户空间代理，则可以尝试直接访问代理。 如果你使用的是 iptables 代理，请跳过本节。

      回顾上面的 iptables-save 输出，并提取 kube-proxy 为你的 Service 所使用的端口号。 在上面的例子中，端口号是 “48577”。现在试着连接它：

      1. curl localhost:48577
      1. hostnames-632524106-tlaok

      如果这步操作仍然失败，请查看 kube-proxy 日志中的特定行，如：

      1. Setting endpoints for default/hostnames:default to [10.244.0.5:9376 10.244.0.6:9376 10.244.0.7:9376]

      如果你没有看到这些，请尝试将 -V 标志设置为 4 并重新启动 kube-proxy，然后再查看日志。

      这听起来似乎不太可能，但是确实可能发生，并且应该可以工作。

      如果网络没有为“发夹模式（Hairpin）”流量生成正确配置， 通常当 kube-proxy 以 iptables 模式运行，并且 Pod 与桥接网络连接时，就会发生这种情况。 kubelet 提供了 hairpin-mode 标志。 如果 Service 的末端尝试访问自己的 Service VIP，则该端点可以把流量负载均衡回来到它们自身。 hairpin-mode 标志必须被设置为 hairpin-veth 或者 promiscuous-bridge。

      诊断此类问题的常见步骤如下：

      • 确认 hairpin-mode 被设置为 hairpin-veth 或 promiscuous-bridge。 你应该可以看到下面这样。本例中 hairpin-mode 被设置为 promiscuous-bridge。

        1. ps auxw | grep kubelet
        1. root      3392  1.1  0.8 186804 65208 ?        Sl   00:51  11:11 /usr/local/bin/kubelet --enable-debugging-handlers=true --config=/etc/kubernetes/manifests --allow-privileged=True --v=4 --cluster-dns=10.0.0.10 --cluster-domain=cluster.local --configure-cbr0=true --cgroup-root=/ --system-cgroups=/system --hairpin-mode=promiscuous-bridge --runtime-cgroups=/docker-daemon --kubelet-cgroups=/kubelet --babysit-daemons=true --max-pods=110 --serialize-image-pulls=false --outofdisk-transition-frequency=0

      • 确认有效的 hairpin-mode。要做到这一点，你必须查看 kubelet 日志。 访问日志取决于节点的操作系统。在一些操作系统上，它是一个文件，如 /var/log/kubelet.log， 而其他操作系统则使用 journalctl 访问日志。请注意，由于兼容性， 有效的 hairpin-mode 可能不匹配 --hairpin-mode 标志。在 kubelet.log 中检查是否有带有关键字 hairpin 的日志行。应该有日志行指示有效的 hairpin-mode，就像下面这样。

        1. I0629 00:51:43.648698    3252 kubelet.go:380] Hairpin mode set to "promiscuous-bridge"

      • 如果有效的发夹模式是 hairpin-veth, 要保证 Kubelet 有操作节点上 /sys 的权限。 如果一切正常，你将会看到如下输出:

        1. for intf in /sys/devices/virtual/net/cbr0/brif/*; do cat $intf/hairpin_mode; done
        1. 1
        2. 1
        3. 1
        4. 1

      • 如果有效的发卡模式是 promiscuous-bridge, 要保证 Kubelet 有操作节点上 Linux 网桥的权限。如果 cbr0 桥正在被使用且被正确设置，你将会看到如下输出:

        1. UP BROADCAST RUNNING PROMISC MULTICAST  MTU:1460  Metric:1

      • 如果以上步骤都不能解决问题，请寻求帮助。

      如果你走到这一步，那么就真的是奇怪的事情发生了。你的 Service 正在运行，有 Endpoints 存在， 你的 Pods 也确实在提供服务。你的 DNS 正常， 规则已经安装，kube-proxy 看起来也正常。 然而 Service 还是没有正常工作。这种情况下，请告诉我们，以便我们可以帮助调查！

      通过 Slack 或者 或者 GitHub 联系我们。

      接下来

      访问故障排查概述文档获取更多信息。