Egress 网关的 TLS 发起过程

    • 遵照安装指南中的指令，安装 Istio。

    • 启动 样本应用，作为外部请求的测试源。

      若已开启自动 sidecar 注入，执行

      否则，必须在部署 应用之前手动注入 sidecar：

      Zip

      1. $ kubectl apply -f <(istioctl kube-inject -f @samples/sleep/sleep.yaml@)

      注意每一个可以执行 exec 和 curl 操作的 pod，都需要注入。

    • 创建一个 shell 变量，来保存向外部服务发送请求的源 pod 的名称。 若使用 样例，运行：

      1. $ export SOURCE_POD=$(kubectl get pod -l app=sleep -o jsonpath={.items..metadata.name})

    • 对于 macOS 用户，确认您使用的是 openssl 版本 1.1 或更高版本：

      1. $ openssl version -a | grep OpenSSL
      2. OpenSSL 1.1.1g  21 Apr 2020

      如果前面的命令输出的是版本 1.1 或更高版本，如图所示，则您的 openssl 命令应该正确执行此任务中的指示。否则，升级您的 openssl 或尝试 openssl 的不同实现，像在 Linux 机器上一样。

    • 部署 Istio egress 网关。

    本节描述如何使用 egress 网关发起与示例为 Egress 流量发起 TLS 连接中一样的 TLS。 注意，这种情况下，TLS 的发起过程由 egress 网关完成，而不是像之前示例演示的那样由 sidecar 完成。

    1. 为 edition.cnn.com 定义一个 ServiceEntry：

      1. $ kubectl apply -f - <<EOF
      2. apiVersion: networking.istio.io/v1alpha3
      3. kind: ServiceEntry
      4. metadata:
      5.   name: cnn
      6. spec:
      7.   hosts:
      8.   - edition.cnn.com
      9.   ports:
      10.   - number: 80
      11.     name: http
      12.     protocol: HTTP
      13.   - number: 443
      14.     name: https
      15.     protocol: HTTPS
      16.   resolution: DNS
      17. EOF

    2. 发送一个请求至 ，验证 ServiceEntry 已被正确应用。

      1. $ kubectl exec -it $SOURCE_POD -c sleep -- curl -sL -o /dev/null -D - http://edition.cnn.com/politics
      2. HTTP/1.1 301 Moved Permanently
      3. ...
      4. location: https://edition.cnn.com/politics
      5. ...
      7. command terminated with exit code 35

      如果在输出中看到 _301 Moved Permanently_，说明 ServiceEntry 配置正确。

      1. $ kubectl apply -f - <<EOF
      2. apiVersion: networking.istio.io/v1alpha3
      3. kind: Gateway
      4. metadata:
      5.   name: istio-egressgateway
      6. spec:
      7.   selector:
      8.     istio: egressgateway
      9.   servers:
      10.   - port:
      11.       number: 80
      12.       name: https-port-for-tls-origination
      13.       protocol: HTTPS
      14.     hosts:
      15.     - edition.cnn.com
      16.     tls:
      17.       mode: ISTIO_MUTUAL
      18. ---
      19. apiVersion: networking.istio.io/v1alpha3
      20. kind: DestinationRule
      21. metadata:
      22.   name: egressgateway-for-cnn
      23. spec:
      24.   host: istio-egressgateway.istio-system.svc.cluster.local
      25.   subsets:
      26.   - name: cnn
      27.     trafficPolicy:
      28.       loadBalancer:
      29.         simple: ROUND_ROBIN
      30.       portLevelSettings:
      31.       - port:
      32.           number: 80
      33.         tls:
      34.           mode: ISTIO_MUTUAL
      35.           sni: edition.cnn.com
      36. EOF

    4. 定义一个 VirtualService 来引导流量流经 egress 网关，以及一个 DestinationRule 为访问 edition.cnn.com 的请求发起 TLS 连接：

      1. $ kubectl apply -f - <<EOF
      2. apiVersion: networking.istio.io/v1alpha3
      3. kind: VirtualService
      4. metadata:
      5.   name: direct-cnn-through-egress-gateway
      6. spec:
      7.   hosts:
      8.   - edition.cnn.com
      9.   gateways:
      10.   - istio-egressgateway
      11.   - mesh
      12.   http:
      13.   - match:
      14.     - gateways:
      15.       - mesh
      16.       port: 80
      17.     route:
      18.     - destination:
      19.         host: istio-egressgateway.istio-system.svc.cluster.local
      20.         subset: cnn
      21.         port:
      22.           number: 80
      23.       weight: 100
      24.   - match:
      25.     - gateways:
      26.       - istio-egressgateway
      27.       port: 80
      28.     route:
      29.     - destination:
      30.         host: edition.cnn.com
      31.         port:
      32.           number: 443
      33.       weight: 100
      34. ---
      35. apiVersion: networking.istio.io/v1alpha3
      36. kind: DestinationRule
      37. metadata:
      38.   name: originate-tls-for-edition-cnn-com
      39. spec:
      40.   host: edition.cnn.com
      41.   trafficPolicy:
      42.     loadBalancer:
      43.       simple: ROUND_ROBIN
      44.     portLevelSettings:
      45.     - port:
      46.         number: 443
      47.       tls:
      48.         mode: SIMPLE # initiates HTTPS for connections to edition.cnn.com
      49. EOF

    5. 发送一个 HTTP 请求至 http://edition.cnn.com/politics。

      1. $ kubectl exec -it $SOURCE_POD -c sleep -- curl -sL -o /dev/null -D - http://edition.cnn.com/politics
      2. ...

      输出将与在示例中显示的一样，发起 TLS 连接后，不再显示 301 Moved Permanently 消息。

    6. 检查 istio-egressgateway pod 的日志，将看到一行与请求相关的记录。 若 Istio 部署在 istio-system 命名空间中，打印日志的命令为：

      1. $ kubectl logs -l istio=egressgateway -c istio-proxy -n istio-system | tail

      将看到类似如下一行：

    删除创建的 Istio 配置项：

    与前一章节类似，本章节描述如何配置一个 egress 网关，为外部服务发起 TLS 连接，只是这次服务要求双向 TLS。

    本示例要求更高的参与性，首先需要：

    1. 生成客户端和服务器证书
    2. 部署一个支持双向 TLS 的外部服务
    3. 使用所需的证书重新部署 egress 网关

    然后才可以配置出口流量流经 egress 网关，egress 网关将发起 TLS 连接。

    生成客户端和服务器的证书与密钥

    对于此任务，您可以使用自己喜欢的工具来生成证书和密钥。以下命令使用

    1. 为您的服务签名证书创建根证书和私钥：

      1. $ openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -subj '/O=example Inc./CN=example.com' -keyout example.com.key -out example.com.crt

    2. 为 my-nginx.mesh-external.svc.cluster.local 创建证书和私钥：

      1. $ openssl req -out my-nginx.mesh-external.svc.cluster.local.csr -newkey rsa:2048 -nodes -keyout my-nginx.mesh-external.svc.cluster.local.key -subj "/CN=my-nginx.mesh-external.svc.cluster.local/O=some organization"
      2. $ openssl x509 -req -sha256 -days 365 -CA example.com.crt -CAkey example.com.key -set_serial 0 -in my-nginx.mesh-external.svc.cluster.local.csr -out my-nginx.mesh-external.svc.cluster.local.crt

    3. 生成客户端证书和私钥：

      1. $ openssl req -out client.example.com.csr -newkey rsa:2048 -nodes -keyout client.example.com.key -subj "/CN=client.example.com/O=client organization"
      2. $ openssl x509 -req -sha256 -days 365 -CA example.com.crt -CAkey example.com.key -set_serial 1 -in client.example.com.csr -out client.example.com.crt

    为了模拟一个真实的支持双向 TLS 协议的外部服务， 在 Kubernetes 集群中部署一个 NGINX 服务器，该服务器运行在 Istio 服务网格之外，譬如：运行在一个没有开启 Istio sidecar proxy 注入的命名空间中。

    1. 创建一个命名空间，表示 Istio 网格之外的服务，mesh-external。注意在这个命名空间中，sidecar 自动注入是没有的，不会在 pods 中自动注入 sidecar proxy。

      1. $ kubectl create namespace mesh-external

    2. 创建 Kubernetes Secrets ，保存服务器和 CA 的证书。

      1. $ kubectl create -n mesh-external secret tls nginx-server-certs --key my-nginx.mesh-external.svc.cluster.local.key --cert my-nginx.mesh-external.svc.cluster.local.crt
      2. $ kubectl create -n mesh-external secret generic nginx-ca-certs --from-file=example.com.crt
      1. $ cat <<\EOF > ./nginx.conf
      2. events {
      3. }
      5. http {
      6.   log_format main '$remote_addr - $remote_user [$time_local]  $status '
      7.   '"$request" $body_bytes_sent "$http_referer" '
      8.   '"$http_user_agent" "$http_x_forwarded_for"';
      9.   access_log /var/log/nginx/access.log main;
      10.   error_log  /var/log/nginx/error.log;
      12.   server {
      13.     listen 443 ssl;
      15.     root /usr/share/nginx/html;
      16.     index index.html;
      18.     server_name my-nginx.mesh-external.svc.cluster.local;
      19.     ssl_certificate /etc/nginx-server-certs/tls.crt;
      20.     ssl_certificate_key /etc/nginx-server-certs/tls.key;
      21.     ssl_client_certificate /etc/nginx-ca-certs/example.com.crt;
      22.     ssl_verify_client on;
      23.   }
      24. }
      25. EOF

    4. 生成 Kubernetes 保存 NGINX 服务器的配置文件：

      1. $ kubectl create configmap nginx-configmap -n mesh-external --from-file=nginx.conf=./nginx.conf

    5. 部署 NGINX 服务器：

      1. $ kubectl apply -f - <<EOF
      2. apiVersion: v1
      3. kind: Service
      4. metadata:
      5.   name: my-nginx
      6.   namespace: mesh-external
      7.   labels:
      8.     run: my-nginx
      9. spec:
      10.   ports:
      11.   - port: 443
      12.     protocol: TCP
      13.   selector:
      14.     run: my-nginx
      15. ---
      16. apiVersion: apps/v1
      17. kind: Deployment
      18. metadata:
      19.   name: my-nginx
      20.   namespace: mesh-external
      21. spec:
      22.   selector:
      23.     matchLabels:
      24.       run: my-nginx
      25.   replicas: 1
      26.   template:
      27.     metadata:
      28.       labels:
      29.         run: my-nginx
      30.     spec:
      31.       containers:
      32.       - name: my-nginx
      33.         image: nginx
      34.         ports:
      35.         - containerPort: 443
      36.         volumeMounts:
      37.         - name: nginx-config
      38.           mountPath: /etc/nginx
      39.           readOnly: true
      40.         - name: nginx-server-certs
      41.           mountPath: /etc/nginx-server-certs
      42.           readOnly: true
      43.         - name: nginx-ca-certs
      44.           mountPath: /etc/nginx-ca-certs
      45.           readOnly: true
      46.       volumes:
      47.       - name: nginx-config
      48.         configMap:
      49.           name: nginx-configmap
      50.       - name: nginx-server-certs
      51.         secret:
      52.           secretName: nginx-server-certs
      53.       - name: nginx-ca-certs
      54.         secret:
      55.           secretName: nginx-ca-certs
      56. EOF

    6. 为 nginx.example.com 定义一个 ServiceEntry 和一个 VirtualService，指示 Istio 引导目标为 nginx.example.com 的流量流向 NGINX 服务器：

      1. $ kubectl apply -f - <<EOF
      2. apiVersion: networking.istio.io/v1alpha3
      3. kind: ServiceEntry
      4. metadata:
      5.   name: nginx
      6. spec:
      7.   hosts:
      8.   - nginx.example.com
      9.   ports:
      10.   - number: 80
      11.     name: http
      12.     protocol: HTTP
      13.   - number: 443
      14.     name: https
      15.     protocol: HTTPS
      16.   resolution: DNS
      17.   endpoints:
      18.   - address: my-nginx.mesh-external.svc.cluster.local
      19.     ports:
      20.       https: 443
      21. ---
      22. apiVersion: networking.istio.io/v1alpha3
      23. kind: VirtualService
      24. metadata:
      25.   name: nginx
      26. spec:
      27.   hosts:
      28.   - nginx.example.com
      29.   tls:
      30.     - port: 443
      31.       sni_hosts:
      32.       - nginx.example.com
      33.     route:
      34.     - destination:
      35.         host: nginx.example.com
      36.         port:
      37.           number: 443
      39. EOF

    使用客户端证书重新部署 egress 网关

    1. 生成 Kubernetes 保存客户端和 CA 的证书。

      1. $ kubectl create -n istio-system secret tls nginx-client-certs --key client.example.com.key --cert client.example.com.crt
      2. $ kubectl create -n istio-system secret generic nginx-ca-certs --from-file=example.com.crt

    2. 部署 istio-egressgateway 挂载新生成的 Secrets 的 Volume。使用的参数选项与生成 istio.yaml 中的一致，创建下面的 gateway-patch.json 文件：

    3. 通过以下命令部署应用 istio-egressgateway：

      1. $ kubectl -n istio-system patch --type=json deploy istio-egressgateway -p "$(cat gateway-patch.json)"

    4. 验证密钥和证书被成功装载入 istio-egressgateway pod：

      1. $ kubectl exec -n istio-system "$(kubectl -n istio-system get pods -l istio=egressgateway -o jsonpath='{.items[0].metadata.name}')" -- ls -al /etc/istio/nginx-client-certs /etc/istio/nginx-ca-certs

      tls.crt 与 tls.key 在 /etc/istio/nginx-client-certs 中，而 ca-chain.cert.pem 在 /etc/istio/nginx-ca-certs 中。

    1. 为 my-nginx.mesh-external.svc.cluster.local 创建一个 egress Gateway 端口为 443，以及目标规则和虚拟服务来引导流量流经 egress 网关并从 egress 网关流向外部服务。

      1. $ kubectl apply -f - <<EOF
      2. apiVersion: networking.istio.io/v1alpha3
      3. kind: Gateway
      4. metadata:
      5.   name: istio-egressgateway
      6. spec:
      7.   selector:
      8.     istio: egressgateway
      9.   servers:
      10.   - port:
      11.       number: 443
      12.       name: https
      13.       protocol: HTTPS
      14.     hosts:
      15.     - my-nginx.mesh-external.svc.cluster.local
      16.     tls:
      17.       mode: ISTIO_MUTUAL
      18. ---
      19. apiVersion: networking.istio.io/v1alpha3
      20. kind: DestinationRule
      21. metadata:
      22.   name: egressgateway-for-nginx
      23. spec:
      24.   host: istio-egressgateway.istio-system.svc.cluster.local
      25.   subsets:
      26.   - name: nginx
      27.     trafficPolicy:
      28.       loadBalancer:
      29.         simple: ROUND_ROBIN
      30.       portLevelSettings:
      31.       - port:
      32.           number: 443
      33.         tls:
      34.           mode: ISTIO_MUTUAL
      35.           sni: my-nginx.mesh-external.svc.cluster.local
      36. EOF

    2. 定义一个 VirtualService 引导流量流经 egress 网关：

      1. $ kubectl apply -f - <<EOF
      2. apiVersion: networking.istio.io/v1alpha3
      3. kind: VirtualService
      4. metadata:
      5.   name: direct-nginx-through-egress-gateway
      6. spec:
      7.   hosts:
      8.   - my-nginx.mesh-external.svc.cluster.local
      9.   gateways:
      10.   - istio-egressgateway
      11.   - mesh
      12.   http:
      13.   - match:
      14.     - gateways:
      15.       - mesh
      16.       port: 80
      17.     route:
      18.     - destination:
      19.         host: istio-egressgateway.istio-system.svc.cluster.local
      20.         subset: nginx
      21.         port:
      22.           number: 443
      23.       weight: 100
      24.   - match:
      25.     - gateways:
      26.       - istio-egressgateway
      27.       port: 443
      28.     route:
      29.     - destination:
      30.         host: my-nginx.mesh-external.svc.cluster.local
      31.         port:
      32.           number: 443
      33.       weight: 100
      34. EOF

    3. 添加 DestinationRule 执行双向 TLS

      1. $ kubectl apply -n istio-system -f - <<EOF
      2. apiVersion: networking.istio.io/v1alpha3
      3. kind: DestinationRule
      4. metadata:
      5.   name: originate-mtls-for-nginx
      6. spec:
      7.   host: my-nginx.mesh-external.svc.cluster.local
      8.   trafficPolicy:
      9.     loadBalancer:
      10.       simple: ROUND_ROBIN
      11.     portLevelSettings:
      12.     - port:
      13.         number: 443
      14.       tls:
      15.         mode: MUTUAL
      16.         clientCertificate: /etc/istio/nginx-client-certs/tls.crt
      17.         privateKey: /etc/istio/nginx-client-certs/tls.key
      18.         caCertificates: /etc/istio/nginx-ca-certs/example.com.crt
      19.         sni: my-nginx.mesh-external.svc.cluster.local
      20. EOF

    4. 发送一个 HTTP 请求至 http://my-nginx.mesh-external.svc.cluster.local：

      1. $ kubectl exec "$(kubectl get pod -l app=sleep -o jsonpath={.items..metadata.name})" -c sleep -- curl -sS http://my-nginx.mesh-external.svc.cluster.local
      2. <!DOCTYPE html>
      3. <html>
      4. <head>
      5. <title>Welcome to nginx!</title>
      6. ...

    5. 检查 istio-egressgateway pod 日志，有一行与请求相关的日志记录。 如果 Istio 部署在命名空间 istio-system 中，打印日志的命令为：

      1. $ kubectl logs -l istio=egressgateway -n istio-system | grep 'my-nginx.mesh-external.svc.cluster.local' | grep HTTP

      将显示类似如下的一行：

      1. [2018-08-19T18:20:40.096Z] "GET / HTTP/1.1" 200 - 0 612 7 5 "172.30.146.114" "curl/7.35.0" "b942b587-fac2-9756-8ec6-303561356204" "my-nginx.mesh-external.svc.cluster.local" "172.21.72.197:443"

    清除双向 TLS 连接示例

    1. 删除创建的 Kubernetes 资源：

      1. $ kubectl delete secret nginx-server-certs nginx-ca-certs -n mesh-external
      2. $ kubectl delete secret istio-egressgateway-certs istio-egressgateway-ca-certs nginx-client-certs nginx-ca-certs -n istio-system
      3. $ kubectl delete configmap nginx-configmap -n mesh-external
      4. $ kubectl delete service my-nginx -n mesh-external
      5. $ kubectl delete deployment my-nginx -n mesh-external
      6. $ kubectl delete namespace mesh-external
      7. $ kubectl delete gateway istio-egressgateway
      8. $ kubectl delete virtualservice direct-nginx-through-egress-gateway
      9. $ kubectl delete destinationrule -n istio-system originate-mtls-for-nginx
      10. $ kubectl delete destinationrule egressgateway-for-nginx

    2. 删除证书和私钥：

      1. $ rm example.com.crt example.com.key my-nginx.mesh-external.svc.cluster.local.crt my-nginx.mesh-external.svc.cluster.local.key my-nginx.mesh-external.svc.cluster.local.csr client.example.com.crt client.example.com.csr client.example.com.key

    删除 sleep 服务和部署：

    1. $ kubectl delete deployment sleep