k8s之ingress-nginx详解和部署方案_云虚拟主机

本篇是基于k8s-v1.15.0版本，在现有集群上部署ingress。

1、ingress介绍

k8s集群对外暴露服务的方式目前只有三种：loadblancer；nodeport；ingress

前两种熟悉起来比较快，而且使用起来也比较方便，在此就不进行介绍了。

下面详细讲解下ingress这个服务，ingress由两部分组成：

ingress controller：将新加入的ingress转化成nginx的配置文件并使之生效
ingress服务：将nginx的配置抽象成一个ingress对象，每添加一个新的服务只需写一个新的ingress的yaml文件即可

其中ingress controller目前主要有两种：基于nginx服务的ingress controller和基于traefik的ingress controller。

而其中traefik的ingress controller，目前支持http和https协议。由于对nginx比较熟悉，而且需要使用tcp负载，所以在此我们选择的是基于nginx服务的ingress controller。

但是基于nginx服务的ingress controller根据不同的开发公司，又分为k8s社区的ingres-nginx和nginx公司的nginx-ingress。
在此根据github上的活跃度和关注人数，我们选择的是k8s社区的ingres-nginx。

k8s社区提供的ingress，github地址如下：https://github.com/kubernetes/ingress-nginx
nginx社区提供的ingress，github地址如下：https://github.com/nginxinc/kubernetes-ingress

2、ingress的工作原理

ingress具体的工作原理如下:

step1：ingress contronler通过与k8s的api进行交互，动态的去感知k8s集群中ingress服务规则的变化，然后读取它，并按照定义的ingress规则，转发到k8s集群中对应的service。

step2：而这个ingress规则写明了哪个域名对应k8s集群中的哪个service，然后再根据ingress-controller中的nginx配置模板，生成一段对应的nginx配置。

step3：然后再把该配置动态的写到ingress-controller的pod里，该ingress-controller的pod里面运行着一个nginx服务，控制器会把生成的nginx配置写入到nginx的配置文件中，然后reload一下，使其配置生效,以此来达到域名分配置及动态更新的效果。

3、ingress可以解决的问题

1）动态配置服务

如果按照传统方式, 当新增加一个服务时, 我们可能需要在流量入口加一个反向代理指向我们新的k8s服务. 而如果用了ingress, 只需要配置好这个服务, 当服务启动时, 会自动注册到ingress的中, 不需要而外的操作。

2）减少不必要的端口暴露

配置过k8s的都清楚, 第一步是要关闭防火墙的, 主要原因是k8s的很多服务会以nodeport方式映射出去, 这样就相当于给宿主机打了很多孔, 既不安全也不优雅. 而ingress可以避免这个问题, 除了ingress自身服务可能需要映射出去, 其他服务都不要用nodeport方式。

4、部署ingress（deployment的方式）

1）配置文件准备（粘贴下面网址的yanl文件）

github连接地址：

https://github.com/kubernetes/ingress-nginx/blob/master/deploy/static/mandatory.yaml

或者

https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/mandatory.yaml

2）配置文件介绍和设置ingress的网络模式

1> namespace.yaml

创建一个独立的命名空间 ingress-nginx。

2> configmap.yaml

configmap是存储通用的配置变量的，类似于配置文件，使用户可以将分布式系统中用于不同模块的环境变量统一到一个对象中管理；而它与配置文件的区别在于它是存在集群的“环境”中的，并且支持k8s集群中所有通用的操作调用方式。

从数据角度来看，configmap的类型只是键值组，用于存储被pod或者其他资源对象（如rc）访问的信息。这与secret的设计理念有异曲同工之妙，主要区别在于configmap通常不用于存储敏感信息，而只存储简单的文本信息。

configmap可以保存环境变量的属性，也可以保存配置文件。

创建pod时，对configmap进行绑定，pod内的应用可以直接引用configmap的配置。相当于configmap为应用/运行环境封装配置。
pod使用configmap，通常用于：设置环境变量的值、设置命令行参数、创建配置文件。

3> default-backend.yaml

如果外界访问的域名不存在的话，则默认转发到default-http-backend这个service，其会直接返回404。

4> rbac.yaml

负责ingress的rbac授权的控制，其创建了ingress用到的serviceaccount、clusterrole、role、rolebinding、clusterrolebinding。

5> with-rbac.yaml

是ingress的核心，用于创建ingress-controller。前面提到过，ingress-controller的作用是将新加入的ingress进行转化为nginx的配置。

6> 各文件的作用：

configmap.yaml:提供configmap可以在线更新nginx的配置
default-backend.yaml:提供一个缺省的后台错误页面 404
namespace.yaml:创建一个独立的命名空间 ingress-nginx
rbac.yaml:创建对应的role rolebinding 用于rbac
tcp-services-configmap.yaml:修改l4负载均衡配置的configmap
udp-services-configmap.yaml:修改l4负载均衡配置的configmap
with-rbac.yaml:有应用rbac的nginx-ingress-controller组件

3）修改配置文件

设置 hostnetwork: true

由于ingress 使用到物理机的80/443 端口，所以需要设置为hostnetwork模式

4）拉取镜像（通过查看ingress的yaml文件可以看出）和创建svc文件

拉取镜像

docker pull quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0

或者

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:0.30.0
kubectl apply -f mandatory.yaml

创建svc：https://github.com/kubernetes/ingress-nginx/blob/master/deploy/baremetal/service-nodeport.yaml

5）指定运行节点（需要打标签）

nginx-ingress-controller会随意选择一个node节点运行pod，为此需要我们把nginx-ingress-controller运行到指定的node节点上
首先需要给需要运行nginx-ingress-controller的node节点打标签，在此我们把nginx-ingress-controller运行在指定的node节点上

kubectl get nodes –show-labels         #先查看各个node上的lables信息
kubectl label nodes node3 nginx=nginx  #给node3打标签
kubectl get nodes –show-labels         #查看node3上的lables

修改ingress的yaml文件中的标签

5、部署ingress（daemonset的方式）

官方原始文件使用的是deployment，replicate 为 1，这样将会在某一台节点上启动对应的nginx-ingress-controller pod。外部流量访问至该节点，由该节点负载分担至内部的service。测试环境考虑防止单点故障，改为daemonset然后删掉replicate ，配合亲和性部署在制定节点上启动nginx-ingress-controller pod，确保有多个节点启动nginx-ingress-controller pod，后续将这些节点加入到外部硬件负载均衡组实现高可用性。

1）添加hostnetwork

true：添加该字段，暴露nginx-ingress-controller pod的服务端口（80）

2）添加亲和性属性

增加亲和性部署，有custom/ingress-controller-ready 标签的节点才会部署该daemonset

3）设置节点的label

kubectl label nodes node2 custem/ingress-controller-ready=true
kubectl label nodes node3 custem/ingress-controller-ready=true
kubectl label nodes node4 custem/ingress-controller-ready=true

4）修改yaml文件（和deployment部署ingress的文件一样，只需要修改此处即可）

4）执行并部署ingress

完整版文件如下

cat mandatory-deamon.yaml

apiversion: v1
kind: namespace
metadata:
  name: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

---

kind: configmap
apiversion: v1
metadata:
  name: nginx-configuration
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

---
kind: configmap
apiversion: v1
metadata:
  name: tcp-services
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

---
kind: configmap
apiversion: v1
metadata:
  name: udp-services
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

---
apiversion: v1
kind: serviceaccount
metadata:
  name: nginx-ingress-serviceaccount
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx

---
apiversion: rbac.authorization.k8s.io/v1beta1
kind: clusterrole
metadata:
  name: nginx-ingress-clusterrole
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
rules:
  - apigroups:
      - ""
    resources:
      - configmaps
      - endpoints
      - nodes
      - pods
      - secrets
    verbs:
      - list
      - watch
  - apigroups:
      - ""
    resources:
      - nodes
    verbs:
      - get
  - apigroups:
      - ""
    resources:
      - services
    verbs:
      - get
      - list
      - watch
  - apigroups:
      - ""
    resources:
      - events
    verbs:
      - create
      - patch
  - apigroups:
      - "extensions"
      - "networking.k8s.io"
    resources:
      - ingresses
    verbs:
      - get
      - list
      - watch
  - apigroups:
      - "extensions"
      - "networking.k8s.io"
    resources:
      - ingresses/status
    verbs:
      - update

---
apiversion: rbac.authorization.k8s.io/v1beta1
kind: role
metadata:
  name: nginx-ingress-role
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
rules:
  - apigroups:
      - ""
    resources:
      - configmaps
      - pods
      - secrets
      - namespaces
    verbs:
      - get
  - apigroups:
      - ""
    resources:
      - configmaps
    resourcenames:
      # defaults to "<election-id>-<ingress-class>"
      # here: "<ingress-controller-leader>-<nginx>"
      # this has to be adapted if you change either parameter
      # when launching the nginx-ingress-controller.
      - "ingress-controller-leader-nginx"
    verbs:
      - get
      - update
  - apigroups:
      - ""
    resources:
      - configmaps
    verbs:
      - create
  - apigroups:
      - ""
    resources:
      - endpoints
    verbs:
      - get

---
apiversion: rbac.authorization.k8s.io/v1beta1
kind: rolebinding
metadata:
  name: nginx-ingress-role-nisa-binding
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
roleref:
  apigroup: rbac.authorization.k8s.io
  kind: role
  name: nginx-ingress-role
subjects:
  - kind: serviceaccount
    name: nginx-ingress-serviceaccount
    namespace: ingress-nginx

---
apiversion: rbac.authorization.k8s.io/v1beta1
kind: clusterrolebinding
metadata:
  name: nginx-ingress-clusterrole-nisa-binding
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
roleref:
  apigroup: rbac.authorization.k8s.io
  kind: clusterrole
  name: nginx-ingress-clusterrole
subjects:
  - kind: serviceaccount
    name: nginx-ingress-serviceaccount
    namespace: ingress-nginx

---

apiversion: apps/v1
#kind: deployment
kind: daemonset
metadata:
  name: nginx-ingress-controller
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
#  replicas: 2
  selector:
    matchlabels:
      app.kubernetes.io/name: ingress-nginx
      app.kubernetes.io/part-of: ingress-nginx
  template:
    metadata:
      labels:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/part-of: ingress-nginx
      annotations:
        prometheus.io/port: "10254"
        prometheus.io/scrape: "true"
    spec:
      hostnetwork: true
      # wait up to five minutes for the drain of connections
      terminationgraceperiodseconds: 300
      serviceaccountname: nginx-ingress-serviceaccount
      nodeselector:
        kubernetes.io/os: linux
        custem/ingress-controller-ready: 'true'
      tolerations:
        - key: "kubernetes.io/os"
          operator: "equal"
          value: "linux"
          effect: "noschedule"
      containers:
        - name: nginx-ingress-controller
          image: www.my.com/k8s/nginx-ingress-controller:0.30.0
          args:
            - /nginx-ingress-controller
            - --configmap=$(pod_namespace)/nginx-configuration
            - --tcp-services-configmap=$(pod_namespace)/tcp-services
            - --udp-services-configmap=$(pod_namespace)/udp-services
            - --publish-service=$(pod_namespace)/ingress-nginx
            - --annotations-prefix=nginx.ingress.kubernetes.io
          securitycontext:
            allowprivilegeescalation: true
            capabilities:
              drop:
                - all
              add:
                - net_bind_service
            # www-data -> 101
            runasuser: 101
          env:
            - name: pod_name
              valuefrom:
                fieldref:
                  fieldpath: metadata.name
            - name: pod_namespace
              valuefrom:
                fieldref:
                  fieldpath: metadata.namespace
          ports:
            - name: http
              containerport: 80
              protocol: tcp
            - name: https
              containerport: 443
              protocol: tcp
          livenessprobe:
            failurethreshold: 3
            httpget:
              path: /healthz
              port: 10254
              scheme: http
            initialdelayseconds: 10
            periodseconds: 10
            successthreshold: 1
            timeoutseconds: 10
          readinessprobe:
            failurethreshold: 3
            httpget:
              path: /healthz
              port: 10254
              scheme: http
            periodseconds: 10
            successthreshold: 1
            timeoutseconds: 10
          lifecycle:
            prestop:
              exec:
                command:
                  - /wait-shutdown

---

apiversion: v1
kind: limitrange
metadata:
  name: ingress-nginx
  namespace: ingress-nginx
  labels:
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
spec:
  limits:
  - min:
      memory: 90mi
      cpu: 100m
    type: container

kubectl apply -f mandatory-deamon.yaml
kubectl get ds -n ingress-nginx 
kubectl get pod -n ingress-nginx  -o wide

注意：大家可能会想node2上也打了标签，为什么node2上没有；原因很简单，我的node2是master，已经有了污点的标签，从亲和性上就已经不再容忍任何pod运行到master上，所以只能看到node3和node4上有nginx-ingress的pod。

6、案例测试

1）创建deployment模板并修改

kubectl create deployment httpd --image=www.my.com/web/httpd:latest --dry-run -o yaml > http-dep.yaml

2）创建svc模板并修改

kubectl expose deployment httpd --port=8000 --target-port=80 --type=clusterip  --dry-run -o yaml > http-svc.yaml

3）测试访问

curl 10.1.95.78:8000

4）创建ingress

apiversion: extensions/v1beta1
kind: ingress
metadata:
  name: httpd
  namespace: default
spec:
  rules:
  - host: www.http123.com
    http:
      paths:
      - path: /
        backend:
          servicename: httpd
          serviceport: 8000