kubernetes 1.8.3 Ingress-nginx 部署使用
测试环境:
组件 | 版本号 |
---|---|
kubernetes | 1.8.3 |
ingress-nginx | 0.20.0 |
centos | 7.4 |
docker | 18.03.1-ce |
第1章 Ingress 简介
在Kubernetes中,服务和Pod的IP地址仅可以在集群网络内部使用,对于集群外的应用是不可见的。
为了使外部的应用能够访问集群内的服务,
在Kubernetes 目前 提供了以下几种方案:
NodePort
LoadBalancer
Ingress
1.1 Ingress 组成
ingress controller
将新加入的Ingress转化成Nginx的配置文件并使之生效
ingress服务
将Nginx的配置抽象成一个Ingress对象,每添加一个新的服务只需写一个新的Ingress的yaml文件即可
1.2 Ingress 工作原理
ingress controller通过和kubernetes api交互,动态的去感知集群中ingress规则变化
然后读取它,按照自定义的规则,规则就是写明了哪个域名对应哪个service,生成一段nginx配置
再写到nginx-ingress-control的pod里,这个Ingress controller的pod里运行着一个Nginx服务,控制器会把生成的nginx配置写入/etc/nginx.conf文件中
然后reload一下使配置生效 以此达到域名分配置和动态更新的问题
1.3 Ingress 可以解决什么问题
1.3.1 动态配置服务
如果按照传统方式, 当新增加一个服务时, 我们可能需要在流量入口加一个反向代理指向我们新的k8s服务. 而如果用了Ingress, 只需要配置好这个服务, 当服务启动时, 会自动注册到Ingress的中, 不需要而外的操作
1.3.2 减少不必要的端口暴露
配置过k8s的都清楚, 第一步是要关闭防火墙的, 主要原因是k8s的很多服务会以NodePort方式映射出去, 这样就相当于给宿主机打了很多孔, 既不安全也不优雅. 而Ingress可以避免这个问题, 除了Ingress自身服务可能需要映射出去, 其他服务都不要用NodePort方式
说明:本文使用的是基于nginx的ingress
第2章 部署配置Ingress
2.1 部署文件介绍、准备
2.1.1 获取配置文件位置
https://github.com/kubernetes/ingress-nginx/tree/nginx-0.20.0/deploy
2.1.2 下载部署文件
2.1.2.1 提供了两种方式
默认下载最新的yaml
指定版本号下载对应的yaml
默认下载最新的yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/mandatory.yaml
指定版本号下载对应的yaml
如下载ingress-nginx 0.20.0对应的yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.20.0/deploy/mandatory.yaml
2.2 部署文件内容介绍
2.2.1 namespace.yaml
创建一个独立的命名空间 ingress-nginx
2.2.2 configmap.yaml
ConfigMap是存储通用的配置变量的,类似于配置文件,使用户可以将分布式系统中用于不同模块的环境变量统一到一个对象中管理;而它与配置文件的区别在于它是存在集群的“环境”中的,并且支持K8S集群中所有通用的操作调用方式。
从数据角度来看,ConfigMap的类型只是键值组,用于存储被Pod或者其他资源对象(如RC)访问的信息。这与secret的设计理念有异曲同工之妙,主要区别在于ConfigMap通常不用于存储敏感信息,而只存储简单的文本信息。
ConfigMap可以保存环境变量的属性,也可以保存配置文件。
创建pod时,对configmap进行绑定,pod内的应用可以直接引用ConfigMap的配置。相当于configmap为应用/运行环境封装配置
说明:pod使用ConfigMap,通常用于:设置环境变量的值、设置命令行参数、创建配置文件
2.2.3 default-backend.yaml
如果外界访问的域名不存在的话,则默认转发到default-http-backend这个Service,其会直接返回404
2.2.4 rbac.yaml (k8s1.6以后才引用了rbac)
负责Ingress的RBAC授权的控制,其创建了Ingress用到的ServiceAccount、ClusterRole、Role、RoleBinding、ClusterRoleBinding
2.2.5 with-rbac.yaml
是Ingress的核心,用于创建ingress-controller。前面提到过,ingress-controller的作用是将新加入的Ingress进行转化为Nginx的配置
2.3 部署ingress
2.3.1 准备镜像,从mandatory.yaml文件查看需要哪些镜像,然后从国内下载镜像后并替换原有镜像路径
2.3.1.1 下载镜像
docker pull registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/defaultbackend-amd64
docker pull registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/nginx-ingress-controller
2.3.2 更新mandatory.yaml中的镜像地址
2.3.2.1 替换defaultbackend-amd64镜像地址
sed -i 's#k8s.gcr.io/defaultbackend-amd64#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/defaultbackend-amd64#g' mandatory.yaml
2.3.2.2 替换nginx-ingress-controller镜像地址
sed -i 's#quay.io/kubernetes-ingress-controller/nginx-ingress-controller#registry.cn-qingdao.aliyuncs.com/kubernetes_xingej/nginx-ingress-controller#g' mandatory.yaml
2.3.3 部署nginx-ingress-controller
kubectl apply -f mandatory.yaml
2.3.3.1 修改service-nodeport.yaml文件,添加NodePort端口,默认为随机端口
apiVersion: v1
kind: Service
metadata:
name: ingress-nginx
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
spec:
type: NodePort
ports:
- name: http
port: 80
targetPort: 80
protocol: TCP
nodePort: 32080 #http
- name: https
port: 443
targetPort: 443
protocol: TCP
nodePort: 32443 #https
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
2.3.4 查看ingress-nginx组件状态
2.3.4.1 查看相关pod状态
[root@k8s_master k8s_yaml]# kubectl get pod -n ingress-nginx
NAME READY STATUS RESTARTS AGE
default-http-backend-64f8cb8689-8gsrx 1/1 Running 0 1h
nginx-ingress-controller-8c77b56f5-mmp7k 1/1 Running 0 1h
2.3.4.2 查看service状态
[root@k8s_master k8s_yaml]# kubectl get service -n ingress-nginx
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
default-http-backend ClusterIP 10.254.201.40 <none> 80/TCP 1h
ingress-nginx NodePort 10.254.188.221 <none> 80:32080/TCP,443:32443/TCP 1h
第3章 测试ingress-nginx
3.1 访问ingress-nginx服务,查看是否配置成功
说明:可以看到,提示404,这个因为当前ingress-nginx服务现在还没有后端服务,这是正常的
3.2 创建服务测试ingress-nginx
3.2.1 创建ingress-nginx后端服务
3.2.1.1 创建一个Service及后端Deployment(以nginx为例)
[root@k8s-master k8s_yaml]# cat deploy-demon.yaml
apiVersion: v1
kind: Service
metadata:
name: mynginx
namespace: default
spec:
selector:
app: mynginx
release: canary
ports:
- name: http
port: 80
targetPort: 80
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: myapp-deploy
spec:
replicas: 5
selector:
matchLabels:
app: mynginx
release: canary
template:
metadata:
labels:
app: mynginx
release: canary
spec:
containers:
- name: mynginx
image: ikubernetes/myapp:v2
ports:
- name: httpd
containerPort: 80
3.2.1.2 创建相关服务及检查状态是否就绪
[root@k8s-master k8s_yaml]# kubectl apply -f deploy-demon.yaml
service "myapp" created
deployment.apps "myapp-deploy" created
[root@k8s_master k8s_yaml]# kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx-6sbhn 1/1 Running 0 35m
nginx-797n7 1/1 Running 0 35m
nginx-q92h4 1/1 Running 0 35m
nginx-rk687 1/1 Running 0 35m
3.2.1.3 将mynginx添加至ingress-nginx中(基于域名)
[root@k8s-master ingress-nginx]# cat ingress-myapp.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress-myapp
namespace: default
annotations:
kubernets.io/ingress.class: "nginx"
spec:
rules:
- host: nginx.tiandi.com #生产中该域名应当是可以被公网解析
http:
paths:
- path:
backend:
serviceName: mynginx
servicePort: 80
[root@k8s-master ingress-nginx]# kubectl apply -f ingress-myapp.yaml
ingress.extensions "ingress-myapp" created
3.2.1.4 将mynginx添加至ingress-nginx中(基于ip或域名)
[root@k8s_master k8s_yaml]# cat ingress-nginx.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress-nginx
namespace: default
annotations:
kubernets.io/ingress.class: "nginx"
ingress.kubernets.io/ssl-redirect: "false"
nginx.ingress.kubernetes.io/ssl-redirect: "false"
spec:
rules:
- http:
paths:
- path: /test #配置访问路径
backend:
serviceName: nginx
servicePort: 80
[root@k8s-master ingress-nginx]# kubectl apply -f ingress-myapp.yaml
ingress.extensions "ingress-myapp" created
3.2.1.5 配置域名解析,当前测试环境我们使用hosts文件进行解析
10.0.0.11 nginx.tiandi.com
3.2.1.6 使用域名进行访问
3.2.1.7 再创建一个Service及后端Deployment(以tomcat为例)
[root@k8s_master k8s_yaml]# cat tomcat-deploy.yaml
apiVersion: v1
kind: Service
metadata:
name: tomcat
namespace: default
spec:
selector:
app: tomcat
release: canary
ports:
- name: http
port: 8080
targetPort: 8080
- name: ajp
port: 8009
targetPort: 8009
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: tomcat-deploy
spec:
replicas: 2
selector:
matchLabels:
app: tomcat
release: canary
template:
metadata:
labels:
app: tomcat
release: canary
spec:
containers:
- name: tomcat
image: tomcat:7-alpine
ports:
- name: httpd
containerPort: 8080
- name: ajp
containerPort: 8009
[root@k8s-master k8s_yaml]# kubectl apply -f tomcat-deploy.yaml
service "tomcat" created
deployment.apps "tomcat-deploy" created
[root@k8s-master k8s_yaml]# kubectl get pod #等待pod状态就绪
3.2.1.8 将tomcat添加至ingress-nginx中
[root@k8s_master k8s_yaml]# cat ingress-tomcat.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress-tomcat
namespace: default
annotations:
kubernets.io/ingress.class: "tomcat"
spec:
rules:
- host: tomcat.tiandi.com
http:
paths:
- path:
backend:
serviceName: tomcat
servicePort: 8080
3.2.1.9 添加域名解析及访问服务
3.3 下面我们对tomcat服务添加httpds服务
3.3.1 创建私有证书及secret
[root@k8s_master k8s_yaml]# openssl genrsa -out tls.key 2048
Generating RSA private key, 2048 bit long modulus
...........................................................................................+++
.................+++
e is 65537 (0x10001)
[root@k8s_master k8s_yaml]# openssl req -new -x509 -key tls.key -out tls.crt -subj /C=CN/ST=Beijing/L=Beijing/O=DevOps/CN=tomcat.magedu.com
[root@k8s_master k8s_yaml]# ls
ingress-nginx.yaml ingress-tomcat.yaml mandatory.yaml nginx_rc.yaml nginx_svc.yaml service-nodeport.yaml tls.crt tls.key tomcat-deploy.yaml
[root@k8s_master k8s_yaml]# kubectl create secret tls tomcat-ingress-secret --cert=tls.crt --key=tls.key
secret "tomcat-ingress-secret" created
[root@k8s_master k8s_yaml]# kubectl get secret
NAME TYPE DATA AGE
default-token-4pxkw kubernetes.io/service-account-token 3 15d
tomcat-ingress-secret kubernetes.io/tls 2 9s
[root@k8s_master k8s_yaml]# kubectl describe secret tomcat-ingress-secret
Name: tomcat-ingress-secret
Namespace: default
Labels: <none>
Annotations: <none>
Type: kubernetes.io/tls
Data
====
tls.crt: 1294 bytes
tls.key: 1675 bytes
3.3.2 将证书应用至tomcat服务中
[root@k8s_master k8s_yaml]# cat ingress-tomcat-tls.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: ingress-tomcat-tls
namespace: default
annotations:
kubernets.io/ingress.class: "nginx"
spec:
tls:
- hosts:
- tomcat.magedu.com #与secret证书的域名需要保持一致
secretName: tomcat-ingress-secret #secret证书的名称
rules:
- host: tomcat.tiandi.com
http:
paths:
- path:
backend:
serviceName: tomcat
servicePort: 8080
3.3.2.1 访问服务
说明:从上图可以看出已经使用了443安全端口访问