# 22、K8S调度下的ingress-controller集群的实现以及nginx配置
目标： 1. 实现ingress-controller的集群部署
实现方法： 1. 为ingress-controller 规划两个节点
2.将这两个节点 打上自定义的 label
3.修改yaml文件，并重新创建 ingress-control
1. 进入k8s主节点ingress yaml文件目录
Cd /data/developercenter_kubernetes/ingress
查看节点的label
kubectl get nodes --show-labels
2.为规划的ingress-controller节点打上标签
语法格式： kubectl label nodes <node-name> <label-key>=<label-value>
示例：
kubectl label nodes k8s-master beta.kubernetes.node=ingress.control
kubectl label nodes ip beta.kubernetes.node=ingress.control
3.删除ingress-controller
kubectl delete -f with-rbac.yaml
4.修改配置文件 编辑 /data/developercenter_kubernetes/ingress/with-rbac.yaml 文件（修改前先备份该文件）
本文件共修改两处：
第一处： 修改pod数量为2
将 replicas: 1 修改成 replicas: 2
第二处： 将ingress-controller 部署到规划中的节点（即刚才打标签的节点）
nodeSelector:
beta.kubernetes.node: ingress.control
4.创建 ingress-controller
kubectl create -f with-rbac.yaml
5.基础镜像拷贝的ingress-controller规划节点（k8s服务相关基础镜像均没有上传到docker仓库，因此需要手工拷贝并导入到ingress规划节点）
k8s 主节点执行：
docker save -o nginx-ingress-controller.tar cloud-kubernetes/nginx-ingress-controller:0.11.0
ingress 规划节点执行：
docker load -i nginx-ingress-controller.tar
6.验证
命令： kubectl get pod -n ingress-nginx
如图即为成功，可以看到ingress-controller分步在两个节点上：
kubectl get pod -n ingress-nginx
kubectl describe pod nginx-ingress-controller-6ffb549676-qtct2 -n ingress-nginx |grep IP
7.查看k8s中应用的域名
方法一：select app_id,app_name from yonyou_cloud.app_manage;（直接从数据库中查询部署的应用对应生成的ID）
方法二：
l 查看ingress-controller的pod名
kubectl get pod -n ingress-nginx
l 查看ingress-controller中的nginx配置，确认应用名格式（k8s为应用生成的域名固定格式为：应用ID + 固定后缀）
kubectl exec -it nginx-ingress-controller-6ffb549676-5pq4m -n ingress-nginx grep server_name /etc/nginx/nginx.conf
l 确认应用的真实域名
353版本
进入开发者中心（http://主节点ip:80），查看应用生成的真实域名,
如下图中可以看到，域名为 bxgd7iw7.c87e2267-1001-4c70-bb2a-ab41f3b81aa3.app.uap.com
对比上一条命令，可以知道 mmm 应用，对应在k8s中的域名为 bxgd7iw7.prod1.cloud-k8s.com
此域名也即为在nginx中使用的域名
8.nginx的配置
配置文件，请参考附件22、K8S调度下的ingress-controller集群的实现以及nginx配置
-------------------------------------------------------------
[root@dc-yunwei-ansible conf.d]# cat aa.conf
upstream aa.pool {
ip_hash;
server ip1; # 这里写两台ingress-controller节点的ip地址
server ip2;
}
server
{
listen 80;
server_name aa.k8.com; #这里下客户自定义的域名，
access_log /usr/local/nginx/logs/aa.com_access.log;
location / {
// root /;
proxy_redirect off ;
proxy_set_header X-Forwarded-Host $http_host;
proxy_set_header X-Forwarded-For $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 300;
// proxy_headers_hash_max_size 512;
proxy_send_timeout 300;
proxy_read_timeout 600;
// proxy_buffer_size 64k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;
proxy_max_temp_file_size 128m;
proxy_set_header Host "jquukbal.prod1.cloud-k8s.com"; #这里写k8s为应用生成的域名
set $proxy_upstream_name "jquukbal.prod1.cloud-k8s.com"; #这里写k8s为应用生成的域名
proxy_pass http://aa.pool/; #这里写上面配置的upstream
proxy_ignore_client_abort on;
proxy_headers_hash_max_size 51200;
proxy_headers_hash_bucket_size 6400;
}
}
----------------------------------------------------------------