本文主要目的在於記錄個人在配置K8S叢集的步驟，以及遇到的問題和相應的解決方案，內容從叢集搭建到Kubernetes-Dashboard安裝，角色許可權配置為止。先簡單介紹下環境，4個節點的情況如下：

節點名	IP	OS	安裝軟體
Master	10.211.55.6	Centos7	kubeadm，kubelet，kubectl，docker
Node1	10.211.55.7	Centos7	kubeadm，kubelet，kubectl，docker
Node2	10.211.55.8	Centos7	kubeadm，kubelet，kubectl，docker
Node3	10.211.55.9	Centos7	kubeadm，kubelet，kubectl，docker

其中kubeadm,kubectl,kubelet的版本為v1.10.0，docker的版本為1.13.1。一.各節點前期的準備工作：1.關閉並停用防火牆    systemctl stop firewalld.service    systemctl disable firewalld.service2.永久關閉SELinux    vim /etc/selinux/config    SELINUX=disabled3.同步集群系統時間    yum -y install ntp4.重啟機器    reboot二.軟體安裝與配置：注意⚠️：軟體源按需配置，下面給出3個源，其中kubernetes yum源必須配置，docker源如果需要安裝docker-ce版本則需要安裝，否則最高支援1.13.1版本。

#阿里雲yum源：    yum clean all    yum makecache

#docker yum源    cat >> /etc/yum.repos.d/docker.repo <<EOF    [docker-repo]    name=Docker Repository    enabled=1    gpgcheck=0    EOF

#kubernetes yum源    cat >> /etc/yum.repos.d/kubernetes.repo <<EOF    [kubernetes]    name=Kubernetes    enabled=1    gpgcheck=0    EOF

配置完源，安裝軟體：    yum -y install docker kubeadm kubelet kubectl關閉SWAP    swapoff -a啟動docker並設為開機啟動：    systemctl start docker    systemctl enable docker引數配置：kubelet的cgroup驅動引數需要和docker使用的一致，先查詢下docker的cgroup驅動引數：    docker info |grep cgroup在docker v1.13.1下，該引數預設為systemd，所以更改kubelet的配置引數：    sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf載入配置，啟動kubelet：    systemctl daemon-reload    systemctl start kubelet注意⚠️：在啟動kubeadm之前，一定要先啟動kubelet，否則會顯示連線不上。下面開始，分別操作Master節點和Node節點：啟動Master節點：    kubeadm init --kubernetes-version=1.10.0 --token-ttl 0 --pod-network-cidr=10.244.0.0/16該命令表示kubenetes叢集版本號為v1.10.0，token的有效時間為0表示永久有效，容器的網路段為10.244.0.0/16，由於kubeadm安裝方式只能用於建立最小可用叢集，所以很多addon是沒有整合的，包括網路外掛，需要之後安裝，但網段引數需要先行配置。注意⚠️：kubenetes目前的版本較之老版本，最大區別在於核心元件都已經容器化，所以安裝的過程是會自動pull映象的，但是由於映象基本都存放於谷歌的伺服器，牆內使用者是無法下載，導致安裝程序卡在[init] This often takes around a minute; or longer if the control plane images have to be pulled ，這裡我提供兩個思路：1.有個牆外的代理伺服器，對docker配置代理，需修改/etc/sysconfig/docker檔案，新增：HTTP_PROXY=http://proxy_ip:porthttp_proxy=$HTTP_PROXY   重啟docker：systemctl restart docker2.事先下載好所有映象，下面我給出v1.10.0版本基本安裝下所需要的所有映象（其他版本所需的映象版本可能不同，以官方文件為準）：

Master節點所需映象：

k8s.gcr.io/kube-apiserver-amd64:v1.10.0k8s.gcr.io/kube-scheduler-amd64:v1.10.0k8s.gcr.io/kube-controller-manager-amd64:v1.10.0k8s.gcr.io/kube-proxy-amd64:v1.10.0k8s.gcr.io/etcd-amd64:3.1.12k8s.gcr.io/k8s-dns-dnsmasq-nanny-amd64:1.14.8k8s.gcr.io/k8s-dns-sidecar-amd64:1.14.8k8s.gcr.io/k8s-dns-kube-dns-amd64:1.14.8k8s.gcr.io/pause-amd64:3.1quay.io/coreos/flannel:v0.9.1-amd64 （為網路外掛的映象，這裡選擇flannel為網路外掛）

Node節點所需映象：

k8s.gcr.io/kube-proxy-amd64:v1.10.0k8s.gcr.io/pause-amd64:3.1quay.io/coreos/flannel:v0.9.1-amd64（為網路外掛的映象，這裡選擇flannel為網路外掛）

Master節點安裝成功會輸出如下內容：[init] Using Kubernetes version: v1.10.0...[init] This often takes around a minute; or longer if the control plane images have to be pulled.[apiclient] All control plane components are healthy after 39.511972 seconds[uploadconfig] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace[markmaster] Will mark node master as master by adding a label and a taint[markmaster] Master master tainted and labelled with key/value:node-role.kubernetes.io/master=""[bootstraptoken] Using token: <token>[bootstraptoken] Configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials[bootstraptoken] Configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token[bootstraptoken] Creating the "cluster-info" ConfigMap in the "kube-public" namespace[addons] Applied essential addon: kube-dns[addons] Applied essential addon: kube-proxyYour Kubernetes master has initialized successfully!To start using your cluster, you need to run (as a regular user):  mkdir -p $HOME/.kube  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config  sudo chown $(id -u):$(id -g) $HOME/.kube/configYou should now deploy a pod network to the cluster.Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:You can now join any number of machines by running the following on each nodeas root:  kubeadm join 10.211.55.6:6443 --token 63nuhu.quu72c0hl95hc82m --discovery-token-ca-cert-hash sha256:3971ae49e7e5884bf191851096e39d8e28c0b77718bb2a413638057da66ed30a其中    kubeadm join 10.211.55.6:6443 --token 63nuhu.quu72c0hl95hc82m --discovery-token-ca-cert-hash sha256:3971ae49e7e5884bf191851096e39d8e28c0b77718bb2a413638057da66ed30a是後續節點加入叢集的啟動命令，由於設定了--token-ttl 0，所以該命令永久有效，需儲存好，kubeadm token list命令可以輸出token，但不能輸出完整命令，需要做hash轉換。注意⚠️：叢集啟動後要獲取叢集的使用許可權，否則在master節點執行kubectl get nodes命令，會反饋localhost:8080 connection refused,獲取許可權方法如下：

Root使用者：	export KUBECONFIG=/etc/kubernetes/admin.conf
非Root使用者：	mkdir -p $HOME/.kubesudocp-i/etc/kubernetes/admin.conf$HOME/.kube/configsudochown$(id-u):$(id-g)$HOME/.kube/config

三.安裝網路外掛Pod:在成功啟動Master節點後，在新增node節點之前，需要先安裝網路管理外掛，kubernetes可供選擇的網路外掛有很多，如Calico，Canal，flannel，Kube-router,Romana,Weave Net 各種安裝教程可以參考官方文件，點選這裡本文選擇flannel作為網路外掛：    vim /etc/sysctl.conf，新增以下內容    net.ipv4.ip_forward=1    net.bridge.bridge-nf-call-iptables=1    net.bridge.bridge-nf-call-ip6tables=1    修改後，及時生效    sysctl -p執行安裝：  kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml安裝完成後，執行：kubectl get pods --all-namespaces檢視Pod的啟動狀態，一旦kube-dns Pod的啟動狀態為UP或者Running，叢集就可以開始新增節點了。四.新增Node節點：啟動Node節點加入叢集只需啟動kubelet，然後執行之前儲存的命令：    systemctl start kubeletkubeadm join 10.211.55.6:6443 --token 63nuhu.quu72c0hl95hc82m --discovery-token-ca-cert-hash sha256:3971ae49e7e5884bf191851096e39d8e28c0b77718bb2a413638057da66ed30a節點成功加入叢集。在主節點執行kubectl get nodes，驗證叢集狀態，顯示如下：[[email protected] ~]# kubectl get nodesNAME      STATUS    ROLES     AGE       VERSIONmaster    Ready     master    7h        v1.10.0node1     Ready     <none>    6h        v1.10.0node2     Ready     <none>    2h        v1.10.0node3     Ready     <none>    4h        v1.10.0Kubenetes v1.10.0 叢集構建完成！五.Kubernetes-Dashboard（WebUI）的安裝：和網路外掛的用法一樣，dashboard也是一個容器應用，同樣執行安裝yaml：kubectl create -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml可以參考官方文件，點選這裡。安裝完成後，執行：kubectl get pods --all-namespaces檢視Pod的啟動狀態，kubernetes-dashboard啟動完成後，執行：kubectl proxy --address=10.211.55.6 --accept-hosts='^*$'基本引數是address為master節點的IP，access-host如果不填，開啟web頁面會返回：    <h3>unauthorized<h3>啟動後控制檯輸出：    Starting to serve on 10.211.55.6:8001開啟WebUI：    http://10.211.55.6:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/#!/overview?namespace=default見如下頁面：
這是需要用一個可用的ClusterRole進行登入，該賬戶需要有相關的叢集操作許可權，如果跳過，則是用預設的系統角色kubernetes-dashboard（該角色在建立該容器時生成），初始狀態下該角色沒有任何許可權，需要在系統中進行配置，角色繫結：在主節點上任意位置建立一個檔案xxx.yaml，名字隨意：    vim ClusterRoleBinding.yaml    編輯檔案：    kind: ClusterRoleBinding    apiVersion: rbac.authorization.k8s.io/v1beta1    metadata:      name: kubernetes-dashboard    subjects:      - kind: ServiceAccount        name: kubernetes-dashboard        namespace: kube-system    roleRef:      kind: ClusterRole      name: cluster-admin      apiGroup: rbac.authorization.k8s.io儲存，退出，執行該檔案：    kubectl create -f ClusterRoleBinding.yaml再次開啟WebUI，成功顯示叢集資訊：
注意⚠️：給kubernetes-dashboard角色賦予cluster-admin許可權僅供測試使用，本身這種方式並不安全，建議新建一個系統角色，分配有限的叢集操作許可權，方法如下：新建一個yaml檔案，寫入：kind: ClusterRole #建立叢集角色apiVersion: rbac.authorization.k8s.io/v1beta1metadata:  name: dashboard  #角色名稱rules:- apiGroups: ["*"]  resources: ["*”] #所有資源  verbs: ["get", "watch", "list", "create","proxy","update”] #賦予獲取，監聽，列表，建立，代理，更新的許可權- apiGroups: ["*"]  resources: ["pods”] #容器資源單獨配置（在所有資源配置的基礎上）  verbs: ["delete”] #提供刪除許可權---apiVersion: v1kind: ServiceAccount  #建立ServiceAccountmetadata:  name: dashboardnamespace: kube-system---kind: ClusterRoleBindingapiVersion: rbac.authorization.k8s.io/v1beta1metadata:  name: dashboard-extendedsubjects:-kind: ServiceAccount    name: dashboardnamespace: kube-systemroleRef:  kind: ClusterRole  name:dashboard  #填寫cluster-admin代表開放全部許可權  apiGroup: rbac.authorization.k8s.io執行該檔案，檢視角色是否生成：    kubectl get serviceaccount --all-namespaces查詢該賬戶的金鑰名：        kubectl get secret  -n kube-system根據金鑰名找到token：        kubectl discribe secret dashboard-token-wd9rz -n kube-system
輸出一段資訊：將此token用於登陸WebUI即可。
以上便是Kubeadm安裝K8S v1.10.0版本的全記錄，本文用於總結與梳理，參考於官方文件，如有錯漏，望予指正。附錄：