使用kubeadm部署k8s叢集v1.21【其他版本通用】
1.伺服器要求:
建議最小硬體配置:2核/2G/20G
網路需求:最好能訪問外網,需要拉取一些必要的映象;若沒有網路條件,需要提前匯入必要的映象
2.kubeadm常用工具功能:
•kubeadm init:初始化一個Master節點 •kubeadm join:將工作節點加入叢集 •kubeadm upgrade:升級K8s版本 •kubeadm token:管理 kubeadm join 使用的令牌 •kubeadm reset:清空 kubeadm init 或者 kubeadm join 對主機所做的任何更改 •kubeadm version:列印 kubeadm 版本 •kubeadm alpha:預覽可用的新功能
3.k8s架構圖:
4.作業系統初始化配置:
# 關閉防火牆 systemctl stop firewalld systemctl status firewalld systemctl disable firewalld # 關閉selinux sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久 setenforce 0 # 臨時 # 關閉swap swapoff -a # 臨時 sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久 # 根據規劃設定主機名【主機名不能用下劃線】 hostnamectl set-hostname <hostname> #View Code在master新增hosts cat >> /etc/hosts << EOF 10.200.202.156 k8s-master1 10.200.202.106 k8s-node1 10.200.202.87 k8s-node2 EOF # 將橋接的IPv4流量傳遞到iptables的鏈 cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system # 生效 # 時間同步 yum install ntpdate -y ntpdate time.windows.com
5.安裝docker及配置,參考:https://www.cnblogs.com/chenjw-note/p/15091668.html
6.配置阿里雲YUM軟體源:
cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
7.安裝kubeadm,kubelet,kubectl【在所有節點安裝】
yum install -y kubelet-1.21.0 kubeadm-1.21.0 kubectl-1.21.0
設定開機啟動kubelet:systemctl enable kubelet
8.部署Kubernetes Master,執行 kubeadm init【在master上執行】
kubeadm init \ --apiserver-advertise-address=10.200.202.156 \ --image-repository registry.aliyuncs.com/google_containers \ --kubernetes-version v1.21.0 \ --service-cidr=10.96.0.0/12 \ --pod-network-cidr=10.244.0.0/16 \ --ignore-preflight-errors=all
引數解析: •--apiserver-advertise-address 叢集通告地址【master地址】 •--image-repository 由於預設拉取映象地址k8s.gcr.io國內無法訪問,這裡指定阿里雲映象倉庫地址 •--kubernetes-version K8s版本,與上面安裝的一致 •--service-cidr 叢集內部虛擬網路,Pod統一訪問入口 •--pod-network-cidr Pod網路,,與下面部署的CNI網路元件yaml中保持一致
或者使用配置檔案引導:vi kubeadm.conf
apiVersion: kubeadm.k8s.io/v1beta2 kind: ClusterConfiguration kubernetesVersion: v1.21.0 imageRepository: registry.aliyuncs.com/google_containers networking: podSubnet: 10.244.0.0/16 serviceSubnet: 10.96.0.0/12 kubeadm init --config kubeadm.conf --ignore-preflight-errors=all
初始化完成後,最後會輸出一個join命令,先記住,下面用。
拷貝kubectl使用的連線k8s認證檔案到預設路徑:
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
檢視工作節點:
kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master1 NotReady control-plane,master 25s v1.21.2
注:由於網路外掛還沒有部署,還沒有準備就緒 NotReady,參考資料:
https://kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm-init/#config-file
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#initializing-your-control-plane-node
9.加入Kubernetes node節點到叢集【在node節點上執行】
向叢集新增新節點,執行在kubeadm init輸出的kubeadm join命令:
kubeadm join 10.200.202.156:6443 --token 2d02wf.num2k8xwfrc43sww --discovery-token-ca-cert-hash sha256:e948502f872d289a29215235fd50a7555e2fdcc30741d9137ede9ce954c2ae03
預設token有效期為24小時,當過期之後,該token就不可用了。這時就需要重新建立token,可以直接使用命令快捷生成:
kubeadm token create --print-join-command
參考資料:https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-join/
10.部署容器網路(CNI)
Calico是一個純三層的資料中心網路方案,是目前Kubernetes主流的網路方案。
下載YAML:wget https://docs.projectcalico.org/manifests/calico.yaml
calico用到的映象如下:
下載完後還需要修改裡面定義Pod網路(CALICO_IPV4POOL_CIDR),與前面kubeadm init的 --pod-network-cidr指定的一樣。修改完後文件後,部署:
kubectl apply -f calico.yaml
kubectl get pods -n kube-system
等Calico Pod都Running,節點也會準備就緒:
參考資料:https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#pod-network
11.kubeadmv1.21會有CoreDNS問題,應該是映象名寫錯,這樣處理:
錯誤:kubectl get pods -n kube-system NAME READY STATUS RESTARTS AGE calico-kube-controllers-8db96c76-z7h5p 1/1 Running 0 16m calico-node-pshdd 1/1 Running 0 16m calico-node-vjwlg 1/1 Running 0 16m coredns-545d6fc579-5hd9x 0/1 ImagePullBackOff 0 16m coredns-545d6fc579-wdbsz 0/1 ImagePullBackOff 0 16m
解決: 在所有節點執行: docker pull registry.aliyuncs.com/google_containers/coredns:1.8.0 docker tag registry.aliyuncs.com/google_containers/coredns:1.8.0 registry.aliyuncs.com/google_containers/coredns/coredns:v1.8.0 過一會兒,CoreDNS Pod會自動恢復正常。
12.驗證Kubernetes叢集,在Kubernetes叢集中建立一個pod,驗證是否正常執行:
kubectl create deployment nginx --image=nginx kubectl expose deployment nginx --port=80 --type=NodePort kubectl get pod,svc -o wide
訪問測試:http://k8s-node1:30936 http://10.200.202.40:30936/
13.部署 Dashboard:
Dashboard是官方提供的一個UI,可用於基本管理K8s資源。 wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml mv recommended.yaml kubernetes-dashboard.yaml
預設Dashboard只能叢集內部訪問,修改Service為NodePort型別,暴露到外部:
... kind: Service apiVersion: v1 metadata: labels: k8s-app: kubernetes-dashboard name: kubernetes-dashboard namespace: kubernetes-dashboard spec: ports: - port: 443 targetPort: 8443 nodePort: 30001 selector: k8s-app: kubernetes-dashboard type: NodePort ...
kubectl apply -f recommended.yaml
kubectl get pods -n kubernetes-dashboard
訪問地址:https://NodeIP:30001
14.建立service account並繫結預設cluster-admin管理員叢集角色:
# 建立使用者 $ kubectl create serviceaccount dashboard-admin -n kube-system # 使用者授權 $ kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin # 獲取使用者Token $ kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
# 使用輸出的token登入Dashboard。