1. Kubernetes概述

1.1 Kubernetes是什麼

• Kubernetes是Google在2014年開源的一個容器叢集管理系統，Kubernetes簡稱K8S。
• K8S用於容器化應用程式的部署，擴充套件和管理。
• K8S提供了容器編排，資源排程，彈性伸縮，部署管理，服務發現等一系列功能。
• Kubernetes目標是讓部署容器化應用簡單高效。

1.2 Kubernetes的特性

1）自我修復

• 在節點故障時重新啟動失敗的容器，替換和重新部署，保證預期的副本數量；
• 殺死健康檢查失敗的容器，並且在未準備好之前不會處理客戶端請求，確保線上服務不中斷；

2）彈性伸縮

• 使用命令、UI或者基於CPU使用情況自動快速擴容和縮容應用程式例項，保證應用業務高峰併發時的高可用性；
• 業務低峰時回收資源，以最小成本執行服務

3）自動部署和回滾

• Kubernetes採用滾動跟新策略更新應用，一次更新一個Pod，而不是同時刪除所有的Pod，如果更新過程中出現問題，將回滾更改，確保升級不影響業務。

4）服務發現和負載均衡

• K8S為多個容器提供一個統一訪問入口（內部IP地址和一個DNS名稱），並且負載均衡關聯的所有容器，使得使用者無需考慮容器IP問題。

5）機密和配置管理

• 管理機密資料和應用程式配置，而不需要把敏感資料暴露在映象裡，提高敏感資料安全性。並可以將一些常用的配置儲存在K8S中，方便應用程式使用。

6）儲存編排

• 掛載外部儲存系統，無論是來自本地儲存，公有云（AWS），還是網路儲存（NFS、GlusterFS、Ceph）都作為叢集資源的一部分使用，極大提高儲存使用靈活性

7）批處理

• 提供一次性服務，定時任務；滿足批量資料處理和分析的場景

1.3 Kubernetes叢集架構元件

1）Master元件

• kube-apiserver
  • （Kubernetes API）叢集的統一入口，各元件協調者，以RESTful API提供介面服務，所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。
• kube-controller-manager
  • 處理叢集中常規後臺任務，一個資源對應一個控制器，而ControllerManager就是負責管理這些控制器的
• kube-schedule
  • 根據排程演算法為新建立的Pod選擇一個Node節點，可以任意部署，可以部署在同一個節點上,也可以部署在不同的節點上
• etcd
  • 分散式鍵值儲存系統。用於儲存叢集狀態資料，比如Pod、Service等物件資訊。

2）Node元件 

• kubelet
  • kubelet是Master在Node節點上的Agent，管理本機執行容器的生命週期，比如建立容器、Pod掛載資料卷、下載secret、獲取容器和節點狀態等工作。kubelet將每個Pod轉換成一組容器
• kube-proxy
  • 在Node節點上實現Pod網路代理，維護網路規則和四層負載均衡工作。
• docker 或 rocket
  • 容器引擎，執行容器

1.4 Kubernetes核心概念

1）Pod

• 最小部署單元
• 一組容器的集合
• 一個Pod中的容器共享網路名稱空間
• Pod是短暫的

2）Controller

• ReplicaSet：確保預期的Pod副本數量
• Deployment：無狀態應用部署
• StatefulSet：有狀態應用部署
• DaemonSet：確保所有Node運行同一個Pod
• Job：一次性任務
• Cronjob：定時任務

3）更高階層次物件，部署和管理Pod

• Service：
  • 防止Pod失聯；定義一次Pod的訪問策略
  • Service抽象層不過是iptables或者ipvs中的規則而已
• Label：標籤，附加到某個資源上，用於關聯物件、查詢和篩選
• Namespaces：名稱空間，將物件邏輯上隔離
• Annotations：註釋

4）網路解決方案

• K8S通過CNI外掛體系來接入外部網路服務解決方案
• 常見的有：
  • flannel：網路配置相關
  • calico：網路配置、網路策略
  • canel：flannel的網路配置 + calico的網路策略

5）三種網路

• Pod網路：Pod的地址是配置在Pod內部的網路名稱空間上的，是能ping通的，就像正常主機上的地址一樣
• Service網路（叢集網路）：Service的地址是虛擬的，它只存在於iptables或者ipvs的規則之中
• 節點網路：各個節點也應該有一個網路

各個Pod執行在同一個網路中，而service是另外一個網路；Pod和service的地址是不同網段的。

接入外部訪問時，先接入節點網路，然後由節點網路代理至叢集網路，再由叢集網路代理至Pod網路。

同一Pod內的多個容器之間通過 lo 介面進行通訊。

兩個Pod之間可以直接進行通訊：通過隧道的方式（Overlay疊加網路）來轉發二層報文，使得它們雖然擴主機但是好像工作在同一個二層網路中。訪問對方Pod所在節點的位置，然後再代理到Pod內部的容器上。

2. 使用kubeadm部署K8S叢集

2.1 Kubernetes的三種部署方式

1）minikube

• Minikube是一個工具，可以在本地快速執行一個單點的Kubernetes，僅用於嘗試Kubernetes或日常開發的使用者使用。
• 部署地址：https://kubernetes.io/docs/setup/minikube/

2）kubeadm

• Kubeadm是一個工具，提供kubeadm init 和 kubeadm join，用於快速部署Kubernetes叢集。
• 部署地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

3）二進位制包

• 從官方下載發行版的二進位制包，手動部署每個元件，組成Kubernetes叢集。
• 下載地址：https://github.com/kubernetes/kubernetes/releases

2.2 K8S叢集的部署規劃

1）環境需求

• 系統：CentOS7.4
• 記憶體 > 1.7G
• CPU > 2核

2）角色規劃

3）網路模型

• 節點網路：172.18.0.0/16
• Pod網路：10.244.0.0/16
• Service網路：10.96.0.0/12

2.3 環境初始化

• 在所有節點上都執行

1）關閉防火牆、SELinux

# 關閉防火牆並設定開機禁止啟動
systemctl stop firewalld && systemctl disable firewalld

# 關閉SELinux
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config  && setenforce 0

2）關閉swap分割槽

# 臨時關閉所有swap
swapoff -a 

# 在/etc/fstab中機制掛載swap
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

3）設定主機名並配置hosts

# 為各個主機配置主機名
hostnamectl set-hostname k8s-master01
hostnamectl set-hostname k8s-node01
hostnamectl set-hostname k8s-node02

# 配置好主機名後將以下內容寫入到所有節點的 /etc/hosts 檔案中
172.18.0.67 k8s-master01
172.18.0.68 k8s-node01
172.18.0.69 k8s-node02

4）核心調整

• 將橋接的 IPv4 的流量傳遞到 iptables的鏈

# 設定 net.bridge.bridge-nf-call-ip6tables = 1
# 設定 net.bridge.bridge-nf-call-iptables = 1
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system  # Load  settings  from all system configuration files

5）為各個主機做時間同步

• 啟動chrony服務同步時間即可

2.4 開始安裝

• 在所有節點上執行

1）配置安裝源

• 配置docker-ce的源

cd /etc/yum.repos.d/ && wget -c https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo
# 注意要修改下載下來的這個repo檔案中的地址，將其指向為清華的源的地址

• 配置Kubernetes的源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2）安裝docker-ce

yum install -y docker-ce
systemctl start docker && systemctl enable docker
docker info
# 安裝完成之後注意要為docker配置好映象加速

3）安裝kubeadm、kubelet 和 kubectl

yum install kubelet kubeadm kubectl -y
# 注意，要讓kubelet開機自啟，現在還不能去手動啟動它
systemctl enable kubelet  

4）為kubelet配置額外引數

# 可以在 /etc/sysconfig/kubelet 這個檔案中新增額外的引數
# 如關閉swap功能
KUBELET_EXTRA_ARGS="--fail-swap-on=false"

2.5 部署 K8S Master

• 只需要在 k8s-master節點上執行

1）初始化master

kubeadm init \
--kubernetes-version v1.20.2 \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12 \
--apiserver-advertise-address=172.18.0.67 \
--ignore-preflight-errors=Swap \
--image-repository registry.aliyuncs.com/google_containers 

# apiserver要修改成自己的master節點的地址，預設apiserver監聽在所有地址的6443埠上
# 如果swap報錯，可以加上選項--ignore-preflight-errors=Swap，但是注意那個Swap的S要大寫
# 由於預設拉取映象地址k8s.gcr.io國內無法訪問，這裡指定阿里雲映象倉庫地址
# 注意kubernetes的版本要和之前安裝的kubelet的版本一致

2）根據回顯提示操作

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

3）測試

# 獲取元件狀態資訊
kubectl  get  cs   # cs是kubectl get componentstatus的簡寫，獲取元件狀態資訊

# 檢視k8s叢集的節點資訊
kubectl get nodes  

4）token失效解決

因為預設 token 的有效期為24小時，過期之後該token就不可用了，所以如果後續有node節點加入，可以重新生成新的token

• 重新生成新的token

[root@master01 ~]# kubeadm token create
salxe7.gnlwtozqxxsf4uu7
[root@master01 ~]# kubeadm token list
TOKEN                     TTL         EXPIRES                     USAGES                   DESCRIPTION                                                EXTRA GROUPS
he4ugm.z537h1g7taugguco   23h         2021-01-19T15:53:34+08:00   authentication,signing   <none>                                                     system:bootstrappers:kubeadm:default-node-token
salxe7.gnlwtozqxxsf4uu7   23h         2021-01-19T15:53:48+08:00   authentication,signing   <none>                                                     system:bootstrappers:kubeadm:default-node-token
t4xdcj.5vgr19ymj4g6y7hm   6h          2021-01-18T22:31:08+08:00   authentication,signing   <none>                                                     system:bootstrappers:kubeadm:default-node-token
[root@master01 ~]#

• 獲取ca證書sha256編碼hash值

[root@master01 ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
19060b637433363db284e831fce4bd567f82d8070b2744741dbe2f1cfa804d53

• 節點加入叢集

kubeadm join 172.18.0.67:6443 --token t4xdcj.5vgr19ymj4g6y7hm --discovery-token-ca-cert-hash sha256:19060b637433363db284e831fce4bd567f82d8070b2744741dbe2f1cfa804d53 --ignore-preflight-errors=Swap

2.6 加入K8S Node

• 在兩個Node節點執行

註冊Node節點到Master

# kubeadm join 的內容，在上面kubeadm init 已經生成好了
kubeadm join 172.18.0.67:6443 --token t4xdcj.5vgr19ymj4g6y7hm --discovery-token-ca-cert-hash sha256:19060b637433363db284e831fce4bd567f82d8070b2744741dbe2f1cfa804d53 --ignore-preflight-errors=Swap

2.7 安裝網路外掛flannel

• 在master節點上安裝即可，其他節點加入k8s集群后會自動安裝

1）安裝flannel

# 這個地址可能訪問不到，可以開小飛機手動把這個檔案下載下來，然後再apply
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 執行的成功與否要看docker image ls中是否有flannel的映象，慢慢等待它下載即可
# 要確保能夠訪問到 quay.io 這個registery
# 如果無法訪問，可以將此檔案中image項後面的地址修改成可以訪問到的地址

2）檢視是否安裝成功

# 注意，要確保狀態為全1/1時，才可進行後續操作
[root@k8s-master01 ~]# kubectl get pods -n kube-system
NAME                                   READY   STATUS    RESTARTS   AGE
coredns-7f89b7bc75-9zxjz               1/1     Running   0          12m
coredns-7f89b7bc75-n8p4s               1/1     Running   0          12m
etcd-k8s-master01                      1/1     Running   0          12m
kube-apiserver-k8s-master01            1/1     Running   0          12m
kube-controller-manager-k8s-master01   1/1     Running   0          12m
kube-flannel-ds-b5ljk                  1/1     Running   0          7m58s
kube-proxy-cwzkw                       1/1     Running   0          12m
kube-scheduler-k8s-master01            1/1     Running   0          12m

# 確保所有節點為Ready狀態
[root@k8s-master01 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master01 Ready control-plane,master 93m v1.20.2
k8s-node01 Ready <none> 49m v1.20.2

3）flannel安裝失敗後重裝

• 如果flannel因為網路問題安裝失敗，需要進行重新安裝

kubectl delete -f kube-flannel.yml

# 然後重新安裝
kebectl apply -f kube-flannel.yml

3. Kubernetes叢集資訊檢視及管理

3.1 Pod的建立與檢視

1）資訊檢視

# 檢視k8s叢集的整體資訊
kubectl  cluster-info

# 檢視當前系統上已經被建立的控制器
kubectl get deployment

# 檢視pod的相關資訊
kubectl get pods
kubectl get pods -o wide  # 檢視更詳細的資訊

# 檢視services的相關資訊
kubectl get services
kubectl get svc

# 檢視kube-system名稱空間中service的相關資訊
kubectl get svc -n kube-system

2）建立一個pod

# 建立並執行一個特定的映象，暴露80埠，並且只建立1個副本，幹跑模式需要再加上--dry-run=true
kubectl run nginx-deploy --image=nginx:1.14 --port=80 --replicas=1

# 如果要映象中執行其他程式，可以寫成這樣（注意前面要加 -- ）
kubectl run nginx-deploy --image=nginx:1.14 --port=80 --replicas=1 -- /bin/sh

 3）對剛剛建立的pod進行檢視並訪問

[root@k8s-master01 ~]# kubectl get pods -o wide
NAME           READY   STATUS    RESTARTS   AGE    IP           NODE         NOMINATED NODE   READINESS GATES
nginx-deploy   1/1     Running   0          3m6s   10.244.1.2   k8s-node01   <none>           <none>
[root@k8s-master01 ~]# curl 10.244.1.2

3.2 建立pod並暴露埠

• 在Kubernetes叢集中建立一個pod，然後暴露埠，驗證其是否可以正常訪問

1）建立deployment

# 建立一個deployment控制器，這個控制器的名字就叫nginx-deploy
kubectl create deployment nginx-deploy --image=nginx

2）建立service並暴露埠

kubectl expose deployment nginx-deploy --name=nginx --port=80 --target-port=80 --protocol=TCP # 將nginx-deploy這個控制器（deployment  ）相關的pod資源都建立為一個服務，服務名叫nginx
# --name   是service的名稱
# --port   是service暴露到外部的埠
# --target-port  是pod暴露的埠
# --protocol     使用的協議，預設就是TCP
# --type         是service的型別，service有多種型別，可kubectl expose --help來檢視--type選項，Defaultis 'ClusterIP'

3）檢視相關資訊並訪問

# 檢視pod和service的相關資訊
[root@k8s-master01 ~]# kubectl get pods,svc
NAME                               READY   STATUS    RESTARTS   AGE
pod/nginx-deploy-8588f9dfb-t8wzr   1/1     Running   0          11m

NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
service/kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP   78m
service/nginx        ClusterIP   10.99.193.184   <none>        80/TCP    34s

# 檢視kube-system名稱空間中service的相關資訊
kubectl get svc -n kube-system

# 訪問：http://NodeIP:PORT，只有在叢集內部的節點上才能被訪問到
curl http://10.99.193.184

 參考：

• https://www.cnblogs.com/jiangwenhui/p/11792519.html
• https://www.cnblogs.com/double-dong/p/11483670.html