使用kubeadm安裝kubernetes1.19版本（一）基礎環境配置和叢集初始化
1、初始化實驗環境
1.1 配置靜態ip
1.2 修改yum源
1.2.1 備份原來的 yum 源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
1.2.2 下載阿里的 yum 源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
1.2.3 配置安裝 k8s 需要的 yum 源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 EOF
1.2.4 清理 yum 快取
yum clean all
1.2.5 生成新的 yum 快取
yum makecache fast
1.2.6 更新 yum 源
yum -y update
1.2.7 安裝軟體包
yum -y install wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate yum-utils device-mapper-persistent-data lvm2
1.2.8 新增新的軟體源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
1.2.9 清理 yum 快取
yum clean all
1.2.10 生成新的 yum 快取
yum makecache fast
1.3 配置防火牆
關閉 firewalld 防火牆，在 k8s 各個節點都要關閉，centos7 系統預設使用的是 firewalld 防火牆，停止
firewalld 防火牆，並禁用這個服務。
在 k8s 的各個節點操作如下命令。
systemctl stop firewalld && systemctl disable firewalld
1.4 時間同步chrony
- 在 k8s 的各個節點使用yum安裝chrony時間服務
yum install -y chrony - 編輯/etc/chrony.conf檔案修改啊時間同步地址，可以百度搜索一個，也可以直接設定成ntp1.aliyum.com同步阿里的時間伺服器地址
- 把chrony服務設定為開機自啟動並啟動服務
systemctl enable chronyd && systemctl start chronyd
1.5 關閉 selinux
k8s 的各個節點都要關閉 selinux。
關閉 selinux，設定永久關閉，這樣重啟機器 selinux 也處於關閉狀態可用下面方式修改：
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
上面檔案修改之後，需要重啟虛擬機器，如果測試環境可以用如下命令強制重啟：
reboot -f
注：生產環境不要 reboot -f，要正常關機重啟
檢視 selinux 是否修改成功
重啟之後登入到機器上用如下命令：
getenforce
顯示 Disabled 說明 selinux 已經處於關閉狀態
1.6 關閉交換分割槽
在 k8s 的各個節點操作如下命令。
swapoff -a
臨時禁用
sed -i 's/.*swap.*/#&/' /etc/fstab
#永久禁用，開啟/etc/fstab 註釋掉 swap 那一行。
1.7 修改核心引數
在 k8s 的各個節點操作如步驟。
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
注：sysctl --system 這個會載入所有的 sysctl 配置
此功能如果不開啟，後面在kubeadm初始化k8s時就會報錯：
就表示沒有開啟ip_forward，需要開啟。
為什麼要開啟net.ipv4.ip_forward = 1引數？
net.ipv4.ip_forward是資料包轉發：
出於安全考慮，Linux系統預設是禁止資料包轉發的。所謂轉發即當主機擁有多於一塊的網絡卡時，其中一塊收到資料包，根據資料包的目的ip地址將資料包發往本機另一塊網絡卡，該網絡卡根據路由表繼續傳送資料包。這通常是路由器所要實現的功能。
要讓Linux系統具有路由轉發功能，需要配置一個Linux的核心引數net.ipv4.ip_forward。這個引數指定了Linux系統當前對路由轉發功能的支援情況；其值為0時表示禁止進行IP轉發；如果是1,則說明IP轉發功能已經開啟。
1.8 修改主機名
在 192.168.1.56 上：
hostnamectl set-hostname master1
在 192.168.1.79 上：
hostnamectl set-hostname node1
1.9 配置 hosts 檔案
K8s 各個節點 hosts 檔案保持一致即可，可按如下方法修改：
在/etc/hosts 檔案增加如下幾行：
[root@k8s-master1 ~]# cat /etc/hosts
192.168.1.56 master1 k8s-master1
192.168.1.79 node1 k8s-node1
1.10 配置各個主機之間無密碼登陸
配置 master1 到 node1 無密碼登陸
在 master1 上操作
[root@k8s-master1 ~]# ssh-keygen #一直回車就可以
[root@k8s-master1 ~]# ssh-copy-id node1
#上面需要輸入 yes 之後，輸入密碼，輸入 node1 物理機密碼即可
8 安裝 docker
在 k8s 的各個節點都需要安裝docker，安裝方法按如下操作即可：
1.1 檢視 docker 版本
yum list docker-ce --showduplicates |sort -r
1.2 安裝 docker
yum install -y docker-ce-19.03.7-3.el7
systemctl enable docker && systemctl start docker
#檢視 docker 狀態，如果狀態是 active（running），說明 docker 是正常執行狀態
systemctl status docker
1.3 修改 docker 配置檔案
cat > /etc/docker/daemon.json <<EOF
{
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com"],
"exec-opts":["native.cgroupdriver=systemd"], "log-driver":"json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver":"overlay2",
"storage-opts": [ "overlay2.override_kernel_check=true"
]
}
EOF
注：
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker.cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com"]
上面配置的是映象加速器
如果有harbor映象倉庫可以按如下方法加一個欄位，指定映象倉庫地址
cat > /etc/docker/daemon.json <<EOF
{
"insecure-registries":["192.168.0.56"],
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker- cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub- mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com"],
"exec-opts":["native.cgroupdriver=systemd"], "log-driver":"json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver":"overlay2", "storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF
"insecure-registries":["192.168.0.56"] #配置的是 harbor 私有映象倉庫地址
1.4 重啟 docker 使配置生效
systemctl daemon-reload && systemctl restart docker && systemctl status docker
1.5 開啟機器的 bridge 模式
以下步驟在 k8s 各個節點都需要操作
#臨時生效
echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables echo 1 >/proc/sys/net/bridge/bridge-nf-call-ip6tables
#永久生效
echo """
vm.swappiness = 0
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
""" > /etc/sysctl.conf
sysctl -p
1.6 開啟 ipvs
不開啟 ipvs 將會使用 iptables，但是效率低，所以官網推薦需要開通 ipvs 核心，
在 k8s 的各個節點都需要開啟
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in \${ipvs_modules};
do
/sbin/modinfo -F filename \${kernel_module} > /dev/null 2>&1
if [ $? -eq 0 ]; then
/sbin/modprobe \${kernel_module}
fi
done
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && \
bash /etc/sysconfig/modules/ipvs.modules && \
lsmod | grep ip_vs
顯示如下，說明 ipvs 開啟成功了：
安裝 kubernetes 高可用叢集
1.1 在 master1 和 node1 上安裝 kubeadm 和 kubelet
yum install kubeadm-1.19.6 kubelet-1.19.6 kubectl-1.19.6 -y
systemctl enable kubelet
初始化 k8s 叢集
在 k8s 的 master1 節點操作
kubeadm init --kubernetes-version=v1.19.6 \
--pod-network-cidr=10.244.0.0/16 \
--apiserver-advertise-address=192.168.1.56 \
--image-repository registry.aliyuncs.com/google_containers
注：
1）
--image-repository registry.aliyuncs.com/google_containers 是指定阿里雲的映象源，國內的映象源訪問速度會比較快，
--kubernetes-version=v1.19.6 是指定 k8s 版本，基於這個我們可以安裝任何版本的 k8s。
2）
如果大家機器訪問網路比較慢，可以在執行 kubeadm init --kubernetes-version=v1.19.6 --pod- network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.40.130 --image-repository registry.aliyuncs.com/google_containers
這串命令之前把 aliyun-kubernetes-master-1-19-6.tar.gz 上傳到 k8s 的 master1 節點，
通過 docker load -i aliyun-kubernetes-master-1-19-6.tar.gz手動解壓，把 aliyun-kubernetes-slave-1-19-6.tar.gz 上傳到 k8s 的 node1 節點，
通過 docker load -i aliyun-kubernetes-slave-1-19-6.tar.gz 手動解壓。
初始化命令執行成功之後顯示如下內容，說明初始化成功了
[root@k8s-master1 ~]# kubeadm init --kubernetes-version=v1.19.6 \
--pod-network-cidr=10.244.0.0/16 \
--apiserver-advertise-address=192.168.1.56 \
--image-repository registry.aliyuncs.com/google_containers # 命令輸出
W0829 15:12:17.476712 19429 configset.go:348] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
[init] Using Kubernetes version: v1.19.6
[preflight] Running pre-flight checks
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [k8s-master1 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.1.56]
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [k8s-master1 localhost] and IPs [192.168.1.56 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [k8s-master1 localhost] and IPs [192.168.1.56 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Starting the kubelet
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 15.002119 seconds
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.19" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --upload-certs
[mark-control-plane] Marking the node k8s-master1 as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node k8s-master1 as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: njtz23.0rq9a629zab3rsf9
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to get nodes
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[kubelet-finalize] Updating "/etc/kubernetes/kubelet.conf" to point to a rotatable kubelet client certificate and key
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.1.56:6443 --token njtz23.0rq9a629zab3rsf9 \
--discovery-token-ca-cert-hash sha256:f59119cf40b5470120d98a69506164328b5cfbc9bc973d71e9b187b58210a830
注：kubeadm join ... 這條命令需要記住，我們把 k8s 的 node1 節點加入到叢集需要在這些節點節點輸入這條命令，每次執行這個結果都是不一樣的，大家記住自己執行的結果，在下面會用到
1.3 在 master1 節點授權，這樣才能有許可權操作 k8s 資源
mkdir -p $HOME/.kube
sudo cp -ifr /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
注： 我們下面執行 kubectl 的命令都是在 k8s 的 master1 節點操作
在 master1 節點執行
kubectl get nodes
顯示如下，master1 節點是 NotReady
NAME STATUS ROLES AGE VERSION
master1 NotReady master 103s v1.19.6
kubectl get pods -n kube-system
顯示如下，可看到 cordns 是處於 pending 狀態
NAME READY STATUS RESTARTS AGE
coredns-6d56c8448f-ccb8n 0/1 Pending 0 100s coredns-6d56c8448f-dpklb 0/1 Pending 0 100s
注意：上面可以看到 STATUS 狀態是 NotReady，cordns 是 pending，是因為沒有安裝網路外掛，需要安裝 calico 或者 flannel，接下來我們安裝 calico，在 master1 節點安裝calico 網路外掛：
安裝 calico 需要的映象是 quay.io/calico/cni:v3.5.3 和 quay.io/calico/node:v3.5.3手動上傳上面兩個映象的壓縮包到 master1 和 node1 節點，在master1 和 node1 上通過 docker load -i 解壓
docker load -i cni.tar.gz
docker load -i calico-node.tar.gz
1.4 在 master1 節點安裝 calico 網路外掛
注意：calico.yaml 裡需要修改如下內容：
找到 IP_AUTODETECTION_METHOD 對應的 value 值：
- name: IP_AUTODETECTION_METHOD
value: "can-reach=192.168.1.56"
#這個 ip 寫你自己環境的 node1 節點的 ip，假如 node 節點有多個，那麼只寫一個 node 節點 ip 即可，所以大家只需要寫 node1 的 ip 即可
更新yaml 檔案：
kubectl apply -f calico.yaml
1.5 檢視 node 節點和coredns的pod 狀態，在 master1 節點執行
kubectl get nodes
顯示如下，看到 STATUS 是 Ready
NAME STATUS ROLES AGE VERSION
master1 Ready master 8m19s v1.19.6
kubectl get pods -n kube-system
看到 cordns 也是 running 狀態，說明 master1 節點的calico 安裝完成
1.6 把 node1 節點加入到 k8s 叢集，在 node1 節點操作
注：下面的這個是把 node1 節點加入到 k8s 的一串命令，下面的這串命令就是初始化的時候生成的，每個人的都不一樣
kubeadm join 192.168.1.56:6443 --token njtz23.0rq9a629zab3rsf9 \
--discovery-token-ca-cert-hash sha256:f59119cf40b5470120d98a69506164328b5cfbc9bc973d71e9b187b58210a830
上面命令執行之後，出現如下圖所示，說明 node1 節點已經加入到 k8s 叢集：
1.7 在 master1 節點檢視叢集節點狀態
kubectl get nodes
顯示如下：
看到上面 STATUS 狀態是 Ready，說明 node1 節點也加入到 k8s 叢集了，通過以上就完成了 k8s 單master 節點高可用叢集的搭建
kubectl get cs
顯示如下:
看到 cotroller-manager 和 scheduler 是 Unhealthy，按如下方面解決：
vim /etc/kubernetes/manifests/kube-scheduler.yaml
修改如下內容：
把 --bind-address=127.0.0.1
變成 --bind-address=192.168.1.56
把 httpGet:欄位下的 host 25和39行
由 127.0.0.1
變成 192.168.1.56
把—-port=0 註釋
#注意：192.168.1.56 是 k8s 的 master1 節點 ip
vim /etc/kubernetes/manifests/kube-controller-manager.yaml
把 --bind-address=127.0.0.1
變成 --bind-address=192.168.1.56
把—-port=0 註釋
把 httpGet:欄位下的 hosts
由 127.0.0.1
變成 192.168.1.56
修改之後在 k8s 各個節點執行
systemctl restart kubelet
kubectl get cs
顯示如下:
```bash
[root@k8s-master1 kubenetes-han]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true"}
ss -antulp | grep :10251
ss -antulp | grep :10252
可以看到相應的埠已經被物理機監聽了