hi，everybody，我回來了，之前安裝到flannel之後，文章一直沒有更新，甚至不少小夥伴都來加qq詢問是否繼續更新了，

這裏說明下原因，我在部署1.91node的時候的確出現了各種各樣的問題，導致節點啟動後哦，master總是看不到，遇到的問題大概有

1、虛擬機時間同步不一致問題，導致etcd創建資源不成功

2、node節點無法自動創建kubelet.kubeconfig問題，這個是最嚴重的問題，原因是config文件沒有拷貝到node的/etc/kubernetes文件夾內，因為kubelet啟動調用

kubelet配置文件的時候也會同時調用這個文件，具體見kubelt的servier文件配置方法，這個文件是自動生成的。如果沒有自動生產，檢查所有配置參數和報錯，特別是config和kublet文件。

3、有關config文件並不是你從客戶端拷貝過來的時候就直接可以用了，需要裏面修改master地址，因為apiserver的配置啟動參數綁定的地址中安全的訪問地址是10.10.90.105:6443,不安全是127.0.0.1:8080，這裏可以簡單理解為6443是安全端口，不過只監聽在master的10.10.90.105的ip上，所以要修改node中config配置文件的master地址為 10.10.90.90.105:6443，而如果你master節點同時也是node節點的話，我測試了這個形式，那麽你的config文件只能用127.0.0.1:8080訪問，使用6443也是不行的，也就是說本地和其他機器訪問apiserver的方式不同時的，否則log中會狂報錯無法連接api，這裏註意一下，如果node復用了master節點同事需要重啟scheduler和control服務。

4、Failed at step CHDIR spawning /usr/local/bin/kubelet: No such file or directory 是沒有創建 /var/lib/kubelt文件夾

5、配置過程中一定要關閉防火墻，selinux，防止虛擬機重啟了這些服務業自動重啟。

6、1.8後面的kubelet配置文件不需要--api-servers參數，請註釋掉！！

7、swap 分區請在/etc/fstab註釋掉，並重啟虛擬機和所有服務。

8、node節點涉及的docker服務文件的修改，這裏容易出現問題，文章中我會介紹。

master文章說明：

　　前面的master節點因為以前配置有問題，采用了其他apiversion，發現後面問題很多，並且缺少了node認證方式，我已經在更新了這一篇文正，請小夥伴們去查看相關文正

並重啟apiserver服務，另外1.9的kubelet啟動參數和1.8也少許變化，如果你發現你/var/log/message文章用友unknown flag的報錯，就是你的參數不識別了，可以參考我的文章看哪個參數有出入。

好，上面只是一些我還有印象的註意事項，其他的請多多查看log文件排錯。

廢話不多說，直接開始配置node節點了，再次感慨大家的支持和等待！。

1、檢查2個node節點配置文件和ssl證書是否齊全,這一步很重要。

註意ssl裏面有幾個kubelet開頭的文件 ，是通過過自動生成的文件。

2、配置docker的服務文件

因為需要docker聯合flannel使用，所以需要修改docker的服務service文件

我們前面是flannel插件是通過yum方式安裝的，修改方式如下：

修改docker的配置文件/usr/lib/systemd/system/docker.service，增加一條環境變量配置：

EnvironmentFile=-/run/flannel/docker

同時為start添加一個參數 --exec-opt native.cgroupdriver=systemd，這裏的systemd和kubelet配置文件裏面的--cgroup-drive相同即可，否則kubelet啟動報錯

如圖：

修改配置參數後，重啟docker服務

systemctl restart docekr

3、安裝kubelet工具及配置

kubelet是node節點安裝的工具，我們依然從我們前面下載的server包的bin裏面可以找到，同時還需要kube-proxy問，可以同時上傳的文件夾的/usr/local/bin文件

並且賦予可執行權限。

註意事項：swap分區務必註釋掉並重啟服務器。

配置前我們需要現在master節點上執行如下操作，創建認證角色：

cd /etc/kubernetes
kubectl create clusterrolebinding kubelet-bootstrap   --clusterrole=system:node-bootstrapper   --user=kubelet-bootstrap

created成功後，我們回到node節點操作：

我們已經獲得了bin文件，開始配置相應的服務器文件

添加配置文件kubelt:

cd /etc/kubernetes
cat > kubelet << EOF
###
## kubernetes kubelet (minion) config
#
## The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)
KUBELET_ADDRESS="--address=10.10.90.106"
#
## The port for the info server to serve on
#KUBELET_PORT="--port=10250"
#
## You may leave this blank to use the actual hostname
KUBELET_HOSTNAME="--hostname-override=10.10.90.106"
#
## location of the api-server
## COMMENT THIS ON KUBERNETES 1.8+
#KUBELET_API_SERVER="--api-servers=http://172.20.0.113:8080"
#
## pod infrastructure container
KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=pause-amd64:3.0"
#
## Add your own!
KUBELET_ARGS="--cgroup-driver=systemd --cluster-dns=10.254.0.2 --experimental-bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig --kubeconfig=/etc/kubernetes/kubelet.kubeconfig  --cert-dir=/etc/kubernetes/ssl --cluster-domain=cluster.local --hairpin-mode promiscuous-bridge --serialize-image-pulls=false"
EOF

說明：裏面的ip地址都為node節點的ip地址，其他節點相應就好就好，註意KUBELET_API_SERVER已經在1.8的時候不用了。註釋掉。

KUBELET_POD_INFRA_CONTAINER是指定pod運行的基礎鏡像，必須存在，我這裏直接指定的是一個本地的鏡像，鏡像的或許地址為：

docker pull registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0 

下載到本地後tag一下，方便使用，當然你也可以添加其他的公共pod基礎鏡像，在線地址也行，註意不要被墻就好。
docker tag registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0 pause-amd64:3.0

添加kubelt的服務文件/usr/lib/systemd/system/kubelet.service
內容如下：

[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/var/lib/kubelet
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/kubelet
ExecStart=/usr/local/bin/kubelet             $KUBE_LOGTOSTDERR             $KUBE_LOG_LEVEL             $KUBELET_API_SERVER             $KUBELET_ADDRESS             $KUBELET_PORT             $KUBELET_HOSTNAME             $KUBE_ALLOW_PRIV             $KUBELET_POD_INFRA_CONTAINER             $KUBELET_ARGS
Restart=on-failure

[Install]
WantedBy=multi-user.target

添加工作目錄：不添加啟動報錯

mkdir /var/lib/kubelet

啟動kubelt：

systemctl daemon-reload
systemctl enable kubelet
systemctl start kubelet
systemctl status kubelet

4、接受node請求

啟動後，如果政策會自動向master節點發送驗證加入請求，我們在master節點操作：

kubectl get csr 

#此命令可以看到所有請求，所有為pending狀態，則是需要批準的

kubectl certificate approve 節點name

#此命令可以通過請求

我這是是已經approve過了，顯示為approved和issued狀態。就正常了

命令擴展：

kubectl delete csr 節點名稱 #刪除單個節點的請求

kubectl delete csr --all #刪除所有節點請求

kubectl delete nodes node名稱 #刪除加入的節點

kubectl delete nodes --all #刪除所有節點

5、配置kube-proxy服務

現安裝個工具conntrack，具體是幹什麽的還不是很清楚：

yum install -y conntrack-tools

創建 kube-proxy 的service配置文件，路徑/usr/lib/systemd/system/kube-proxy.service，內容：

[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target

[Service]
EnvironmentFile=-/etc/kubernetes/config
EnvironmentFile=-/etc/kubernetes/proxy
ExecStart=/usr/local/bin/kube-proxy         $KUBE_LOGTOSTDERR         $KUBE_LOG_LEVEL         $KUBE_MASTER         $KUBE_PROXY_ARGS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

添加配置文件/etc/kubernetes/proxy:內容為：

 proxy config

# default config should be adequate

# Add your own!
KUBE_PROXY_ARGS="--bind-address=10.10.90.106 --hostname-override=10.10.90.106 --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig --cluster-cidr=10.254.0.0/16"

ip修改為本機ip即可。

註意事項：

--hostname-override 參數值必須與 kubelet 的值一致，否則 kube-proxy 啟動後會找不到該 Node，從而不會創建任何 iptables 規則；
kube-proxy 根據 --cluster-cidr 判斷集群內部和外部流量，指定 --cluster-cidr 或 --masquerade-all 選項後 kube-proxy 才會對訪問 Service IP 的請求做 SNAT；
--kubeconfig 指定的配置文件嵌入了 kube-apiserver 的地址、用戶名、證書、秘鑰等請求和認證信息；
預定義的 RoleBinding cluster-admin 將User system:kube-proxy 與 Role system:node-proxier 綁定，該 Role 授予了調用 kube-apiserver Proxy 相關 API 的權限；

啟動proxy服務：

systemctl daemon-reload
systemctl enable kube-proxy
systemctl start kube-proxy
systemctl status kube-proxy

6、驗證測試

我們可以創建一個nginx部署驗證集群是否正常：

#delete是清理不用的所有pods，service和deployment，非必須執行
kubectl delete pods --all
kubectl delete service --all
kubectl delete deployment --all

這裏以下是測試一個nginx集群部署的
1、定義集群並啟動
kubectl run nginx --replicas=3 --labels="run=load-balancer-example" --image=nginx  --port=80
2、定義集群服務
kubectl expose deployment nginx --type=NodePort --name=example-service
3、查看服務信息
kubectl describe svc example-service
4、查看pod狀態,全為running既正常，否則使用kubectl describe pods {有問題的pod名稱}       查看具體的報錯。
kubectl get pods

其他電腦訪問node節點+ip是可以訪問的，創建service的有其他類型可以選擇。

Kubernetes（K8s）安裝部署過程（六）--node節點部署