hyper-v虛擬機器上的centos多節點k8s叢集實踐
之前體驗了minikube,掉深坑裡至今還沒有爬出來,玩單節點用minikube夠了,
但傻瓜試的安裝讓人對k8s理解不是很深刻(坑),而且多節點好像有什麼奇怪的問題
所以我這次要用兩個虛擬機器來模擬k8s叢集 一主節點一工作節點
hostname ipaddr cpu 硬碟 記憶體 OS docker k8s
m1 1921.168.1.200 2 20G 2G centos7 18 1.16.2
w1 1921.168.1.201 2 20G 2G centos7 18 1.16.2
由於我使用的虛擬機器驅動是hyper-v 所以要記得每個虛擬機器關閉動態記憶體 關於虛擬機器的安裝配置這裡就不再深入討論
虛擬機器交換機
動態記憶體關閉
我先建立一個虛擬機器,安裝完docker,k8s和一些其他配置後,再複製,這樣比較快一點
但是k8s叢集裡的節點 mac和uuid不能重複,這個到時再想辦法修改
安裝centos時選擇最小安裝,圖形介面不安裝,這樣比較省計算機資源
最小安裝完成重啟後, 需要做的事情 1.修改網絡卡為開機自動啟動,2.開啟ssh
先來開啟ssh吧, hyper-v裡面操作不方便 我要用powersheel連線上去
vi /etc/ssh/sshd_config
取消兩行注,由於我是用root登入,所以要將permitrootlogin設定成yes
重啟服務
service sshd restart
接下來把網絡卡設定成開機自啟,因為現在網絡卡是沒有啟動的
先ip addr 查一下網絡卡名稱 然後進入到 /etc/sysconfig/network-scripts/目錄 ls|grep 網絡卡名稱
原來的配置為 動態獲取ip,不開機自動啟動
修改成,開機自動啟動, 靜態ip
儲存後
reboot 指令重啟
管理員許可權開啟powershell 輸入ssh [email protected]連線
如果出現
到使用者目錄/.ssh/known_hosts 編輯刪除現有ip的那一行重連即可
連上來後,先更新yum
install -y yum-utils device-mapper-persistent-data lvm2
yum update
再設定docker倉儲
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
然後安裝18版本的docker,安裝太高k8s用不了
yum install docker-ce-18.09.6 docker-ce-cli-18.09.6 containerd.io
安裝完成後 設定啟動docker並設定開機啟動
systemctl start docker && systemctl enable docker
接下來設定docker 的映象源, 否則將被牆
[root@localhost ~]# mkdir -p /etc/docker
[root@localhost ~]# tee /etc/docker/daemon.json <<-'EOF'
> {
> "registry-mirrors": ["https://自己去註冊自己的不懂百度.mirror.aliyuncs.com"]
> }
> EOF
把daemon.json 改名為daemon.conf
mv /etc/docker/daemon.json /etc/docker/daemon.conf
設定好重啟一下docker
[root@localhost ~]# systemctl daemon-reload [root@localhost ~]# systemctl restart docker
最後設定k8s相關的配置 先設定hostname 為主節點 m1 (master node
[root@localhost ~]# hostnamectl set-hostname m1
重新登入一下驗證是否修改成功
[root@localhost ~]# exit logout Connection to 192.168.1.200 closed. PS C:\WINDOWS\system32> ssh [email protected] [email protected]'s password: Last login: Mon Nov 4 20:42:51 2019 from 192.168.1.104 [root@m1 ~]#
關防火牆
[root@m1 ~]# systemctl stop firewalld [root@m1 ~]# systemctl disable firewalld
禁用swap
[root@m1 ~]# swapoff -a [root@m1 ~]# sed -i.bak '/swap/s/^/#/' /etc/fstab
修改網橋模式
[root@m1 ~]# sysctl net.bridge.bridge-nf-call-iptables=1 [root@m1 ~]# sysctl net.bridge.bridge-nf-call-ip6tables=1
[root@m1 ~]# cat <<EOF > /etc/sysctl.d/k8s.conf > net.bridge.bridge-nf-call-ip6tables = 1 > net.bridge.bridge-nf-call-iptables = 1 > EOF
[root@m1 ~]# sysctl -p /etc/sysctl.d/k8s.conf
給yum 加kubernetes 阿里雲 映象源
[root@m1 ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo > [kubernetes] > name=Kubernetes > baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ > enabled=1 > gpgcheck=1 > repo_gpgcheck=1 > gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg > EOF
更新yum快取
yum clean all yum -y makecache
安裝 kubeadm kubelet kubectl
- kubelet 執行在叢集所有節點上，用於啟動Pod和容器等物件的工具
- kubeadm 用於初始化叢集，啟動叢集的命令工具
- kubectl 用於和叢集通訊的命令列，通過kubectl可以部署和管理應用，檢視各種資源，建立、刪除和更新各種元件
yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2
啟動kubelet 並設定開機自動啟動
[root@m1 ~]# systemctl enable kubelet && systemctl start kubelet
建立下載kubernetes映象快取指令碼 ,並啟動它下載
vi image.sh
#!/bin/bash
url=registry.cn-hangzhou.aliyuncs.com/google_containers
version=v1.16.2
images=(`kubeadm config images list --kubernetes-version=$version|awk -F '/' '{print $2}'`)
for imagename in ${images[@]} ; do
docker pull $url/$imagename
docker tag $url/$imagename k8s.gcr.io/$imagename
docker rmi -f $url/$imagename
done
發現沒有許可權
[root@m1 ~]# ./image.sh -bash: ./image.sh: Permission denied
給許可權後重新執行指令碼
chmod 777 image.sh
./image.sh
結束後檢視一下docker 的映象
[root@m1 ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE k8s.gcr.io/kube-proxy v1.16.2 8454cbe08dc9 2 weeks ago 86.1MB k8s.gcr.io/kube-apiserver v1.16.2 c2c9a0406787 2 weeks ago 217MB k8s.gcr.io/kube-controller-manager v1.16.2 6e4bffa46d70 2 weeks ago 163MB k8s.gcr.io/kube-scheduler v1.16.2 ebac1ae204a2 2 weeks ago 87.3MB k8s.gcr.io/coredns 1.3.1 eb516548c180 9 months ago 40.3MB k8s.gcr.io/etcd 3.3.10 2c4adeb21b4f 11 months ago 258MB k8s.gcr.io/pause 3.1 da86e6ba6ca1 22 months ago 742kB
說明下載正常
,接下來我要將這個虛擬機器備份一下, 將來之前做的那些工作都可以用還原的方式略過了
然後我刪除了虛擬機器k8s-m1,因為我要重新規劃儲存的位置
把剛才匯出的虛擬機器匯入
再匯入一次,為工作節點
接下來把剛才匯入的兩個虛擬機器再次刪除,我們要的只是他硬盤裡的資料, 否則 product_uuid會重複,所以我們要多做幾步操作
新增 新的虛擬機器,選擇硬碟為剛才匯入時選擇的硬碟, 前面記憶體那裡記得不要選動態記憶體,如法炮製 k8s-w1
這時兩個虛擬機器的靜態ip是衝突的,我們啟動第二臺修改ip地址為192.168.1.201
vi /etc/sysconfig/network-scripts/ifcfg-eth0
hostname也修改成w1
hostnamectl set-hostname w1
修改好後reboot重啟 順便把k8s-m1也啟動
刪除C:\Users\hbb\.sshknown_hosts 後開兩個管理員許可權的ps 連線上m1 和w1
接下來我們兩邊都修改hosts檔案,加入 我們規劃好的ip 的別名
vi /etc/hosts
檢視mac 和uuid是否衝突
cat /sys/class/net/eth0/address cat /sys/class/dmi/id/product_uuid
都沒有衝突了
接下來做主節點m2的配置,下面的操作只需要在m1上執行
kubeadm init --apiserver-advertise-address 192.168.1.200 --pod-network-cidr=10.244.0.0/16
匯入環境變數
[root@m1 ~]# echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile [root@m1 ~]# source .bash_profile
安裝網路策略,
kubectl create -f https://docs.projectcalico.org/v3.9/manifests/calico.yaml
預設情況下 master上不能安裝pod,因為主節點上打上了汙點
如果要在master上安裝pod,則要把汙點去掉
檢視汙點
[root@m1 ~]# kubectl describe node m1|grep -i taints
Taints: node-role.kubernetes.io/master:NoSchedule
刪除預設的汙點
[root@m1 ~]# kubectl taint nodes m1 node-role.kubernetes.io/master- node/m1 untainted
打汙點的語法有興趣可以自己去研究,這裡不再介紹太多
接下來就是工作節點 w1了
在我剛把m1 kubeinit時產生了一個 命令,可以複製去子節點上執行以加入 主節點
也可以手動建立
kubeadm token create --print-join-command
複製去工作節點上執行就可以直接加入主節點
工作節點執行效果如下
主節點檢視node service pod compoent
[root@m1 ~]# kubectl get node NAME STATUS ROLES AGE VERSION m1 Ready master 18m v1.16.2 w1 Ready <none> 11m v1.16.2 [root@m1 ~]# kubectl get svc --all-namespaces NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE default kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 18m kube-system kube-dns ClusterIP 10.96.0.10 <none> 53/UDP,53/TCP,9153/TCP 18m [root@m1 ~]# kubectl get pods --all-namespaces NAMESPACE NAME READY STATUS RESTARTS AGE kube-system calico-kube-controllers-dc6cb64cb-856pv 1/1 Running 0 15m kube-system calico-node-k259l 1/1 Running 0 12m kube-system calico-node-z5wbs 1/1 Running 0 15m kube-system coredns-5644d7b6d9-v8wjh 1/1 Running 0 19m kube-system coredns-5644d7b6d9-z2zsw 1/1 Running 0 19m kube-system etcd-m1 1/1 Running 0 18m kube-system kube-apiserver-m1 1/1 Running 0 18m kube-system kube-controller-manager-m1 1/1 Running 0 18m kube-system kube-proxy-b882q 1/1 Running 0 12m kube-system kube-proxy-vxfxj 1/1 Running 0 19m kube-system kube-scheduler-m1 1/1 Running 0 17m
[root@m1 ~]# kubectl get cs --all-namespaces
NAME AGE
scheduler <unknown>
controller-manager <unknown>
etcd-0 <unknown>
接下來可以加入一些pod 測試 ,加入pod的方式有兩種
使用yaml檔案安裝/解除安裝 -f後面接一個yaml檔案,可以是網路路徑
kubectl create -f kubernetes-dashboard.yaml kubectl remove -f kubernetes-dashboard.yaml
一種是直接使用映象,直接使用映象比較少見
本人也還沒有研究,可以參考這個地方
http://docs.kubernetes.org.cn/618.