版本說明

1. kubernetes1.6
2. docker1.12.6

環境準備

192.168.0.51 master 192.168.0.52 minion1 192.168.0.53 minion2

安裝docker

# 安裝yum-utils 管理yum repository及擴充套件包的工具
yum install -y yum-utils   
# 增加docker repository
yum-config-manager \
    --add-repo \
    https://docs.docker.com/v1.13/engine/installation/linux/repo_files/centos/docker.repo
# 下載包資訊到本地
 

yum makecache fast
# 安裝docker-1.12.6
yum install -y docker-engine-1.12.6
# 啟動docker服務
systemctl start docker
# 開機啟動docker
systemctl enable docker

系統配置

建立/etc/sysctl.d/k8s.conf檔案，內容為:

net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

執行

sysctl -p /etc/sysctl.d/k8s.conf

在/etc/hostname中修改各節點的hostname

192.168.0.51 master
192.168.0.52 minion1
192.168.0.53 minion2

安裝kubeadm和kubelet

安裝kubeadm和kubelet需要技術梯子，或者通過以下兩種方法 1、通過修改/etc/hosts檔案新增IP *.google.com，比如

216.58.200.33  gcr.io
216.58.200.33  www.gcr.io
216.58.200.33  cloud.google.com
216.58.200.33  packages.cloud.google.com
216.58
 
.200.33  console.cloud.google.com
216.58.200.33  status.cloud.google.com
216.58.200.33  ssh.cloud.google.com

2、或者使用此方法:

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

輸入如下內容：

[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF

安裝kubelet，kubeadm，kubectl

yum -y install socat kubelet-1.6.1 kubeadm-1.6.1 kubectl-1.6.1
systemctl enable kubelet.service

初始化叢集

上面的步驟每個node都需要執行，此步驟只在Master Node 執行。選擇192.168.0.51這臺作為Master Node，在此機器上

kubeadm init --kubernetes-version=v1.6.1 --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.0.51

選擇flannel作為網路外掛，所以上面的命令指定--pod-network-cidr=10.244.0.0/16。初始化遇到問題時，使用下面的命令清理然後再初始化：

kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

不出意外Master Node 已初始化成功。此時檢視節點狀態 kubectl get nodes 會報 The connection to the server localhost:8080 was refused - did you specify the right host or port? 我們檢視kube-apiserver的監聽埠

[root@kube-master ~]# netstat -nltp | grep apiserver
tcp6       0      0 :::6443                 :::*                    LISTEN      5430/kube-apiserver

我們發現apiserver只監聽了6443埠，但是我們需要使用kubectl訪問apiserver，so 在~/.bash_profile追加下面的環境變數

export KUBECONFIG=/etc/kubernetes/admin.conf
# 使環境變數生效
source ~/.bash_profile

現在再試試kubectl get nodes 吧！

安裝Pod Network

安裝flannel network add-on 分兩種情況

1、只有一張網絡卡 直接執行

kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.yml
kubectl apply -f  https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

2、有多張網絡卡 執行

kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.yml

......
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
......
containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.7.0-amd64
        command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=eth1" ]
......

eth1這裡換成自己的網絡卡名即可。建立flanneld

kubectl create -f {修改後的kube-flannel.yml路徑}
# 確保所有的Pod都處於Running狀態
kubectl get pod --all-namespaces -o wide

使Master Node 參與工作負載

一般不建議將Master Node參與負載，此時只為測試環境方便。

# 使Master Node參與工作負載
kubectl taint nodes --all  node-role.kubernetes.io/master-

測試

kubectl run curl --image=radial/busyboxplus:curl -i --tty
If you don't see a command prompt, try pressing enter.
[ root@curl-57077659-xgckw:/ ]$

進入後執行nslookup kubernetes.default確認DNS解析正常。

[ root@curl-57077659-xgckw:/ ]$ nslookup kubernetes.default
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      kubernetes.default
Address 1: 10.96.0.1 kubernetes.default.svc.cluster.local

如果正常解析，就大功告成啦！

# 刪除curl這個Pod
kubectl delete deploy cutl

向叢集中新增節點

根據上面的步驟安裝docker，kubelet套件。 在Master Node節點上執行

# 獲取token
kubeadm token list

在minion1上執行

# 關閉防火牆
systemctl stop firewalld
# 禁止防火牆開機啟動
systemctl disable firewalld
# 新增節點
kubeadm join --token ${token} ${master-ip}:6443

看到如下內容就說明我們已經成功向叢集中新增節點了！nice

kubeadm join --token a432c6.078b144b659c82b4 192.168.0.51:6443
-----  略略略  ----
Node join complete:
* Certificate signing request sent to master and response
  received.
* Kubelet informed of new secure connection details.

Run 'kubectl get nodes' on the master to see this machine join.

在Master Node上執行kubectl get nodes 確保所有的node是Ready的狀態。

問題總結

Q：Minion Node一直處於notReady狀態？ A：主要有兩個原因：

1、啟動kubelet的時候，會pull兩個映象(gcr.io/**)，因為GFW的存在，不能成功pull，所以要自己找到這兩個docker映象

gcr.io/google_containers/pause-amd64:3.0
gcr.io/google_containers/kube-proxy-amd64:v1.6.1

2、 使用Kubeadm工具搭建的Kubernetes叢集，已經預設集成了安全策略，所以要將Master Node節點/etc/kubernetes/pki下的所有檔案複製到Minion Node相同目錄下一份。所以在Master Node上執行

scp /etc/kubernetes/pki/* [email protected]{minion-ip}:/etc/kubernetes/pki