ElasticSearch叢集shard均衡策略

阿新 • • 發佈：2021-01-19

部署一套完整的Kubernetes高可用叢集（上）

原創阿良DevOps技術棧2020-06-01

目錄[-]

一、前置知識點

1.1 生產環境可部署Kubernetes叢集的兩種方式

目前生產部署Kubernetes叢集主要有兩種方式：

kubeadm

Kubeadm是一個K8s部署工具，提供kubeadm init和kubeadm join，用於快速部署Kubernetes叢集。

官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

二進位制包

從github下載發行版的二進位制包，手動部署每個元件，組成Kubernetes叢集。

Kubeadm降低部署門檻，但遮蔽了很多細節，遇到問題很難排查。如果想更容易可控，推薦使用二進位制包部署Kubernetes叢集，雖然手動部署麻煩點，期間可以學習很多工作原理，也利於後期維護。

1.2 安裝要求

在開始之前，部署Kubernetes叢集機器需要滿足以下幾個條件：

一臺或多臺機器，作業系統 CentOS7.x-86_x64
硬體配置：2GB或更多RAM，2個CPU或更多CPU，硬碟30GB或更多
叢集中所有機器之間網路互通
可以訪問外網，需要拉取映象，如果伺服器不能上網，需要提前下載映象並匯入節點
禁止swap分割槽

1.3 準備環境

軟體環境：

軟體	版本
作業系統	CentOS7.8_x64 （mini）
Docker	19-ce
Kubernetes	1.18

伺服器整體規劃：

角色	IP	元件
k8s-master1	192.168.31.71	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
k8s-master2	192.168.31.74	kube-apiserver，kube-controller-manager，kube-scheduler
k8s-node1	192.168.31.72	kubelet，kube-proxy，docker etcd
k8s-node2	192.168.31.73	kubelet，kube-proxy，docker，etcd
Load Balancer（Master）	192.168.31.81 ，192.168.31.88 (VIP)	Nginx L4
Load Balancer（Backup）	192.168.31. 82	Nginx L4

須知：考慮到有些朋友電腦配置較低，這麼多虛擬機器跑不動，所以這一套高可用叢集分兩部分實施，先部署一套單Master架構（192.168.31.71/72/73），再擴容為多Master架構（上述規劃），順便熟悉下Master擴容流程。

單Master架構圖：

單Master伺服器規劃：

角色	IP	元件
k8s-master	192.168.31.71	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
k8s-node1	192.168.31.72	kubelet，kube-proxy，docker etcd
k8s-node2	192.168.31.73	kubelet，kube-proxy，docker，etcd

1.4 作業系統初始化配置

# 關閉防火牆
systemctl stop firewalld
systemctl disable firewalld

# 關閉selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 臨時

# 關閉swap
swapoff -a  # 臨時
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 根據規劃設定主機名
hostnamectl set-hostname <hostname>

# 在master新增hosts
cat >> /etc/hosts << EOF
192.168.31.71 k8s-master
192.168.31.72 k8s-node1
192.168.31.73 k8s-node2
EOF

# 將橋接的IPv4流量傳遞到iptables的鏈
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效

# 時間同步
yum install ntpdate -y
ntpdate time.windows.com

二、部署Etcd叢集

Etcd 是一個分散式鍵值儲存系統，Kubernetes使用Etcd進行資料儲存，所以先準備一個Etcd資料庫，為解決Etcd單點故障，應採用叢集方式部署，這裡使用3臺組建叢集，可容忍1臺機器故障，當然，你也可以使用5臺組建叢集，可容忍2臺機器故障。

節點名稱	IP
etcd-1	192.168.31.71
etcd-2	192.168.31.72
etcd-3	192.168.31.73

注：為了節省機器，這裡與K8s節點機器複用。也可以獨立於k8s叢集之外部署，只要apiserver能連線到就行。

2.1 準備cfssl證書生成工具

cfssl是一個開源的證書管理工具，使用json檔案生成證書，相比openssl更方便使用。

找任意一臺伺服器操作，這裡用Master節點。

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo

2.2 生成Etcd證書

1. 自簽證書頒發機構（CA）

建立工作目錄：

mkdir -p ~/TLS/{etcd,k8s}

cd TLS/etcd

自籤CA：

cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

cat > ca-csr.json << EOF
{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

生成證書：

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

ls *pem
ca-key.pem  ca.pem

2. 使用自籤CA簽發Etcd HTTPS證書

建立證書申請檔案：

cat > server-csr.json << EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.31.71",
    "192.168.31.72",
    "192.168.31.73"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

注：上述檔案hosts欄位中IP為所有etcd節點的叢集內部通訊IP，一個都不能少！為了方便後期擴容可以多寫幾個預留的IP。

生成證書：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

ls server*pem
server-key.pem  server.pem

2.3 從Github下載二進位制檔案

下載地址：https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz

2.4 部署Etcd叢集

以下在節點1上操作，為簡化操作，待會將節點1生成的所有檔案拷貝到節點2和節點3.

1. 建立工作目錄並解壓二進位制包

mkdir /opt/etcd/{bin,cfg,ssl} -p
tar zxvf etcd-v3.4.9-linux-amd64.tar.gz
mv etcd-v3.4.9-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

2. 建立etcd配置檔案

cat > /opt/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.31.71:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.31.71:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.31.71:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.31.71:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.31.71:2380,etcd-2=https://192.168.31.72:2380,etcd-3=https://192.168.31.73:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

ETCD_NAME：節點名稱，叢集中唯一
ETCD_DATA_DIR：資料目錄
ETCD_LISTEN_PEER_URLS：叢集通訊監聽地址
ETCD_LISTEN_CLIENT_URLS：客戶端訪問監聽地址
ETCD_INITIAL_ADVERTISE_PEER_URLS：叢集通告地址
ETCD_ADVERTISE_CLIENT_URLS：客戶端通告地址
ETCD_INITIAL_CLUSTER：叢集節點地址
ETCD_INITIAL_CLUSTER_TOKEN：叢集Token
ETCD_INITIAL_CLUSTER_STATE：加入叢集的當前狀態，new是新叢集，existing表示加入已有叢集

3. systemd管理etcd

cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \
--cert-file=/opt/etcd/ssl/server.pem \
--key-file=/opt/etcd/ssl/server-key.pem \
--peer-cert-file=/opt/etcd/ssl/server.pem \
--peer-key-file=/opt/etcd/ssl/server-key.pem \
--trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--logger=zap
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

4. 拷貝剛才生成的證書

把剛才生成的證書拷貝到配置檔案中的路徑：

cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/

5. 啟動並設定開機啟動

systemctl daemon-reload
systemctl start etcd
systemctl enable etcd

6. 將上面節點1所有生成的檔案拷貝到節點2和節點3

scp -r /opt/etcd/ [email protected]:/opt/
scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/
scp -r /opt/etcd/ [email protected]:/opt/
scp /usr/lib/systemd/system/etcd.service [email protected]:/usr/lib/systemd/system/

然後在節點2和節點3分別修改etcd.conf配置檔案中的節點名稱和當前伺服器IP：

vi /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-1"   # 修改此處，節點2改為etcd-2，節點3改為etcd-3
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.31.71:2380"   # 修改此處為當前伺服器IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.31.71:2379" # 修改此處為當前伺服器IP

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.31.71:2380" # 修改此處為當前伺服器IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.31.71:2379" # 修改此處為當前伺服器IP
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.31.71:2380,etcd-2=https://192.168.31.72:2380,etcd-3=https://192.168.31.73:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

最後啟動etcd並設定開機啟動，同上。

7. 檢視叢集狀態

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.31.71:2379,https://192.168.31.72:2379,https://192.168.31.73:2379" endpoint health

https://192.168.31.71:2379 is healthy: successfully committed proposal: took = 8.154404ms
https://192.168.31.73:2379 is healthy: successfully committed proposal: took = 9.044117ms
https://192.168.31.72:2379 is healthy: successfully committed proposal: took = 10.000825ms

如果輸出上面資訊，就說明叢集部署成功。如果有問題第一步先看日誌：/var/log/message 或 journalctl -u etcd

三、安裝Docker

下載地址：https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz

以下在所有節點操作。這裡採用二進位制安裝，用yum安裝也一樣。

3.1 解壓二進位制包

tar zxvf docker-19.03.9.tgz
mv docker/* /usr/bin

3.2 systemd管理docker

cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
EOF

3.3 建立配置檔案

mkdir /etc/docker
cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

registry-mirrors 阿里雲映象加速器

3.4 啟動並設定開機啟動

systemctl daemon-reload
systemctl start docker
systemctl enable docker

四、部署Master Node

如果你在學習中遇到問題或者文件有誤可聯絡阿良~ 微信: init1024

4.1 生成kube-apiserver證書

1. 自簽證書頒發機構（CA）

cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF
cat > ca-csr.json << EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

生成證書：

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

ls *pem
ca-key.pem  ca.pem

2. 使用自籤CA簽發kube-apiserver HTTPS證書

建立證書申請檔案：

cd TLS/k8s
cat > server-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "127.0.0.1",
      "192.168.31.71",
      "192.168.31.72",
      "192.168.31.73",
      "192.168.31.74",
      "192.168.31.81",
      "192.168.31.82",
      "192.168.31.88",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

注：上述檔案hosts欄位中IP為所有Master/LB/VIP IP，一個都不能少！為了方便後期擴容可以多寫幾個預留的IP。

生成證書：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

ls server*pem
server-key.pem  server.pem

4.2 從Github下載二進位制檔案

下載地址：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.18.md#v1183

注：開啟連結你會發現裡面有很多包，下載一個server包就夠了，包含了Master和Worker Node二進位制檔案。

4.3 解壓二進位制包

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs} 
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd kubernetes/server/bin
cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
cp kubectl /usr/bin/

4.4 部署kube-apiserver

1. 建立配置檔案

cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF
KUBE_APISERVER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--etcd-servers=https://192.168.31.71:2379,https://192.168.31.72:2379,https://192.168.31.73:2379 \\
--bind-address=192.168.31.71 \\
--secure-port=6443 \\
--advertise-address=192.168.31.71 \\
--allow-privileged=true \\
--service-cluster-ip-range=10.0.0.0/24 \\
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \\
--authorization-mode=RBAC,Node \\
--enable-bootstrap-token-auth=true \\
--token-auth-file=/opt/kubernetes/cfg/token.csv \\
--service-node-port-range=30000-32767 \\
--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \\
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \\
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \\
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \\
--client-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--etcd-cafile=/opt/etcd/ssl/ca.pem \\
--etcd-certfile=/opt/etcd/ssl/server.pem \\
--etcd-keyfile=/opt/etcd/ssl/server-key.pem \\
--audit-log-maxage=30 \\
--audit-log-maxbackup=3 \\
--audit-log-maxsize=100 \\
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"
EOF

注：上面兩個\ \ 第一個是轉義符，第二個是換行符，使用轉義符是為了使用EOF保留換行符。

–logtostderr：啟用日誌
—v：日誌等級
–log-dir：日誌目錄
–etcd-servers：etcd叢集地址
–bind-address：監聽地址
–secure-port：https安全埠
–advertise-address：叢集通告地址
–allow-privileged：啟用授權
–service-cluster-ip-range：Service虛擬IP地址段
–enable-admission-plugins：准入控制模組
–authorization-mode：認證授權，啟用RBAC授權和節點自管理
–enable-bootstrap-token-auth：啟用TLS bootstrap機制
–token-auth-file：bootstrap token檔案
–service-node-port-range：Service nodeport型別預設分配埠範圍
–kubelet-client-xxx：apiserver訪問kubelet客戶端證書
–tls-xxx-file：apiserver https證書
–etcd-xxxfile：連線Etcd叢集證書
–audit-log-xxx：審計日誌

2. 拷貝剛才生成的證書

把剛才生成的證書拷貝到配置檔案中的路徑：

cp ~/TLS/k8s/ca*pem ~/TLS/k8s/server*pem /opt/kubernetes/ssl/

3. 啟用 TLS Bootstrapping 機制

TLS Bootstraping：Master apiserver啟用TLS認證後，Node節點kubelet和kube-proxy要與kube-apiserver進行通訊，必須使用CA簽發的有效證書才可以，當Node節點很多時，這種客戶端證書頒發需要大量工作，同樣也會增加叢集擴充套件複雜度。為了簡化流程，Kubernetes引入了TLS bootstraping機制來自動頒發客戶端證書，kubelet會以一個低許可權使用者自動向apiserver申請證書，kubelet的證書由apiserver動態簽署。所以強烈建議在Node上使用這種方式，目前主要用於kubelet，kube-proxy還是由我們統一頒發一個證書。

TLS bootstraping 工作流程：

建立上述配置檔案中token檔案：

cat > /opt/kubernetes/cfg/token.csv << EOF
c47ffb939f5ca36231d9e3121a252940,kubelet-bootstrap,10001,"system:node-bootstrapper"
EOF

格式：token，使用者名稱，UID，使用者組

token也可自行生成替換：

head -c 16 /dev/urandom | od -An -t x | tr -d ' '

4. systemd管理apiserver

cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

5. 啟動並設定開機啟動

systemctl daemon-reload
systemctl start kube-apiserver
systemctl enable kube-apiserver

6. 授權kubelet-bootstrap使用者允許請求證書

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

4.5 部署kube-controller-manager

1. 建立配置檔案

cat > /opt/kubernetes/cfg/kube-controller-manager.conf << EOF
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect=true \\
--master=127.0.0.1:8080 \\
--bind-address=127.0.0.1 \\
--allocate-node-cidrs=true \\
--cluster-cidr=10.244.0.0/16 \\
--service-cluster-ip-range=10.0.0.0/24 \\
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \\
--root-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--experimental-cluster-signing-duration=87600h0m0s"
EOF

–master：通過本地非安全本地埠8080連線apiserver。
–leader-elect：當該元件啟動多個時，自動選舉（HA）
–cluster-signing-cert-file/–cluster-signing-key-file：自動為kubelet頒發證書的CA，與apiserver保持一致

2. systemd管理controller-manager

cat > /usr/lib/systemd/system/kube-controller-manager.service << EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

3. 啟動並設定開機啟動

systemctl daemon-reload
systemctl start kube-controller-manager
systemctl enable kube-controller-manager

4.6 部署kube-scheduler

1. 建立配置檔案

cat > /opt/kubernetes/cfg/kube-scheduler.conf << EOF
KUBE_SCHEDULER_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--leader-elect \
--master=127.0.0.1:8080 \
--bind-address=127.0.0.1"
EOF

–master：通過本地非安全本地埠8080連線apiserver。
–leader-elect：當該元件啟動多個時，自動選舉（HA）

2. systemd管理scheduler

cat > /usr/lib/systemd/system/kube-scheduler.service << EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

3. 啟動並設定開機啟動

systemctl daemon-reload
systemctl start kube-scheduler
systemctl enable kube-scheduler

4. 檢視叢集狀態

所有元件都已經啟動成功，通過kubectl工具檢視當前叢集元件狀態：

kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-2               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}

如上輸出說明Master節點元件執行正常。

五、部署Worker Node

如果你在學習中遇到問題或者文件有誤可聯絡阿良~ 微信: init1024

下面還是在Master Node上操作，即同時作為Worker Node

5.1 建立工作目錄並拷貝二進位制檔案

在所有worker node建立工作目錄：

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

從master節點拷貝：

cd kubernetes/server/bin
cp kubelet kube-proxy /opt/kubernetes/bin   # 本地拷貝

5.2 部署kubelet

1. 建立配置檔案

cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=k8s-master \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=lizhenliang/pause-amd64:3.0"
EOF

–hostname-override：顯示名稱，叢集中唯一
–network-plugin：啟用CNI
–kubeconfig：空路徑，會自動生成，後面用於連線apiserver
–bootstrap-kubeconfig：首次啟動向apiserver申請證書
–config：配置引數檔案
–cert-dir：kubelet證書生成目錄
–pod-infra-container-image：管理Pod網路容器的映象

2. 配置引數檔案

cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local 
failSwapOn: false
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 2m0s
    enabled: true
  x509:
    clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 5m0s
    cacheUnauthorizedTTL: 30s
evictionHard:
  imagefs.available: 15%
  memory.available: 100Mi
  nodefs.available: 10%
  nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF

3. 生成bootstrap.kubeconfig檔案

KUBE_APISERVER="https://192.168.31.71:6443" # apiserver IP:PORT
TOKEN="c47ffb939f5ca36231d9e3121a252940" # 與token.csv裡保持一致

# 生成 kubelet bootstrap kubeconfig 配置檔案
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
kubectl config set-credentials "kubelet-bootstrap" \
  --token=${TOKEN} \
  --kubeconfig=bootstrap.kubeconfig
kubectl config set-context default \
  --cluster=kubernetes \
  --user="kubelet-bootstrap" \
  --kubeconfig=bootstrap.kubeconfig
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

拷貝到配置檔案路徑：

cp bootstrap.kubeconfig /opt/kubernetes/cfg

4. systemd管理kubelet

cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5. 啟動並設定開機啟動

systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet

5.3 批准kubelet證書申請並加入叢集

# 檢視kubelet證書請求
kubectl get csr
NAME                                                   AGE    SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A   6m3s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending

# 批准申請
kubectl certificate approve node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A

# 檢視節點
kubectl get node
NAME         STATUS     ROLES    AGE   VERSION
k8s-master   NotReady   <none>   7s    v1.18.3

注：由於網路外掛還沒有部署，節點會沒有準備就緒 NotReady

5.4 部署kube-proxy

1. 建立配置檔案

cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF
KUBE_PROXY_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--config=/opt/kubernetes/cfg/kube-proxy-config.yml"
EOF

2. 配置引數檔案

cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-master
clusterCIDR: 10.0.0.0/24
EOF

3. 生成kube-proxy.kubeconfig檔案

生成kube-proxy證書：

# 切換工作目錄
cd TLS/k8s

# 建立證書請求檔案
cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

ls kube-proxy*pem
kube-proxy-key.pem  kube-proxy.pem

生成kubeconfig檔案：

KUBE_APISERVER="https://192.168.31.71:6443"

kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config set-credentials kube-proxy \
  --client-certificate=./kube-proxy.pem \
  --client-key=./kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

拷貝到配置檔案指定路徑：

cp kube-proxy.kubeconfig /opt/kubernetes/cfg/

4. systemd管理kube-proxy

cat > /usr/lib/systemd/system/kube-proxy.service << EOF
[Unit]
Description=Kubernetes Proxy
After=network.target
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5. 啟動並設定開機啟動

systemctl daemon-reload
systemctl start kube-proxy
systemctl enable kube-proxy

5.5 部署CNI網路

先準備好CNI二進位制檔案：

下載地址：https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz

解壓二進位制包並移動到預設工作目錄：

mkdir /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

部署CNI網路：

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
sed -i -r "s#quay.io/coreos/flannel:.*-amd64#lizhenliang/flannel:v0.12.0-amd64#g" kube-flannel.yml

預設映象地址無法訪問，修改為docker hub映象倉庫。

kubectl apply -f kube-flannel.yml

kubectl get pods -n kube-system
NAME                          READY   STATUS    RESTARTS   AGE
kube-flannel-ds-amd64-2pc95   1/1     Running   0          72s

kubectl get node
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    <none>   41m   v1.18.3

部署好網路外掛，Node準備就緒。

5.6 授權apiserver訪問kubelet

cat > apiserver-to-kubelet-rbac.yaml << EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:kube-apiserver-to-kubelet
rules:
  - apiGroups:
      - ""
    resources:
      - nodes/proxy
      - nodes/stats
      - nodes/log
      - nodes/spec
      - nodes/metrics
      - pods/log
    verbs:
      - "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: system:kube-apiserver
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:kube-apiserver-to-kubelet
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: User
    name: kubernetes
EOF

kubectl apply -f apiserver-to-kubelet-rbac.yaml

5.7 新增加Worker Node

1. 拷貝已部署好的Node相關檔案到新節點

在master節點將Worker Node涉及檔案拷貝到新節點192.168.31.72/73

scp -r /opt/kubernetes [email protected]:/opt/

scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service [email protected]:/usr/lib/systemd/system

scp -r /opt/cni/ [email protected]:/opt/

scp /opt/kubernetes/ssl/ca.pem [email protected]:/opt/kubernetes/ssl

2. 刪除kubelet證書和kubeconfig檔案

rm /opt/kubernetes/cfg/kubelet.kubeconfig 
rm -f /opt/kubernetes/ssl/kubelet*

注：這幾個檔案是證書申請審批後自動生成的，每個Node不同，必須刪除重新生成。

3. 修改主機名

vi /opt/kubernetes/cfg/kubelet.conf
--hostname-override=k8s-node1

vi /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: k8s-node1

4. 啟動並設定開機啟動

systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet
systemctl start kube-proxy
systemctl enable kube-proxy

5. 在Master上批准新Node kubelet證書申請

kubectl get csr
NAME                                                   AGE   SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-4zTjsaVSrhuyhIGqsefxzVoZDCNKei-aE2jyTP81Uro   89s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending

kubectl certificate approve node-csr-4zTjsaVSrhuyhIGqsefxzVoZDCNKei-aE2jyTP81Uro

6. 檢視Node狀態

kubectl get node
NAME         STATUS     ROLES    AGE   VERSION
k8s-master   Ready      <none>   65m   v1.18.3
k8s-node1    Ready      <none>   12m   v1.18.3
k8s-node2    Ready      <none>   81s   v1.18.3

Node2（192.168.31.73 ）節點同上。記得修改主機名！

六、部署Dashboard和CoreDNS

6.1 部署Dashboard

$ wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta8/aio/deploy/recommended.yaml

預設Dashboard只能叢集內部訪問，修改Service為NodePort型別，暴露到外部：

vi recommended.yaml
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001
  type: NodePort
  selector:
    k8s-app: kubernetes-dashboard

kubectl apply -f recommended.yaml

kubectl get pods,svc -n kubernetes-dashboard
NAME                                             READY   STATUS              RESTARTS   AGE
pod/dashboard-metrics-scraper-694557449d-z8gfb   1/1     Running             0          2m18s
pod/kubernetes-dashboard-9774cc786-q2gsx         1/1     Running		     0          2m19s

NAME                                TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
service/dashboard-metrics-scraper   ClusterIP   10.0.0.141   <none>        8000/TCP        2m19s
service/kubernetes-dashboard        NodePort    10.0.0.239   <none>        443:30001/TCP   2m19s

訪問地址：https://NodeIP:30001

建立service account並繫結預設cluster-admin管理員叢集角色：

kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用輸出的token登入Dashboard。

6.2 部署CoreDNS

CoreDNS用於叢集內部Service名稱解析。

kubectl apply -f coredns.yaml

kubectl get pods -n kube-system 
NAME                          READY   STATUS    RESTARTS   AGE
coredns-5ffbfd976d-j6shb      1/1     Running   0          32s
kube-flannel-ds-amd64-2pc95   1/1     Running   0          38m
kube-flannel-ds-amd64-7qhdx   1/1     Running   0          15m
kube-flannel-ds-amd64-99cr8   1/1     Running   0          26m

DNS解析測試：

kubectl run -it --rm dns-test --image=busybox:1.28.4 sh
If you don't see a command prompt, try pressing enter.

/ # nslookup kubernetes
Server:    10.0.0.2
Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local

Name:      kubernetes
Address 1: 10.0.0.1 kubernetes.default.svc.cluster.local

解析沒問題。

至此，單Master叢集部署完成，下一篇擴容為多Master叢集~

公眾號回覆：k8s二進位制，獲取所有二進位制包、配置檔案和教程文件。

ElasticSearch叢集shard均衡策略

部署一套完整的Kubernetes高可用叢集（上）

一、前置知識點

1.1 生產環境可部署Kubernetes叢集的兩種方式

1.2 安裝要求

1.3 準備環境

1.4 作業系統初始化配置

二、部署Etcd叢集

2.1 準備cfssl證書生成工具

2.2 生成Etcd證書

1. 自簽證書頒發機構（CA）

2. 使用自籤CA簽發Etcd HTTPS證書

2.3 從Github下載二進位制檔案

2.4 部署Etcd叢集

1. 建立工作目錄並解壓二進位制包

2. 建立etcd配置檔案

3. systemd管理etcd

4. 拷貝剛才生成的證書

5. 啟動並設定開機啟動

6. 將上面節點1所有生成的檔案拷貝到節點2和節點3

7. 檢視叢集狀態

三、安裝Docker

3.1 解壓二進位制包

3.2 systemd管理docker

3.3 建立配置檔案

3.4 啟動並設定開機啟動

四、部署Master Node

4.1 生成kube-apiserver證書

1. 自簽證書頒發機構（CA）

2. 使用自籤CA簽發kube-apiserver HTTPS證書

4.2 從Github下載二進位制檔案

4.3 解壓二進位制包

4.4 部署kube-apiserver

1. 建立配置檔案

2. 拷貝剛才生成的證書

3. 啟用 TLS Bootstrapping 機制

4. systemd管理apiserver

5. 啟動並設定開機啟動

6. 授權kubelet-bootstrap使用者允許請求證書

4.5 部署kube-controller-manager

1. 建立配置檔案

2. systemd管理controller-manager

3. 啟動並設定開機啟動

4.6 部署kube-scheduler

1. 建立配置檔案

2. systemd管理scheduler

3. 啟動並設定開機啟動

4. 檢視叢集狀態

五、部署Worker Node

5.1 建立工作目錄並拷貝二進位制檔案

5.2 部署kubelet

1. 建立配置檔案

2. 配置引數檔案

3. 生成bootstrap.kubeconfig檔案

4. systemd管理kubelet

5. 啟動並設定開機啟動

5.3 批准kubelet證書申請並加入叢集

5.4 部署kube-proxy

1. 建立配置檔案

2. 配置引數檔案

3. 生成kube-proxy.kubeconfig檔案

4. systemd管理kube-proxy

5. 啟動並設定開機啟動

5.5 部署CNI網路

5.6 授權apiserver訪問kubelet

5.7 新增加Worker Node

1. 拷貝已部署好的Node相關檔案到新節點

2. 刪除kubelet證書和kubeconfig檔案

3. 修改主機名

4. 啟動並設定開機啟動

5. 在Master上批准新Node kubelet證書申請

6. 檢視Node狀態

六、部署Dashboard和CoreDNS

6.1 部署Dashboard

6.2 部署CoreDNS

相關推薦