2. 程式人生 > >K8S部署步驟：8-部署Master節點

K8S部署步驟：8-部署Master節點

阿新 • • 發佈：2019-02-19

kubernetes master節點包含的元件：

  • etcd
  • flannel
  • docker
  • kube-apiserver
  • kube-scheduler
  • kube-controller-manager

目前這三個元件需要部署在同一臺機器上：
- kube-scheduler、kube-controller-manager和kube-apiserver三者的功能緊密相關；
- 同時只能有一個kube-scheduler、kube-controller-manager程序處於工作狀態，如果執行多個，則需要通過選舉產生一個leader；
- 本文件介紹部署單kubernetes master節點的步驟，沒有實現高可用master叢集。

匯入環境變數

$ source /root/local/bin/environment.sh

下載二進位制檔案

從CHANGELOG頁面下載server tarball檔案

$ wget https://dl.k8s.io/v1.10.0/kubernetes-server-linux-amd64.tar.gz
$ tar -xzvf kubernetes-server-linux-amd64.tar.gz
$ sudo cp -r kubernetes/server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler,kubectl} /root/local
 
/bin/

建立 admin 證書

kubectl 與 kube-apiserver 的安全埠通訊，需要為安全通訊提供 TLS 證書和祕鑰。

建立 admin 證書籤名請求

$ cat admin-csr.json
{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "system:masters"
 
,
      "OU": "System"
    }
  ]
}
  • 後續 kube-apiserver 使用 RBAC 對客戶端(如 kubelet、kube-proxy、Pod)請求進行授權；
  • kube-apiserver 預定義了一些 RBAC 使用的 RoleBindings，如 cluster-admin 將 Group system:masters 與 Role cluster-admin 繫結，該 Role 授予了呼叫kube-apiserver 所有 API的許可權；
  • O 指定該證書的 Group 為 system:masters，kubelet 使用該證書訪問 kube-apiserver 時 ，由於證書被 CA 簽名，所以認證通過，同時由於證書使用者組為經過預授權的 system:masters，所以被授予訪問所有 API 的許可權；
  • hosts 屬性值為空列表；

生成 admin 證書和私鑰：

 cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \
  -ca-key=/etc/kubernetes/ssl/ca-key.pem \
  -config=/etc/kubernetes/ssl/ca-config.json \
  -profile=kubernetes admin-csr.json | cfssljson -bare admin
$ ls admin*
admin.csr  admin-csr.json  admin-key.pem  admin.pem
$ sudo mv admin*.pem /etc/kubernetes/ssl/
$ rm admin.csr admin-csr.json

建立 kubectl kubeconfig 檔案

$ # 設定叢集引數
$ kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER}
$ # 設定客戶端認證引數
$ kubectl config set-credentials admin \
  --client-certificate=/etc/kubernetes/ssl/admin.pem \
  --embed-certs=true \
  --client-key=/etc/kubernetes/ssl/admin-key.pem
$ # 設定上下文引數
$ kubectl config set-context kubernetes \
  --cluster=kubernetes \
  --user=admin
$ # 設定預設上下文
$ kubectl config use-context kubernetes
  • admin.pem 證書 O 欄位值為 system:masters，kube-apiserver 預定義的 RoleBinding cluster-admin 將 Group system:masters 與 Role cluster-admin 繫結，該 Role 授予了呼叫kube-apiserver 相關 API 的許可權；
  • 生成的 kubeconfig 被儲存到 ~/.kube/config 檔案；

分發 kubeconfig 檔案

將 ~/.kube/config 檔案拷貝到執行 kubelet 命令的機器的 ~/.kube/ 目錄下。

建立kubernetes證書

建立kubernetes證書籤名請求

$ cat > kubernetes-csr.json << EOF
{
  "CN": "kubernetes",
  "hosts": [
    "127.0.0.1",
    "${MASTER_IP}",
    "${CLUSTER_KUBERNETES_SVC_IP}",
    "kubernetes",
    "kubernetes.default",
    "kubernetes.default.svc",
    "kubernetes.default.svc.cluster",
    "kubernetes.default.svc.cluster.local"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • 如果hosts欄位不為空則需要指定授權使用該證書的IP或域名列表，所以上面分別指定了當前部署的master節點主機IP和域名；
  • 還需要新增kube-apiserver註冊的名為kubernetes的服務IP (Service Cluster IP)，一般是kube-apiserver –service-cluster-ip-range選項值指定的網段的第一個IP，如10.254.0.1；

生成kubernetes證書和私鑰

$ cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \
  -ca-key=/etc/kubernetes/ssl/ca-key.pem \
  -config=/etc/kubernetes/ssl/ca-config.json \
  -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes
$ ls kubernetes*
# kubernetes.csr kubernetes-csr.json kubernetes-key.pem kubernetes.pem
$ sudo mkdir -p /etc/kubernetes/ssl/
$ sudo mv kubernetes*.pem /etc/kubernetes/ssl/
$ sudo rm -rf kubernetes.csr kubernetes-csr.json

配置和啟動kube-apiserver

建立kube-apiserver使用的客戶端token檔案

kubelet首次啟動時會向kube-apiserver傳送TLS Bootstrapping請求，kube-apiserver驗證kubelet請求中的token是否與它配置的token.csv一致，如果一致則自動為kubelet生成證書和祕鑰。

# 匯入的environment.sh檔案定義的BOOTSTRAP_TOKEN變數
$ cat > token.csv << EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF
$ mv token.csv /etc/kubernetes/

建立kube-apiserver的systemd unit檔案

$ cat > kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
After=network.target
[Service]
ExecStart=/root/local/bin/kube-apiserver \\
  --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota \\
  --advertise-address=${MASTER_IP} \\
  --bind-address=${MASTER_IP} \\
  --insecure-bind-address=${MASTER_IP} \\
  --authorization-mode=Node,RBAC \\
  --runtime-config=rbac.authorization.k8s.io/v1 \\
  --kubelet-https=true \\
  --enable-bootstrap-token-auth \\
  --token-auth-file=/etc/kubernetes/token.csv \\
  --service-cluster-ip-range=${SERVICE_CIDR} \\
  --service-node-port-range=${NODE_PORT_RANGE} \\
  --tls-cert-file=/etc/kubernetes/ssl/kubernetes.pem \\
  --tls-private-key-file=/etc/kubernetes/ssl/kubernetes-key.pem \\
  --client-ca-file=/etc/kubernetes/ssl/ca.pem \\
  --service-account-key-file=/etc/kubernetes/ssl/ca-key.pem \\
  --etcd-cafile=/etc/kubernetes/ssl/ca.pem \\
  --etcd-certfile=/etc/kubernetes/ssl/kubernetes.pem \\
  --etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem \\
  --etcd-servers=${ETCD_ENDPOINTS} \\
  --enable-swagger-ui=true \\
  --allow-privileged=true \\
  --apiserver-count=3 \\
  --audit-log-maxage=30 \\
  --audit-log-maxbackup=3 \\
  --audit-log-maxsize=100 \\
  --audit-log-path=/var/lib/audit.log \\
  --event-ttl=1h \\
  --v=2
Restart=on-failure
RestartSec=5
Type=notify
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF
  • kube-apiserver 1.6版本開始使用etcd v3 API和儲存格式；
  • –authorization-mode=RBAC指定在安全埠使用RBAC授權模式，拒絕未通過授權的請求；
  • kube-scheduler、kube-controller-manager一般和kube-apiserver部署在同一臺Master機器上，它們使用非安全埠和kube-apiserver通訊;
  • kubelet、kube-proxy部署在其它Node節點上，如果通過安全埠訪問kube-apiserver，則必須先通過TLS證書認證，再通過RBAC授權；
  • kube-proxy、kubectl通過在使用的證書裡指定相關的User、Group來達到通過RBAC 授權的目的；
  • 如果使用了kubelet TLS Boostrap機制，則不能再指定–kubelet-certificate-authority、–kubelet-client-certificate和–kubelet-client-key選項，否則後續kube-apiserver校驗kubelet證書時出現x509: certificate signed by unknown authority錯誤；
  • –admission-control值必須包含ServiceAccount，否則部署叢集外掛時會失敗；
  • –bind-address不能為127.0.0.1；
  • –service-cluster-ip-range指定Service Cluster IP地址段，該地址段不能路由可達；
  • –service-node-port-range=${NODE_PORT_RANGE}指定NodePort的埠範圍；
  • 預設情況下kubernetes物件儲存在etcd /registry 路徑下，可以通過–etcd-prefix引數進行調整；

啟動kube-apiserver

$ sudo cp kube-apiserver.service /etc/systemd/system/
$ sudo systemctl daemon-reload
$ sudo systemctl enable kube-apiserver
$ sudo systemctl start kube-apiserver
$ sudo systemctl status kube-apiserver

配置和啟動kube-controller-manager

建立kube-controller-manager的systemd unit檔案

$ cat > kube-controller-manager.service << EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
[Service]
ExecStart=/root/local/bin/kube-controller-manager \\
  --address=127.0.0.1 \\
  --master=http://${MASTER_IP}:8080 \\
  --allocate-node-cidrs=true \\
  --service-cluster-ip-range=${SERVICE_CIDR} \\
  --cluster-cidr=${CLUSTER_CIDR} \\
  --cluster-name=kubernetes \\
  --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.pem \\
  --cluster-signing-key-file=/etc/kubernetes/ssl/ca-key.pem \\
  --service-account-private-key-file=/etc/kubernetes/ssl/ca-key.pem \\
  --root-ca-file=/etc/kubernetes/ssl/ca.pem \\
  --leader-elect=true \\
  --v=2
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF

–address值必須為127.0.0.1，因為當前kube-apiserver期望scheduler和controller-manager在同一臺機器，否則：

$ kubectl get componentstatuses
NAME                 STATUS      MESSAGE                                                                                        ERROR
controller-manager   Unhealthy   Get http://127.0.0.1:10252/healthz: dial tcp 127.0.0.1:10252: getsockopt: connection refused
scheduler            Unhealthy   Get http://127.0.0.1:10251/healthz: dial tcp 127.0.0.1:10251: getsockopt: connection refused
  • –master=http://{MASTER_IP}:8080：使用非安全8080埠與kube-apiserver通訊；
  • –cluster-cidr指定Cluster中Pod的CIDR範圍，該網段在各Node間必須路由可達（flannel保證）；
  • –service-cluster-ip-range引數指定Cluster中Service的CIDR範圍，該網路在各Node間必須路由不可達，必須和kube-apiserver中的引數一致；
  • –cluster-signing-*指定的證書和私鑰檔案用來簽名為TLS BootStrap建立的證書和私鑰；
  • –root-ca-file用來對kube-apiserver證書進行校驗，指定該引數後，才會在Pod容器的ServiceAccount中放置該CA證書檔案；
  • –leader-elect=true部署多臺機器組成的master叢集時選舉產生一處於工作狀態的kube-controller-manager程序；

啟動kube-controller-manager

$ sudo cp kube-controller-manager.service /etc/systemd/system/
$ sudo systemctl daemon-reload
$ sudo systemctl enable kube-controller-manager
$ sudo systemctl start kube-controller-manager

配置和啟動kube-scheduler

建立kube-scheduler的systemd unit檔案

$ cat > kube-scheduler.service << EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
[Service]
ExecStart=/root/local/bin/kube-scheduler \\
  --address=127.0.0.1 \\
  --master=http://${MASTER_IP}:8080 \\
  --leader-elect=true \\
  --v=2
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF
  • –address值必須為127.0.0.1，因為當前kube-apiserver期望scheduler和controller-manager在同一臺機器；
  • –master=http://{MASTER_IP}:8080：使用非安全8080埠與kube-apiserver通訊；
  • –leader-elect=true部署多臺機器組成的master叢集時選舉產生一處於工作狀態的kube-controller-manager程序；

啟動kube-scheduler

$ sudo cp kube-scheduler.service /etc/systemd/system/
$ sudo systemctl daemon-reload
$ sudo systemctl enable kube-scheduler
$ sudo systemctl start kube-scheduler

驗證master節點功能

$ kubectl get componentstatuses
# NAME                 STATUS    MESSAGE              ERROR
# controller-manager   Healthy   ok
# scheduler            Healthy   ok
# etcd-0               Healthy   {"health": "true"}
# etcd-1               Healthy   {"health": "true"}
# etcd-2               Healthy   {"health": "true"}

相關推薦

K8S部署步驟：8-部署Master節點

kubernetes master節點包含的元件： etcd flannel docker kube-apiserver kube-scheduler kube-controller-manager 目前這三個元件需要部署在同一臺機器上： - kube

Kubernetes（K8s）安裝部署過程（四）--Master節點安裝

emc 不用 ces 成功 sts var 獲取 art health 再次明確下架構： 三臺虛擬機 centos 7.4系統，docker為17版本，ip為10.10.90.105到107，其中105位master，接下來的master相關組件安裝到此機器上。 etc

3、k8s叢集手動部署筆記之Etcd配置-master節點配置

k8s部署配置檔案統一存放位置: #k8s配置目錄建立bin(存放可執行檔案),cfg(存放配置檔案),ssl(存放證書)目錄 [root@master ~]# mkdir -p /opt/kubernetes/{bin,cfg,ssl} Etcd配

Spark2.2.2原始碼解析： 2.啟動master節點流程分析

本文主要說明在啟動master節點的時候，程式碼的流程走向。   授予檔案執行許可權 chmod755  兩個目錄裡的檔案： /workspace/spark-2.2.2/bin  --所有檔案 /workspace/spark-2.2.2/sb

手動安裝K8s第五節：master節點kubectl命令部署

docker k8s kubernetes 容器 1、部署kubectl 命令行工具準備二進制包[root@k8smaster ~]# cd /usr/local/src/kubernetes/client/bin[root@k8smaster bin]# cp kubectl /opt/ku

K8S二進制部署master節點

k8s master binary 在完成前面的K8S基礎組件配置之後，我們就可以正式開始K8S的部署工作。本文介紹在k8s master組件的二進制部署過程，由於環境為內網開發和測試環境，所以僅考慮etcd組件的高可用，api-server、controller-manager和schedule

4.K8S部署-------- Master節點部署

docker k8s 雲計算 虛擬化 Kubernetes 部署Kubernetes API服務部署如果沒有特別指定在那臺服務器執行命令。只需要按照文中的步驟執行即可0.準備軟件包[root@linux-node1 ~]# cd /usr/local/src/kubernetes

Taints和Tolerations聯用，將pod部署到k8s的master節點

一般，k8s的master為了保持高效能，在這個主節點上只執行一些管理必須的POD。 如果我們限於資源，或是一些監控類的pod要部署到master節點呢？ 昨天遇到這個問題，按網上通用的方法，未解決，於是仔細研究了一下， 後解決。 一般來說，“汙點”和“忍受”是成對應用的。master節點上打一個汙點

K8s叢集部署（二）------ Master節點部署

Master節點要部署三個服務：API Server、Scheduler、Controller Manager。 apiserver提供叢集管理的REST API介面，包括認證授權、資料校驗以 及叢集狀態變更等 　　只有API Server才直接操作etcd 　　其他模組通過API Server查詢

Kubernetes部署（六）：Master節點部署

1.部署Kubernetes API服務部署 0.準備軟體包 [[email protected] ~]# cd /usr/local/src/kubernetes [[email protected] kubernetes]# cp server/bin/kube-apiserver

kubernetes學習：7.部署master節點

k8s部署master節點 在之前的章節介紹過，k8s的控制節點扮演者整個排程和管理的角色，所以是非常關鍵的一部分。k8s的master節點主要包含三個部分： 1. kube-apiserver 提供了統一的資源操作入口; 2. kube-schedu

K8s-部署master節點.06

內容轉載自：https://github.com/opsnull/follow-me-install-kubernetes-cluster/blob/master/06-0.%E9%83%A8%E7%BD%B2master%E8%8A%82%E7%82%B9.md tags: master, k

Kubernetes（K8s）安裝部署過程（六）--node節點部署

sch wan tool pods systemd tps stat mis type hi，everybody，我回來了，之前安裝到flannel之後，文章一直沒有更新，甚至不少小夥伴都來加qq詢問是否繼續更新了， 這裏說明下原因，我在部署1.91node的時候的確出現

手動安裝K8s第四節：Master節點

docker kubernetes k8s 容器 0、準備軟件包 cd /usr/local/src/kubernetes[root@k8smaster kubernetes]# cp server/bin/kube-apiserver /opt/kubernetes/bin/[root@k8

手動安裝K8s第三節：etcd集群部署

docker kubernetes 容器 手動安裝K8s第三節：etcd集群部署 準備安裝包https://github.com/coreos/etcd版本：3.2.18wget https://github.com/coreos/etcd/releases/download/v3.2.18/et

手動安裝K8s第八節：部署Fannel網絡

docker k8s kubernetes 容器 [root@k8smaster ~]# cd /usr/local/src/ssl/[root@k8smaster ssl]# vim flanneld-csr.json {"CN": "flanneld"

部署k8s ssl集群實踐10:work節點基礎環境

master ESS rap 系統 sts 基礎 ann emctl pset 1.部署說明:三master節點同時也做work節點，另外新加一個work節點，總共4個work節點。部署了兩套環境，前面master節點部署的是一套環境的記錄。部署work節點用的是另一套環境

部署k8s ssl集群實踐11:work節點配置flanneld

edt vendor ets manager signal k8s service glob conf 前面三節點flanneld已經部署好，只需要在新加節點部署flanneld即可 把flanneld執行文件copy到新加節點 [root@k8s-node3 ~]# sc

部署k8s ssl集群實踐12:work節點配置docker

cti ive con 14. ins type mtu sys oba 部署docker 舊的三節點docker已經安裝好只需要安裝新節點的docker但是所有節點都需要修改docker配置文件 安裝參考前面的基礎篇裏的安裝方法 所有work節點都需要修改以下參數需要修改

部署k8s ssl集群實踐14:work節點部署kube-proxy

ner des csr limit 修改 流量 log config文件 tco 二進制文件前面已經下載分發好。 6.1創建kube-proxy證書 創建證書簽名請求 [root@k8s-master1 kube-proxy]# cat kube-proxy-csr.jso