2. 程式人生 > 實用技巧 >k8s之叢集部署（二進位制部署）

k8s之叢集部署（二進位制部署）

阿新 • • 發佈：2020-07-31

k8s叢集分為三個部分。如下圖所示

1.master節點

2.node節點

3.etcd儲存

部署master.com節點

根據上圖所示，master節點分為三個元件（apiserver、controller-manager、scheduler）

apiserver：k8s叢集的總入口，基於hppts通訊。所以要部署證書。

第一步：準備k8s證書：

vim ca-config.json

{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes"
 
: {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}

vim ca-csr.json

{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    
 
"names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
              "O": "k8s",
            "OU": "System"
        }
    ]
}

vim kube-proxy-csr.json

{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names
 
": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

vim server-csr.json 此處記得修改ip

{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "127.0.0.1",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local",
      "192.168.1.46",
      "192.168.1.47",
      "192.168.1.46"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}

若已安裝這三個工具，請忽略。若未安裝，複製即可。且給755的許可權。

curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

生成證書，待備用。

第二步：下載二進位制檔案。

下載官網：

wget https://dl.k8s.io/v1.16.13/kubernetes-server-linux-amd64.tar.gz

tar -zxvf kubernetes-server-linux-amd64.tar.gz

所以接下來，我的服務規劃還是放在opt下

bin：二進位制檔案

cfg：配置檔案

logs：日誌

ssl：證書

mkdir -p /opt/kubernetes/{bin,cfg,logs,ssl}

cp ./kubernetes/server/bin/{kube-apiserver,kube-controller-manager,kubectl,kube-scheduler} /opt/kubernetes/bin/

複製剛才的證書過來

cp *.pem /opt/kubernetes/ssl/ （proxy的是node用的。可以不復制）

第三步：配置三個服務的配置檔案

kube-apiserver要用到token，所以我們還需要生成一個token檔案。

head -c 16 /dev/urandom | od -An -t x | tr -d ' ' #命令會隨機生成一個token

vim /opt/kubernetes/cfg/token.csv

# 若需要更換token，請使用： head -c 16 /dev/urandom | od -An -t x | tr -d ' '      #命令會隨機生成一個token
c47ffb939f5ca36231d9e3121a252940,kubelet-bootstrap,10001,"system:node-bootstrapper"

下面正式編寫三個元件的配置檔案

vim /opt/kubernetes/cfg/kube-apiserver.conf (記得修改etcd叢集的ip和監聽地址的ip)

KUBE_APISERVER_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--etcd-servers=https://192.168.31.61:2379,https://192.168.31.62:2379,https://192.168.31.63:2379 \
--bind-address=192.168.31.61 \
--secure-port=6443 \
--advertise-address=192.168.31.61 \
--allow-privileged=true \
--service-cluster-ip-range=10.0.0.0/24 \
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \
--authorization-mode=RBAC,Node \
--enable-bootstrap-token-auth=true \
--token-auth-file=/opt/kubernetes/cfg/token.csv \
--service-node-port-range=30000-32767 \
--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \
--client-ca-file=/opt/kubernetes/ssl/ca.pem \
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \
--etcd-cafile=/opt/etcd/ssl/ca.pem \
--etcd-certfile=/opt/etcd/ssl/server.pem \
--etcd-keyfile=/opt/etcd/ssl/server-key.pem \
--audit-log-maxage=30 \
--audit-log-maxbackup=3 \
--audit-log-maxsize=100 \
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"

更多選項引數，請參考官方文件。

vim /opt/kubernetes/cfg/kube-controller-manager.conf

KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--leader-elect=true \
--master=127.0.0.1:8080 \
--address=127.0.0.1 \
--allocate-node-cidrs=true \
--cluster-cidr=10.244.0.0/16 \
--service-cluster-ip-range=10.0.0.0/24 \
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \
--root-ca-file=/opt/kubernetes/ssl/ca.pem \
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \
--experimental-cluster-signing-duration=87600h0m0s"

vim /opt/kubernetes/cfg/kube-scheduler.conf

KUBE_SCHEDULER_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--leader-elect \
--master=127.0.0.1:8080 \
--address=127.0.0.1"

master已經部署完畢。master其實就只有這麼點內容。（如下圖）

下面就可以啟動三個元件服務了。為了方便，我們順便編寫一下三個服務的啟動檔案吧

第四步：編寫元件的啟動檔案，然後啟動服務

vim /usr/lib/systemd/system/kube-apiserver.service

[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver $KUBE_APISERVER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

vim /usr/lib/systemd/system/kube-controller-manager.service

[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

vim /usr/lib/systemd/system/kube-scheduler.service

[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler $KUBE_SCHEDULER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

啟動服務，並設定開機自啟動

systemctl start kube-apiserver
systemctl start kube-controller-manager
systemctl start kube-scheduler

systemctl enable kube-apiserver
systemctl enable kube-controller-manager
systemctl enable kube-scheduler

最後一步：因為加入節點利用token自動頒發證書。所以kubelet-bootstrap授權

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

部署node節點

部署前的準備，同樣的關閉防火牆，swap，配置hosts檔案。

node節點也是由三個元件組成的。分別是docker、kube-proxy、kubelet

安裝docker-ce。

docker的安裝省略，請參考相關的文件：https://developer.aliyun.com/mirror/docker-ce?spm=a2c6h.13651102.0.0.3e221b11P6sarI

sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum makecache fast
sudo yum -y install docker-ce
sudo systemctl start docker

必須先啟動kubelet，再到kube-proxy

規劃目錄

mkdir /opt/kubernetes/{bin,cfg,logs,ssl} -p

第一步：把證書複製到ssl目錄下。(ca.pemkube-proxy-key.pem kube-proxy.pem)

此處的ca證書必須與master上的ca-key.pem是一對的

第二步：把二進位制檔案拷貝到bin目錄

官網下載。服務端中，有kube-proxy的相關元件的。所以可以直接複製過來使用

第三步：編寫kubelet，kube-proxyt的配置檔案。

kubelet和kube-proxy都是由三個元件組成的服務。所以兩個服務共有6個配置檔案

kubelet的三個配置檔案

1.bootstrap.kubeconfig：自動頒發證書的配置檔案

2. kubelet.conf：主配置檔案

3. kubelet-config.yml：生成服務的配置檔案

kube-proxy的服務主要由三個配置檔案組成

1.conf檔案：基本的配置檔案

2.kubeconfig：連線api-server的配置檔案

3.yml檔案：kube-proxy的主要配置檔案。此檔案是從早期版本的conf檔案分離出來。

所以我們先編輯kubelet三個配置檔案

vim /opt/kubernetes/cfg/bootstrap.kubeconfig

apiVersion: v1
clusters:
- cluster:
    certificate-authority: /opt/kubernetes/ssl/ca.pem
    server: https://192.168.31.61:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kubelet-bootstrap
  name: default
current-context: default
kind: Config
preferences: {}
users:
- name: kubelet-bootstrap
  user:
    token: c47ffb939f5ca36231d9e3121a252940

溫馨提示：記得修改ip，還有連線服務端的token要一致

vim /opt/kubernetes/cfg/kubelet.conf 節點名字，必須與其他節點不一樣。

KUBELET_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--hostname-override=k8s-node1 \
--network-plugin=cni \
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \
--config=/opt/kubernetes/cfg/kubelet-config.yml \
--cert-dir=/opt/kubernetes/ssl \
--pod-infra-container-image=lizhenliang/pause-amd64:3.0"

溫馨提示：pause-amd64，請參考阿里雲https://developer.aliyun.com/article/680942?spm=a2c6h.14164896.0.0.72ac5d8d3HQauK

vim /opt/kubernetes/cfg/kubelet-config.yml

kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local 
failSwapOn: false
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 2m0s
    enabled: true
  x509:
    clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 5m0s
    cacheUnauthorizedTTL: 30s
evictionHard:
  imagefs.available: 15%
  memory.available: 100Mi
  nodefs.available: 10%
  nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110

編寫kubelet.service服務啟動檔案，並啟動服務

vim /usr/lib/systemd/system/kubelet.service

[Unit]
Description=Kubernetes Kubelet
After=docker.service
Before=docker.service

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet $KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

kubelet服務部署完畢。

編寫kube-proxy的配置3個配置檔案

vim /opt/kubernetes/cfg/kube-proxy.conf

KUBE_PROXY_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--config=/opt/kubernetes/cfg/kube-proxy-config.yml"

vim /opt/kubernetes/cfg/kube-proxy.kubeconfig 溫馨提示：此處記得修改連線kube-apiserver的ip哦

apiVersion: v1
clusters:
- cluster:
    certificate-authority: /opt/kubernetes/ssl/ca.pem
    server: https://192.168.1.47:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kube-proxy
  name: default
current-context: default
kind: Config
preferences: {}
users:
- name: kube-proxy
  user:
    client-certificate: /opt/kubernetes/ssl/kube-proxy.pem
    client-key: /opt/kubernetes/ssl/kube-proxy-key.pem

vim /opt/kubernetes/cfg/kube-proxy-config.yml #此處的名字不能與其他節點名字一樣，所以需要修改

kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
address: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-node1
clusterCIDR: 10.0.0.0/24
mode: ipvs
ipvs:
  scheduler: "rr"
iptables:
  masqueradeAll: true

編寫啟動檔案kube-proxy.service

vim /usr/lib/systemd/system/kube-proxy.service

[Unit]
Description=Kubernetes Proxy
After=network.target

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy $KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

到此kubelet和kube-proxy全部配置完畢。

啟動docker、kubelet、kube-proxy三個服務。

systemctl daemon-reload

systemctl start kubelet   &&  systemctl enable kubelet
systemctl start kube-proxy  &&  systemctl enable kube-proxy

最後還有一步非常關鍵的一步，就是在master主節點上允許頒發證書。

kubectl get csr
kubectl certificate approve node-csr-MYUxbmf_nmPQjmH3LkbZRL2uTO-_FCzDQUoUfTy7YjI

檢查驗證：node是否成功加入到主節點上

node節點新增成功。

【master、node部署完畢】

叢集部署完畢後，但我們還需要一個外掛來維持叢集的網路。

安裝cni網路 ——>> flannel

第一步：在node節點下載cni，並解壓到bin目錄下 （所有node）

規劃cni服務：mkdir /opt/cni/{bin,net.d} -p

溫馨提示：kubelet服務會呼叫cni，所以node節點上都必須有cni外掛。

cni下載地址：https://github.com/containernetworking/plugins/releases

wget https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz
tar -zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin/

第二步：在master下安裝flannel工具。官網地址：https://github.com/coreos/flannel#flannel

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl apply -fkube-flannel.yml

第三步：檢查結果。flannel其實也是一個pod，安裝的預設命令空間在kube-system

【整個k8s單master叢集部署完畢】

相關推薦

k8s之叢集部署（二進位制部署）

k8s叢集分為三個部分。如下圖所示 1.master節點 2.node節點 3.etcd儲存 部署master.com節點

二進位制部署k8s 1.18.14（高可用）

一、安裝環境準備 1.機器列表 主機名 IP 作業系統 角色 安裝軟體 VM配置 k8s-master1 192.168.0.101

Consul叢集部署（Centos環境）

1、Consul安裝 sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/RHEL/hashicorp.repo

【進階之路】持續整合、持續交付與持續部署（CI/CD）

由來 記得7月份剛剛換工作的時候，中午和老大一起去吃飯，回來的路上老大問我：“南橘，CI/CD有沒有研究過？”

prometheus+granfana監控部署（二進位制）

prometheus搭建 prometheus官網下載地址：Download | Prometheus #下載截止2021/9/9最新版本

【Core】.NET Core 部署（ Docker + CentOS）

閱讀目錄 使用指令碼安裝 Docker CentOS下 Docker安裝 回到頂部 使用指令碼安裝 Docker

離線電商數倉（六十二）之叢集監控（二）Zabbix（二）安裝server節點（centos）

Zabbix安裝之server節點 1 叢集規劃 節點 服務 hadoop102 zabbix-server、zabbix-agent、MySQL、zabbix-web

離線電商數倉（六十三）之叢集監控（三）Zabbix（三）安裝agent節點（centos）

Zabbix安裝之agent節點 1建立使用者 sudo groupadd --system zabbix sudo useradd --system -g zabbix -d /usr/lib/zabbix -s /sbin/nologin -c \"Zabbix Monitoring System\" zabbix

jenkins實現專案的自動化部署（Jenkins + git），以若依為例子

1.第一步配置環境 1）java環境 https://blog.csdn.net/zzpzheng/article/details/73613838 2）maven環境

K8S（2）-叢集搭建（Ubuntu版）

1. 介紹 kubeadm是官方社群推出的一個用於快速部署kubernetes叢集的工具。 這個工具能通過兩條指令完成一個kubernetes叢集的部署：

Flask_環境部署（十六）

flask自帶的伺服器，無法滿足效能要求，我們這裡採用Gunicorn做wsgi容器，來部署flask程式並使用 Nginx 做前端代理實現分流、轉發、負載均衡，以及分擔伺服器的壓力。

zookeeper安裝部署（單例）

技術標籤：linuxcentosnginxjavahadoop 下載zookeeper官方包，當前最新版本為3.6.1.下載地址：https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz 將下載的z

Python工程師的大資料之路（二c）叢集指令碼（持續更）

技術標籤：大資料 先配置好叢集免密登入 https://yellow520.blog.csdn.net/article/details/110143502

Tomcat服務部署（多節點）

1.關閉防火牆，將安裝 Tomcat 所需軟體包傳到/opt目錄下 jdk-8u201-linux-x64.rpm apache-tomcat-9.0.16.tar.gz

框架5--nginx安裝部署（web服務）

目錄框架5--nginx安裝部署（web服務）1、練習2、昨日問題3、今日內容4、什麼是web服務5、web伺服器軟體6、部署Nginx7、平滑增加Nginx模組8、Nginx的命令9、Nginx配置檔案10、超級瑪麗和象棋

Veeam Backup & Replication 10.0.0.4461安裝部署（包含補丁）

原文：https://www.cnblogs.com/cnzay/p/15561893.html Veeam Backup & Replication 是一款資料保護軟體，為VMware 和Hyper-V 虛擬機器、物理與雲環境提供了備份、複製與恢復選項。如有需要請去官方購買正版授權

明火煙霧目標檢測專案部署（YoloV5+Flask）

明火煙霧目標檢測專案部署 目錄 明火煙霧目標檢測專案部署 1. 拉取Docker PyToch映象

k8s安裝之可用記錄（留存一）

備註：第1步~第8步，所有的節點都要操作，第9、10步Master節點操作，第11步Node節點操作。

flask Apache 部署（值得參考）

1.下載Apache zip包解壓，放在C盤根目錄下,cmd命令 切換至 Apache24/bin目錄下，輸入命令httpd -k install安裝，httpd -k uninstall 刪除安裝

使用jenkins實現前端自動化打包部署（Linux版本）

　　我們這邊好多小組覺得每次測試人員叫我們開發打包部署到某某個測試環境人工操作比較麻煩，因為他們想做到只專注於開發，不管這些瑣碎的事。於是有個組長問我前端能不能用Jenkins去執行這一個固定的流程，因為他們