1. 程式人生 > 實用技巧 >K8S 部署 Rancher 2.X 版本

K8S 部署 Rancher 2.X 版本

Rancher 介紹

Rancher是一套容器管理平臺,它可以幫助組織在生產環境中輕鬆快捷的部署和管理容器。 Rancher可以輕鬆地管理各種環境的Kubernetes,滿足IT需求併為DevOps團隊提供支援。
Kubernetes不僅已經成為的容器編排標準,它也正在迅速成為各類雲和虛擬化廠商提供的標準基礎架構。Rancher使用者可以選擇使用Rancher Kubernetes Engine(RKE)建立Kubernetes叢集,也可以使用GKE,AKS和EKS等雲Kubernetes服務。 Rancher使用者還可以匯入和管理現有的Kubernetes叢集。
Rancher支援各類集中式身份驗證系統來管理Kubernetes叢集。例如,大型企業的員工可以使用其公司Active Directory憑證訪問GKE中的Kubernetes叢集。IT管理員可以在使用者,組,專案,叢集和雲中設定訪問控制和安全策略。 IT管理員可以在單個頁面對所有Kubernetes叢集的健康狀況和容量進行監控。

Rancher為DevOps工程師提供了一個直觀的使用者介面來管理他們的服務容器,使用者不需要深入瞭解Kubernetes概念就可以開始使用Rancher。 Rancher包含應用商店,支援一鍵式部署Helm和Compose模板。Rancher通過各種雲、本地生態系統產品認證,其中包括安全工具,監控系統,容器倉庫以及儲存和網路驅動程式。下圖說明了Rancher在IT和DevOps組織中扮演的角色。每個團隊都會在他們選擇的公共雲或私有云上部署應用程式。

Helm 簡介

Helm是一種簡化Kubernetes應用程式安裝和管理的工具。可以把它想象成apt/yum/homebrew。
Helm有兩部分:client(helm)和server(tiller)

,Tiller在您的Kubernetes叢集內部執行,並管理chart的釋出(安裝)。
Helm可在您的膝上型電腦,或在任何位置執行。
chart是包含至少兩件事的Helm包:
包的描述(Chart.yaml)
一個或多個模板,包含Kubernetes清單檔案
chart可以儲存在磁碟上,也可以從遠端chart儲存庫(如Debian或RedHat包)中獲取.

RKE介紹

RKE是一個用Golang編寫的Kubernetes安裝程式,極為簡單易用,使用者不再需要做大量的準備工作,即可擁有閃電般快速的Kubernetes安裝部署體驗。

部署環境

主機名IP地址角色配置系統
master 192.168.1.4 主節點 2C/4G CentOS 7.6
node01 192.168.1.6 工作節點1 2C/2G CentOS 7.6
node02 192.168.1.7 工作節點 2C/2G CentOS 7.6

安裝方法:

1.直接docker pull映象,適合實驗環境,不適合線上環境,可參考https://docs.rancher.cn/rancher2x/quick-start.html
2.使用k8s群集部署,官網推薦線上環境,本文使用就是這種辦法,參考官網教程https://docs.rancher.cn/rancher2x/

部署過程

---------------------------在3臺伺服器都要操作---------------------------------------

一、Docker 安裝部署

參考部落格https://blog.51cto.com/13760351/2496889

二、使用者設定

1.建立使用者zhangsan,設定密碼

useradd zhangsan
psswd zhangsan
vim /etc/sudoers

插入:
zhangsan        ALL=(ALL)       ALL

2.新增使用者到docker組

usermod -aG docker zhangsan

三、配置ssh免密登陸

1.生成ssh key

su zhangsan
ssh-keygen

2.將ssh公鑰傳送到三臺機器上

ssh-copy-id -i .ssh/id_rsa.pub zhangsan@node1
ssh-copy-id -i .ssh/id_rsa.pub zhangsan@node2
ssh-copy-id -i .ssh/id_rsa.pub zhangsan@master

3.驗證

ssh zhangsan@node1
ssh zhangsan@node2
ssh zhangsan@master

 **--------------------在master伺服器上面-------------------------**

四、RKE建立K8s叢集

1.下載 kubectl,rke,helm並上傳到master

下載地址:https://docs.rancher.cn/rancher2x/install-prepare/download/
cd /home/zhangsan #進入使用者目錄
sudo mv linux-amd64-v1.18.2-kubectl kubectl #重新命名
sudo mv v1.1.1-rke_linux-amd64 rke
sudo chmod +x rke kubectl #授權
sudo cp kubectl rke /usr/bin

2.安裝helm

tar xvf helm-v3.0.3-linux-amd64.tar.gz
sudo cp linux-amd64/helm /usr/bin/

3.建立 rancher-cluster.yml

vim rancher-cluster.yml

nodes:
           - address: 192.168.1.4
             user: zhangsan
             role: [controlplane, worker, etcd]
           - address: 192.168.1.6
             user: zhangsan
             role: [controlplane, worker, etcd]
           - address: 192.168.1.7
             user: zhangsan
             role: [controlplane, worker, etcd]

 services:
  etcd:
   snapshot: true
   creation: 6h
   retention: 24h

4.使用rke建立叢集

這裡採用rke安裝k8s
./rke up --config ./rancher-cluster.yml

如果出現以下報錯:

不要慌,再執行一遍就可以了

./rke up --config ./rancher-cluster.yml

5.檢視所有的節點狀態

sudo mkdir $HOME/.kube/
sudo cp kube_config_rancher-cluster.yml $HOME/.kube/config
kubectl --kubeconfig=kube_config_rancher-cluster.yml get nodes
kubectl --kubeconfig=kube_config_rancher-cluster.yml get pods --all-namespaces

五、安裝 ssl證書

1.編寫一鍵生成證書指令碼

vim cert.sh

#!/bin/bash -e

help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl證書需要的主域名,如不指定則預設為localhost,如果是ip訪問服務,則可忽略;'
    echo  ' --ssl-trusted-ip: 一般ssl證書只信任域名的訪問請求,有時候需要使用ip去訪問server,那麼需要給ssl證書新增擴充套件IP,多個IP用逗號隔開;'
    echo  ' --ssl-trusted-domain: 如果想多個域名訪問,則新增擴充套件域名(SSL_TRUSTED_DOMAIN),多個擴充套件域名用逗號隔開;'
    echo  ' --ssl-size: ssl加密位數,預設2048;'
    echo  ' --ssl-date: ssl有效期,預設10年;'
    echo  ' --ca-date: ca有效期,預設10年;'
    echo  ' --ssl-cn: 國家程式碼(2個字母的代號),預設CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == '' ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

#CA相關配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=localhost

#ssl相關配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-localhost}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

##國家程式碼(2個字母的代號),預設CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 發現已存在CA私鑰,備份"${CA_KEY}"為"${CA_KEY}"-bak,然後重新建立 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私鑰 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 發現已存在CA證書,先備份"${CA_CERT}"為"${CA_CERT}"-bak,然後重新建立 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA證書 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "\033[32m ====> 3. 生成Openssl配置檔案 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM

if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} ]]; then
    cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
    IFS=","
    dns=(${SSL_TRUSTED_DOMAIN})
    dns+=(${SSL_DOMAIN})
    for i in "${!dns[@]}"; do
      echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "\033[32m ====> 4. 生成服務SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "\033[32m ====> 5. 生成服務SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "\033[32m ====> 6. 生成服務SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}

echo -e "\033[32m ====> 7. 證書製作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式輸出結果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 9. 附加CA證書到Cert檔案 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 10. 重新命名服務證書 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

2.生成證書檔案

sudo chmod +x cert.sh
./cert.sh --ssl-domain=rancher.sigs.applysquare.net --ssl-size=2048 --ssl-date=3650

3.建立名稱空間

kubectl create namespace cattle-system

4.服務證書和私鑰密文

kubectl -n cattle-system create \
secret tls tls-rancher-ingress \
--cert=./tls.crt \
--key=./tls.key

5.ca證書密文

kubectl -n cattle-system create secret \
generic tls-ca \
--from-file=./cacerts.pem

注意:

證書、私鑰、ca名稱必須是tls.crt、tls.key、cacerts.pem

六、Helm安裝Rancher

1.新增Chart倉庫地址

helm repo add rancher-stablehttps://releases.rancher.com/server-charts/stable

2.安裝rancher

helm install rancher rancher-stable/rancher \
--namespace cattle-system \
--set hostname=rancher.test.com \
--set ingress.tls.source=secret \
--set privateCA=true

注意:

證書對應的域名需要與hostname選項匹配,否則ingress將無法代理訪問Rancher。

3.檢視pod的執行狀態

kubectl --kubeconfig=kube_config_rancher-cluster.yml get pods --all-namespaces

4.在各個伺服器hosts檔案加入(包括宿主機)

192.168.1.4 rancher.test.com

4.頁面訪問:https://rancher.test.com/

4.1第一次登入會要求設定管理員密碼,預設管理員賬號為: admin



4.2.檢視群集狀態

4.3 如果想要匯入新的K8s群集,可以這樣操作:

如果訪問頁面發生如下報錯:

解決辦法:

1.檢視防火牆
2.檢視hosts檔案
3.重啟docker

參考檔案

1.rancher 官方文件https://docs.rancher.cn/rancher2x/
2.rancherhttps://rancher2.docs.rancher.cn/