kubeadm部署高可用叢集Kubernetes 1.14.1版本
Kubernetes高可用叢集部署
部署架構:
Master 元件:
- kube-apiserver
Kubernetes API,叢集的統一入口,各元件協調者,以HTTP API提供介面服務,所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。
- kube-controller-manager
處理叢集中常規後臺任務,一個資源對應一個控制器,而ControllerManager就是負責管理這些控制器的。
- kube-scheduler
根據排程演算法為新建立的Pod選擇一個Node節點。
Node 元件:
- kubelet
kubelet是Master在Node節點上的Agent,管理本機執行容器的生命週期,比如建立容器、Pod掛載資料卷、
下載secret、獲取容器和節點狀態等工作。kubelet將每個Pod轉換成一組容器。
- kube-proxy
在Node節點上實現Pod網路代理,維護網路規則和四層負載均衡工作。
- docker
執行容器。
第三方服務:
- etcd
分散式鍵值儲存系統。用於保持叢集狀態,比如Pod、Service等物件資訊。
下圖清晰表明了Kubernetes的架構設計以及元件之間的通訊協議。
一、環境規劃
角色 |
IP |
元件 |
K8S-MASTER01 |
10.247.74.48 |
kube-apiserver kubelet flannel Nginx keepalived |
K8S-MASTER02 |
10.247.74.49 |
kube-apiserver kubelet flannel Nginx keepalived |
K8S-MASTER03 |
10.247.74.50 |
kube-apiserver kubelet flannel Nginx keepalived |
K8S-NODE01 |
10.247.74.53 |
kubelet |
K8S-NODE02 |
10.247.74.54 |
kubelet |
K8S-NODE03 |
10.247.74.55 |
kubelet |
K8S-NODE04 |
10.247.74.56 |
kubelet |
K8S-VIP |
10.247.74.51 |
軟體版本資訊
軟體 |
版本 |
Linux作業系統 |
Red Hat Enterprise 7.6_x64 |
Kubernetes |
1.14.1 |
Docker |
18.06.3-ce |
Etcd |
3.0 |
Nginx |
17.0 |
1.1系統環境準備(所有節點)
#設定主機名及關閉selinux,swap分割槽
cat <<EOF >>/etc/hosts 10.247.74.48 TWDSCPA203V 10.247.74.49 TWDSCPA204V 10.247.74.50 TWDSCPA205V 10.247.74.53 TWDSCPA206V 10.247.74.54 TWDSCPA207V 10.247.74.55 TWDSCPA208V 10.247.74.56 TWDSCPA209V 10.247.74.51 K8S-VIP EOF sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config swapoff -a sed -i 's/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g' /etc/fstab systemctl enable ntpd systemctl start ntpd
#設定核心引數
echo "* soft nofile 32768" >> /etc/security/limits.conf echo "* hard nofile 65535" >> /etc/security/limits.conf echo "* soft nproc 32768" >> /etc/security/limits.conf echo "* hadr nproc 65535" >> /etc/security/limits.conf cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_nonlocal_bind = 1 net.ipv4.ip_forward = 1 vm.swappisysctl --system ness=0 EOF sysctl --system sysctl -p
#載入IPVS模組
在所有的Kubernetes節點執行以下指令碼(若核心大於4.19替換nf_conntrack_ipv4為nf_conntrack):
cat > /etc/sysconfig/modules/ipvs.modules <<EOF #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF
#執行指令碼
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
#安裝ipvs相關管理軟體
yum install ipset ipvsadm -y reboot
1.2安裝Docker(所有節點)
# Step 1: 安裝必要的一些系統工具
yum install -y yum-utils device-mapper-persistent-data lvm2
#sSep 2:安裝ddocker
yum update -y && yum install -y docker-ce-18.06.3.ce
# Step 3: 配置docker倉庫及映象存放路徑
mkdir -p /mnt/sscp/data/docker cat > /etc/docker/daemon.json <<EOF { "registry-mirrors": [ "https://registry.docker-cn.com"], "insecure-registries":["172.31.182.143"], "graph": "//mnt/sscp/data/docker" } EOF
# Step 4: 重啟啟Docker服務
systemctl restart docker systemctl enable docker
1.3部署Nginx
一、安裝依賴包 yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel 二、從官網下載安裝包 wget https://nginx.org/download/nginx-1.16.0.tar.gz 三、解壓並安裝 tar zxvf nginx-1.16.0.tar.gz cd nginx-1.16.0 ./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module --with-http_flv_module --with-http_mp4_module --with-http_gzip_static_module--with-stream --with-stream_ssl_module make && make install 四、配置kube-apiserver反向代理 stream { log_format main '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent'; access_log /var/log/nginx/k8s-access.log main; upstream k8s-apiserver { server 10.247.74.48:6443; server 10.247.74.49:6443; server 10.247.74.50:6443; } server { listen 0.0.0.0:8443; proxy_pass k8s-apiserver; } } 五、啟動nginx服務 /usr/local/sbin/nginx
1.4部署keepalived
一、下載地址: wget https://www.keepalived.org/software/keepalived-2.0.16.tar.gz 二、解壓並安裝 tar xf keepalived-2.0.16.tar.gz cd keepalived-2.0.16 ./configure --prefix=/usr/local/keepalived make && make install cp /root/keepalived-2.0.16/keepalived/etc/init.d/keepalived /etc/init.d/ cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ mkdir /etc/keepalived cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/ cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ 二、新增配置檔案 vim /etc/keepalived/keepalived.conf MASTER: vrrp_instance VI_1 { state MASTER interface ens32 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 10.247.74.51/24 } BACKUP: vrrp_instance VI_1 { state BACKUP interface ens32 virtual_router_id 51 priority 90 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 10.247.74.51/24 }
1.5部署kubeadm(所有節點)
以下操作在所有節點執行。
#由於官方源國內無法訪問,這裡使用阿里雲yum源進行替換:
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
#安裝kubeadm、kubelet、kubectl,注意這裡安裝版本v1.14.1:
yum install -y kubelet-1.14.1 kubeadm-1.14.1 kubectl-1.14.1 systemctl enable kubelet && systemctl start kubelet
1.6部署Master節點
初始化參考: https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/ https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta1
建立初始化配置檔案 可以使用如下命令生成初始化配置檔案
kubeadm config print init-defaults > kubeadm-config.yaml
根據實際部署環境修改資訊:
apiVersion: kubeadm.k8s.io/v1beta1 bootstrapTokens: - groups: - system:bootstrappers:kubeadm:default-node-token token: abcdef.0123456789abcdef ttl: 24h0m0s usages: - signing - authentication kind: InitConfiguration localAPIEndpoint: advertiseAddress: 10.247.74.48 bindPort: 6443 nodeRegistration: criSocket: /var/run/dockershim.sock name: cn-hongkong.i-j6caps6av1mtyxyofmrw taints: - effect: NoSchedule key: node-role.kubernetes.io/master --- apiServer: timeoutForControlPlane: 4m0s apiVersion: kubeadm.k8s.io/v1beta1 certificatesDir: /etc/kubernetes/pki clusterName: kubernetes controlPlaneEndpoint: "10.247.74.51:8443" controllerManager: {} dns: type: CoreDNS etcd: local: dataDir: /var/lib/etcd imageRepository: registry.aliyuncs.com/google_containers kind: ClusterConfiguration kubernetesVersion: v1.14.1 networking: dnsDomain: cluster.local podSubnet: "10.244.0.0/16" serviceSubnet: 10.96.0.0/12 scheduler: {} --- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration featureGates: SupportIPVSProxyMode: true mode: ipvs
配置說明:
controlPlaneEndpoint:為vip地址和haproxy監聽埠6444 imageRepository:由於國內無法訪問google映象倉庫k8s.gcr.io,這裡指定為阿里雲映象倉庫registry.aliyuncs.com/google_containers podSubnet:指定的IP地址段與後續部署的網路外掛相匹配,這裡需要部署flannel外掛,所以配置為10.244.0.0/16 mode: ipvs:最後追加的配置為開啟ipvs模式。
在叢集搭建完成後可以使用如下命令檢視生效的配置檔案:
kubeadm config images pull --config kubeadm-config.yaml # 通過阿里源預先拉映象
初始化Master01節點
這裡追加tee命令將初始化日誌輸出到kubeadm-init.log中以備用(可選)。
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
該命令指定了初始化時需要使用的配置檔案,其中新增–experimental-upload-certs引數可以在後續執行加入節點時自動分發證書檔案。
1.7新增其他Master節點
執行以下命令:
kubeadm join 10.247.74.51:8443 --token ocb5tz.pv252zn76rl4l3f6 \ --discovery-token-ca-cert-hash sha256:141bbeb79bf58d81d551f33ace207c7b19bee1cfd7790112ce26a6a300eee5a2 \ --experimental-control-plane --certificate-key 20366c9cdbfdc1435a6f6d616d988d027f2785e34e2df9383f784cf61bab9826
新增上下文:
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
1.8新增Node節點
執行以下命令:
kubeadm join 10.247.74.51:8443 --token ocb5tz.pv252zn76rl4l3f6 \ --discovery-token-ca-cert-hash sha256:141bbeb79bf58d81d551f33ace207c7b19bee1cfd7790112ce26a6a300eee5a2
1.9部署flannel並查詢叢集狀態
一、部署flannel
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
二、檢視叢集狀態
# kubectl get node
1.10後續
token預設24h後失效如果有新的node加入可在master上重新生成:
kubeadm token create --print-join-command
相關推薦
kubeadm部署高可用叢集Kubernetes 1.14.1版本
Kubernetes高可用叢集部署 部署架構: Master 元件: kube-apiserver Kubernetes API,叢集的統一入口,各元件協調者,以HTTP API提供介面服務,所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。
再探使用kubeadm部署高可用的k8s集群-01引言
data- mode etcd [1] working -s device master 基本 再探使用kubeadm部署高可用的k8s集群-01引言 2018/1/26 提示 僅供測試用途前言:高可用一直是重要的話題,需要持續研究。最近關註到 k8s 官網文檔有更新,其中
keepalive軟體部署 高可用叢集(HA)
使用keepalive軟體部署 高可用叢集(HA) keepalived軟體可以做任意單點故障節點的高可用叢集 把網站伺服器66和67配置為HA叢集,正在被使用者訪問的主機66做主,67做備份伺服器 使用目標:當網站伺服器64宕機後,網站伺服器65自動響應客戶端訪問網站
使用開源Breeze工具部署Kubernetes 1.12.1高可用叢集_Kubernetes中文社群
Breeze專案是深圳睿雲智合所開源的Kubernetes圖形化部署工具,大大簡化了Kubernetes部署的步驟,其最大亮點在於支援全離線環境的部署,且不需要翻牆獲取Google的相應資源包,尤其適合某些不便訪問網際網路的伺服器場景。(專案地址 https://github.com/wise
[K8s 1.9實踐]Kubeadm 1.9 HA 高可用 叢集 本地離線映象部署_Kubernetes中文社群
Kubeadm HA 1.9 高可用 叢集 本地離線部署 k8s介紹 k8s 發展速度很快,目前很多大的公司容器叢集都基於該專案,如京東,騰訊,滴滴,瓜子二手車,北森等等。 kubernetes1.9版本釋出2017年12月15日,每是那三個月一個迭代, Workloads API成為穩定版本,這消除
基於 Ansible 快速部署 kubernetes 1.10.4 HA 高可用叢集
一、背景 菜鳥只是拿來試試,順便記錄下過程。二、部署過程2.1 準備機器 本次實驗準備了4臺虛機,192.168.5.201~204 ,主機名 node-01 ~ node-04 node-01 當作部署機,node-01~02 作為 Mas
kubeadm安裝高可用kubernetes v1.14.1
root rec nload 環境 ret token reat iptable wall 前言 步驟跟之前安裝1.13版本的是一樣的 區別就在於kubeadm init的configuration file 目前kubeadm init with configura
使用kubeadm進行單master(single master)和高可用(HA)kubernetes叢集部署
kubeadm部署k8s 使用kubeadm進行k8s的部署主要分為以下幾個步驟: 環境預裝: 主要安裝docker、kubeadm等相關工具。 叢集部署: 叢集部署分為single master(單master,只有一個master節點)和高可用HA叢集部署兩種模式。主要部署k8s的相關元件。本文將分別做
Kubeadm建立高可用Kubernetes v1.12.0叢集 (轉)
節點規劃 主機名 IP Role k8s-master01 10.3.1.20 etcd、Master、Node、keepalived k8s-master02 10.3.1.21 etcd、Master、Node、keepa
使用kuberspay部署高可用kubernetes叢集
0 環境 環境: 主機名 IP k8s-node01 172.16.120.151 k8s-node02 172.16.120.152 k8s-node03 172.16.120.153
k8s(一)、 1.9.0高可用叢集本地離線部署記錄
一、部署說明 1.節點 master1: IP:192.168.0.170/24 hostname:171 master2: IP:192.168.0.171/24 hostname:172 VIP:192.168.0.169/24 2.工具版
在Kubernetes叢集上部署高可用Harbor映象倉庫
一、實驗環境 harbor的工作節點 10.142.71.120 paasm1 10.142.71.121 paasm2 10.142.71.123 paashar 作業系統:CentOS Linux release 7.2.1511 (Core)
使用kubespray部署高可用kubernetes叢集
0 環境環境:主機名IPk8s-node01172.16.120.151k8s-node02172.16.120.152k8s-node03172.16.120.153ansible-client設定主機名:hostnamectl --static set-hostname
.Net Core2.1 秒殺專案一步步實現CI/CD(Centos7.2)系列一:k8s高可用叢集搭建總結以及部署API到k8s
前言:本系列部落格又更新了,是博主研究很長時間,親自動手實踐過後的心得,k8s叢集是購買了5臺阿里雲伺服器部署的,這個叢集差不多搞了一週時間,關於k8s的知識點,我也是剛入門,這方面的知識建議參考部落格園大神edisonchou的系列文章《.NET Core on K8S學習實踐系列文章索引(Draft版)》
kubernetes叢集部署高可用Postgresql的Stolon方案
目錄 前言 ....前言 本文選用Stolon的方式搭建Postgresql高可用方案,主要為Harbor提供高可用資料庫,Harbor搭建可檢視kubernetes搭建Harbor無坑及Harbor倉庫同步,之後會提供redis高可用及Harbor高可用方案搭建 方案比較 幾種postgresql高可用方案
kubeadm實現k8s高可用叢集環境部署與配置
# 高可用架構 k8s叢集的高可用實際是**k8s各核心元件**的**高可用**,這裡使用**主備模式**,架構如下: ![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200602143045152.png?x-oss-process=image/watermark,ty
部署一套完整的Kubernetes高可用叢集(二進位制,v1.18版)
一、前置知識點 1.1 生產環境可部署Kubernetes叢集的兩種方式 目前生產部署Kubernetes叢集主要有兩種方式: kubeadm Kubeadm是一個K8s部署工具,提供kubeadm init和kubeadm join,用於快速部署Kubernetes叢集。 官方地址:https://ku
一文吃透如何部署kubernetes高可用叢集
使用 k8s 官方提供的部署工具 kubeadm 自動安裝,需要在 master 和 node 節點上安裝 docker 等元件,然後初始化,把管理端的控制服務和 node 上的服務都以 pod 的方式執行。 kubernetes部署過程: 本次部署的叢集是v1.17.2 分為以下幾個步驟 1.基礎環境
Kubernetes實戰 高可用叢集搭建,配置,運維與應用
1-1 K8S導學 1-2 搭建K8S叢集步驟和要點介紹 1-3 搭建三節點Ubuntu環境 1-4 安裝容器引擎 1-5 下載Kubeadm、node元件和命令列工具 1-6 向叢集中加入worker節點 1-7 安裝dashboard和heapste
Flume NG高可用叢集搭建詳解(基於flume-1.7.0)
1、Flume NG簡述 Flume NG是一個分散式,高可用,可靠的系統,它能將不同的海量資料收集,移動並存儲到一個數據儲存系統中。輕量,配置簡單,適用於各種日誌收集,並支援 Failover和負載均衡。並且它擁有非常豐富的元件。Flume NG採用的是三層架構:Agent層,Collecto