k8s v1.13 集群部署

阿新 • • 發佈：2018-12-09

ner allow cert tst ip地址 swap sig 顯示 kubectl

k8s v1.13 集群部署

規劃

192.168.100.100  master.hequan.lol  master
192.168.100.101  node01.hequan.lol  node01
192.168.100.102  node02.hequan.lol  node02

準備工作

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
vi /etc/selinux/config
SELINUX=disabled

vim /etc/hosts
192.168.100.100  master.hequan.lol  master
192.168.100.101  node01.hequan.lol  node01
192.168.100.102  node02.hequan.lol  node02

swapoff -a && sysctl -w vm.swappiness=0
vi /etc/fstab
#UUID=7bff6243-324c-4587-b550-55dc34018ebf swap                    swap    defaults        0 0

cat << EOF | tee /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl -p /etc/sysctl.d/k8s.conf

mkdir  /data/docker
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

sudo yum makecache fast
sudo yum -y install docker-ce

docker version
systemctl enable docker.service    
systemctl start docker.service

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-‘EOF‘
{"registry-mirrors": ["https://890km4uy.mirror.aliyuncs.com"],"graph": "/data/docker"}
EOF
sudo systemctl daemon-reload

sudo systemctl restart docker

etcd: 參考我的這篇博客  http://blog.51cto.com/hequan/2327820
flanneld:  參考我的這篇博客 http://blog.51cto.com/hequan/2327822

在Master部署組件

生成證書


mkdir /data/ssl/k8s
cd /data/ssl/k8s

vim  k8s-ssl.sh
# cat ca-config.json
cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

# cat ca-csr.json
cat > ca-csr.json << EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

# server-csr.json
cat > server-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "127.0.0.1",
      "192.168.100.100",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

# cat kube-proxy-csr.json
cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

sh k8s-ssl.sh

ls *pem
ca-key.pem  ca.pem  kube-proxy-key.pem  kube-proxy.pem  server-key.pem  server.pem

cp /data/ssl/k8s/*pem /opt/kubernetes/ssl/

apiserver

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.13.md

cd /data/src
kubernetes-server-linux-amd64.tar.gz

tar xf kubernetes-server-linux-amd64.tar.gz
cd kubernetes/server/bin/
cp kube-apiserver kube-scheduler kube-controller-manager kubectl /opt/kubernetes/bin

vim /opt/kubernetes/cfg/token.csv
MnCwST4J8KAn7qLkMnklR8LytumEBb,kubelet-bootstrap,10001,"system:kubelet-bootstrap"
第一列：隨機字符串，自己可生成  可用 head -c 16 /dev/urandom | od -An -t x | tr -d ‘ ‘ 生成
第二列：用戶名
第三列：UID
第四列：用戶組

vim /opt/kubernetes/cfg/kube-apiserver
KUBE_APISERVER_OPTS="--logtostderr=true --v=4 --etcd-servers=https://192.168.100.100:2379,https://192.168.100.101:2379,https://192.168.100.102:2379 --bind-address=192.168.100.100 --secure-port=6443 --advertise-address=192.168.100.100 --allow-privileged=true --service-cluster-ip-range=10.0.0.0/24 --enable-admission-plugins=NamespaceLifecycle,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota,NodeRestriction --authorization-mode=RBAC,Node --enable-bootstrap-token-auth --token-auth-file=/opt/kubernetes/cfg/token.csv --service-node-port-range=30000-50000 --tls-cert-file=/opt/kubernetes/ssl/server.pem  --tls-private-key-file=/opt/kubernetes/ssl/server-key.pem --client-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-key-file=/opt/kubernetes/ssl/ca-key.pem --etcd-cafile=/opt/etcd/ssl/ca.pem --etcd-certfile=/opt/etcd/ssl/server.pem --etcd-keyfile=/opt/etcd/ssl/server-key.pem"

* --logtostderr 啟用日誌
* ---v 日誌等級
* --etcd-servers etcd集群地址
* --bind-address 監聽地址
* --secure-port https安全端口
* --advertise-address 集群通告地址
* --allow-privileged 啟用授權
* --service-cluster-ip-range Service虛擬IP地址段
* --enable-admission-plugins 準入控制模塊
* --authorization-mode 認證授權，啟用RBAC授權和節點自管理
* --enable-bootstrap-token-auth 啟用TLS bootstrap功能，後面會講到
* --token-auth-file token文件
* --service-node-port-range Service Node類型默認分配端口範圍

vim /usr/lib/systemd/system/kube-apiserver.service
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-apiserver
ExecStart=/opt/kubernetes/bin/kube-apiserver $KUBE_APISERVER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable kube-apiserver
systemctl restart kube-apiserver

scheduler組件

vim  /opt/kubernetes/cfg/kube-scheduler
KUBE_SCHEDULER_OPTS="--logtostderr=true --v=4 --master=127.0.0.1:8080 --leader-elect"

* --master 連接本地apiserver
* --leader-elect 當該組件啟動多個時，自動選舉（HA）

vim /usr/lib/systemd/system/kube-scheduler.service
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-scheduler
ExecStart=/opt/kubernetes/bin/kube-scheduler $KUBE_SCHEDULER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable kube-scheduler.service
systemctl restart kube-scheduler.service

controller-manager組件

vim /opt/kubernetes/cfg/kube-controller-manager
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=true --v=4 --master=127.0.0.1:8080 --leader-elect=true --address=127.0.0.1 --service-cluster-ip-range=10.0.0.0/24 --cluster-name=kubernetes --cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem --cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  --root-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem"

vim /usr/lib/systemd/system/kube-controller-manager.service
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-controller-manager
ExecStart=/opt/kubernetes/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable kube-controller-manager
systemctl restart kube-controller-manager

檢查

/opt/kubernetes/bin/kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"}

在node部署組件

說明

Master apiserver啟用TLS認證後，Node節點kubelet組件想要加入集群，必須使用CA簽發的有效證書才能與apiserver通信，當Node節點很多時，簽署證書是一件很繁瑣的事情，因此有了TLS Bootstrapping機制，kubelet會以一個低權限用戶自動向apiserver申請證書，kubelet的證書由apiserver動態簽署

master操作

vim /etc/profile
export PATH=/opt/kubernetes/bin:$PATH
source /etc/profile

將kubelet-bootstrap用戶綁定到系統集群角色
/opt/kubernetes/bin/kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

clusterrolebinding.rbac.authorization.k8s.io/kubelet-bootstrap created

cd /data/ssl/k8s/

創建kubeconfig文件
在生成kubernetes證書的目錄下執行以下命令生成kubeconfig文件：

vim kubeconfig.sh
# 創建kubelet bootstrapping kubeconfig
# 註意更新密碼 和IP
BOOTSTRAP_TOKEN=MnCwST4J8KAn7qLkMnklR8LytumEBb
KUBE_APISERVER="https://192.168.100.100:6443"

# 設置集群參數
kubectl config set-cluster kubernetes   --certificate-authority=./ca.pem   --embed-certs=true   --server=${KUBE_APISERVER}   --kubeconfig=bootstrap.kubeconfig

# 設置客戶端認證參數
kubectl config set-credentials kubelet-bootstrap   --token=${BOOTSTRAP_TOKEN}   --kubeconfig=bootstrap.kubeconfig

# 設置上下文參數
kubectl config set-context default   --cluster=kubernetes   --user=kubelet-bootstrap   --kubeconfig=bootstrap.kubeconfig

# 設置默認上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

#----------------------

# 創建kube-proxy kubeconfig文件

kubectl config set-cluster kubernetes   --certificate-authority=./ca.pem   --embed-certs=true   --server=${KUBE_APISERVER}   --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy   --client-certificate=./kube-proxy.pem   --client-key=./kube-proxy-key.pem   --embed-certs=true   --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default   --cluster=kubernetes   --user=kube-proxy   --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

ls  bootstrap.kubeconfig kube-proxy.kubeconfig
scp bootstrap.kubeconfig kube-proxy.kubeconfig  root@node01:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig  root@node02:/opt/kubernetes/cfg/

cd /data/src/kubernetes/server/bin

scp kubelet kube-proxy root@node01:/opt/kubernetes/bin/
scp kubelet kube-proxy root@node02:/opt/kubernetes/bin/

node:

node01 192.168.100.101 10.0.0.2

node02 192.168.100.102 10.0.0.3

vim /opt/kubernetes/cfg/kubelet
KUBELET_OPTS="--logtostderr=true --v=4 --hostname-override=192.168.100.101 --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig --bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig --config=/opt/kubernetes/cfg/kubelet.config --cert-dir=/opt/kubernetes/ssl --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"

* --hostname-override 在集群中顯示的主機名
* --kubeconfig 指定kubeconfig文件位置，會自動生成
* --bootstrap-kubeconfig 指定剛才生成的bootstrap.kubeconfig文件
* --cert-dir 頒發證書存放位置
* --pod-infra-container-image 管理Pod網絡的鏡像

vim /opt/kubernetes/cfg/kubelet.config
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 192.168.100.101
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS: ["10.0.0.2"]
clusterDomain: cluster.local.
failSwapOn: false
authentication:
  anonymous:
    enabled: true

vim /usr/lib/systemd/system/kubelet.service
[Unit]
Description=Kubernetes Kubelet
After=docker.service
Requires=docker.service

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet
ExecStart=/opt/kubernetes/bin/kubelet $KUBELET_OPTS
Restart=on-failure
KillMode=process

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable kubelet
systemctl restart kubelet

kubectl get csr
kubectl certificate approve  name
kubectl get node

kube-proxy

vim /opt/kubernetes/cfg/kube-proxy
KUBE_PROXY_OPTS="--logtostderr=true --v=4 --hostname-override=192.168.100.101 --cluster-cidr=10.0.0.0/24 --kubeconfig=/opt/kubernetes/cfg/kube-proxy.kubeconfig"

vim /usr/lib/systemd/system/kube-proxy.service
[Unit]
Description=Kubernetes Proxy
After=network.target

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-proxy
ExecStart=/opt/kubernetes/bin/kube-proxy $KUBE_PROXY_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl enable kube-proxy
systemctl restart kube-proxy

檢查

kubectl get componentstatus
kubectl get node

啟動測試示例

kubectl  run nginx --image=nginx --replicas=3
kubectl  get pods -o wide
kubectl  expose deployment nginx --port=88 --target-port=80 --type=NodePort
kubectl  get svc nginx

k8s v1.13 集群部署

ner allow cert tst ip地址 swap sig 顯示 kubectl k8s v1.13 集群部署規劃 192.168.100.100 master.hequan.lol master 192.168.100.101 node01.hequan.

自己動手之k8s etcd ssl集群部署操作記錄

perm 啟動 type 可能性而且名稱 onf 配置 exit 參考文檔:https://github.com/opsnull/follow-me-install-kubernetes-cluster 1.下載和分發二進制安裝包 [root@k8s-master ku

k8s v1.13.4 集群部署

weave yun notify eos 127.0.0.1 sha2 ali tar manage 部署環境主機節點清單服務器名 ip地址 etcd K8S server K8s node node01 172.16.50.111 Y Y node

CentOS部署Kubernetes1.13集群-1（使用kubeadm安裝K8S）

1.7 沒有 div docker0 forward format www dynamic 開始參考：https://www.kubernetes.org.cn/4956.html 1.準備說明：準備工作需要在集群所有的主機上執行 1.1系統配置在安裝之前，

centos7 k8s集群部署

k8s 集群部署安裝k8s集群前期準備：網絡環境：節點主機名 ipMaster k8s_master 192.168.3.216Node1 k8s_node1 192.168.3

純手工搭建kubernetes(k8s)1.9集群 - (二)核心模塊部署

kubernetes 集群部署環境搭建 devops 持續集成 1. 部署ETCD（主節點） 1.1 簡介 ??kubernetes需要存儲很多東西，像它本身的節點信息，組件信息，還有通過kubernetes運行的pod，deployment，service等等。都需要持久化。etcd就

手動安裝K8s第三節：etcd集群部署

docker kubernetes 容器手動安裝K8s第三節：etcd集群部署準備安裝包https://github.com/coreos/etcd版本：3.2.18wget https://github.com/coreos/etcd/releases/download/v3.2.18/et

kubernetes V1.10.4 集群部署 (手動生成證書)

nbsp namespace owin 服務器初始 row lse uber air sam 說明：本文檔涉及docker鏡像，yaml文件下載地址鏈接：https://pan.baidu.com/s/1QuVelCG43_VbHiOs04R3-Q 密碼：70q2本文只是作

Kubernetes+Etcd-v1.7.0 + CA 分布式集群部署

read ack failure 其他 address ... oar vxlan hostname kubernetes 1.7.0 + flannel 二進制部署 kubernetes 1.7.0 + flannel 基於

Kubernetes(k8s)集群部署（k8s企業級Docker容器集群管理）系列之部署master/node節點組件（四）

clas -- ken let 發現特殊 ref uber scp 0、前言整體架構目錄：ASP.NET Core分布式項目實戰-目錄 k8s架構目錄：Kubernetes(k8s)集群部署（k8s企業級Docker容器集群管理）系列目錄 1、部署master組

二進制安裝kubernetes v1.11.2 （第四章 etcd集群部署）

sys serve file nload dct scrip comm enc gdi 繼續第一章的部署。六、部署etcd集群 6.1 kubernetes使用etcd存儲所有數據，本節極少部署一個2個節點高可用的etcd集群，復用第一章的master節點。 192.1

【轉】k8s 集群部署問題整理

efault cover mount nec rbd -c rap out pubkey 1、hostname “master” could not be reached在host中沒有加解析 2、curl -sSL http://localhos

k8s集群部署

dock ise 0.12 borde ont control manager 角色 height 角色 IP 組件配置 master-1 192.168.10.11 kube-apiserver kube-controller-ma

linux集群部署

ebo hpc oot star comm style eboot 3.4 sample *********************************配置主機名，通過主機名連接機器********************************* 比如說，已經有了三臺

etcd 集群部署

rect selinux $2 span amp amd -m ntpd working 關於etcd的介紹，我這裏就不做介紹。百度一下即可，主要還是講一下部署。一、環境介紹 1.1 主機環境 IP地址主機名角色備註 192.168.15.131 k8s-

storm集群部署和配置過程詳解

多少帶來進程創建使用命令介紹 aml 可能 ---恢復內容開始--- 先整體介紹一下搭建storm集群的步驟：設置zookeeper集群安裝依賴到所有nimbus和worker節點下載並解壓storm發布版本到所有nimbus和worker節點配置s

Kafka 入門之集群部署遇到問題

學會 begin Kafka集群 zookeep 本地代碼解決方法部署研究　　最近，因為上級主管部門需要通過使用Kafka向其傳輸文件，又因為此前沒有接觸過kafka，所以在部署測試kafka程序期間遇到很多問題，在這裏總結4個問題與1個建議，方便入門者參考也便於

Kafka集群部署及測試

str conn 單位大數據 list compress baseline 類型消費者題記眼下我們對大數據進行研究方向以Spark為主，當中Spark Streaming是能夠接收動態數據流並進行處理。那麽Spark Streaming支持多源的數據發送端

ETL作業調度軟件TASKCTL4.1集群部署

其他說明安裝過程好的安裝包 p地址選項卡 agen 賬戶熟悉TASKCTL4.1一段時間後，覺得它的調度邏輯什麽的都還不錯，但是感覺單機部署不太夠用。想實現跨機調度作業，就要會TASKCTL的集群部署。下面就是我在網上找到的相關資料，非原創。單機部署成功後，

docker swarm集群部署

docker swarm docker swarm 集群構建：swarm 在docker 1.12 版本後內置#h官方文檔tps://docs.docker.com/engine/swarm/#feature-highlights系統環境： centos7.3 docker17.061、初始化ma

k8s v1.13 集群部署

規劃

準備工作

在Master部署組件

生成證書

apiserver

scheduler組件

controller-manager組件

檢查

在node部署組件

說明

master操作

node:

kube-proxy

檢查

啟動測試示例

相關推薦