1. 建立kube-apiserver證書

1）建立kube-apiserver證書籤名請求

# api-server啟用雙向TLS認證
[[email protected] ~]# mkdir -p /etc/kubernetes/apiserver
[[email protected] ~]# cd /etc/kubernetes/apiserver/
[[email protected] apiserver]# touch apiserver-csr.json

# hosts欄位不為空時，指定授權使用該證書的ip與域名列表；
# 加入叢集個節點ip，1次生成證書分發即可；
# 前端ha節點也需要與apiserver通訊；
 

# 同時指定叢集內部多個域名與kube-apiserver註冊的名為kubernetes的服務ip(Service Cluster IP)，一般是--service-cluster-ip-range 選項值指定的網段的第一個IP
[[email protected] apiserver]# vim apiserver-csr.json
{
    "CN": "kubernetes",
    "hosts": [
      "127.0.0.1",
      "172.30.200.10",
      "172.30.200.11",
      "172.30.200.12",
      "172.30.200.21
 
",
      "172.30.200.22",
      "172.30.200.23",
      "169.169.0.1",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    
 
"names": [
        {
            "C": "CN",
            "ST": "ChengDu",
            "L": "ChengDu",
            "O": "k8s",
            "OU": "cloudteam"
        }
    ]
}

2）生成kube-apiserver證書與私鑰

[[email protected] apiserver]# cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \
-ca-key=/etc/kubernetes/ssl/ca-key.pem \
-config=/etc/kubernetes/ssl/ca-config.json \
-profile=kubernetes apiserver-csr.json | cfssljson -bare apiserver

# 分發apiserver.pem，apiserver-key.pem
[[email protected] apiserver]# scp apiserver.pem apiserver-key.pem [email protected]:/etc/kubernetes/apiserver/
[[email protected] apiserver]# scp apiserver.pem apiserver-key.pem [email protected]:/etc/kubernetes/apiserver/

2. 配置kube-apiserver的systemd unit檔案

相關可執行檔案在部署kubectl時已部署完成。

1）建立kube-apiserver使用的客戶端token檔案

kubelet 啟動時向 kube-apiserver傳送註冊資訊，在雙向的TLS加密通訊環境中需要認證，手工為kubelet生成證書/私鑰在node節點較少且數量固定時可行，採用TLS Bootstrapping 機制，可使大量的node節點自動完成向kube-apiserver的註冊請求。

原理：kubelet 首次啟動時向 kube-apiserver 傳送 TLS Bootstrapping 請求，kube-apiserver 驗證 kubelet 請求中的 token 是否與它配置的 token.csv 一致，如果一致則自動為 kubelet生成證書和祕鑰。

[[email protected] ~]# mkdir -p /etc/kubernetes/bootstrap
[[email protected] ~]# cd /etc/kubernetes/bootstrap/
[[email protected] bootstrap]# cat > token.csv << EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF

# 分發
[[email protected] ~]# scp /etc/kubernetes/bootstrap/token.csv [email protected]:/etc/kubernetes/bootstrap/
[[email protected] ~]# scp /etc/kubernetes/bootstrap/token.csv [email protected]:/etc/kubernetes/bootstrap/

2）配置kube-apiserver的systemd unit檔案

[[email protected] ~]# touch /usr/lib/systemd/system/kube-apiserver.service
[[email protected] ~]# vim /usr/lib/systemd/system/kube-apiserver.service
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target

[Service]
User=root
EnvironmentFile=/usr/local/kubernetes/kube-apiserver.conf
ExecStart=/usr/local/kubernetes/bin/kube-apiserver $KUBE_API_ARGS
Restart=on-failure
RestartSec=5
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
# 啟動引數檔案；
# --admission-control：kuberneres叢集的准入控制機制，各控制模組以外掛的形式依次生效，叢集時必須包含ServiceAccount；
# --bind-address：不能為 127.0.0.1；在本地址的6443埠開啟https服務，預設值0.0.0.0； # --insecure-port=0：禁用不安全的http服務，預設開啟，埠8080，設定為0禁用； --secure-port=6443：https安全埠，預設即6443，0表示禁用；
# --authorization-mode：在安全埠使用 RBAC 授權模式，未通過授權的請求拒絕；
# --service-cluster-ip-range：指定 Service Cluster IP 地址段，該地址段外部路由不可達；
# --service-node-port-range：指定 NodePort 的埠範圍；
# --storage-backend：持久化儲存型別，v1.6版本後預設即etcd3；
# --enable-swagger-ui：設定為true時，啟用swagger-ui網頁，可通過apiserver的usl/swagger-ui訪問，預設為false；
# --allow-privileged：設定為true時，kubernetes允許在Pod中執行擁有系統特權的容器應用；
# --audit-log-*：審計日誌相關；
# --event-ttl：apiserver中各時間保留時間，預設即1h，通常用於審計與追蹤；
# --logtostderr：預設為true，輸出到stderr，不輸出到日誌；
# --log-dir：日誌目錄； 
# --v：日誌級別
[[email protected] ~]# touch /usr/local/kubernetes/kube-apiserver.conf
[[email protected] ~]# vim /usr/local/kubernetes/kube-apiserver.conf
KUBE_API_ARGS="--admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,NodeRestriction \
  --advertise-address=172.30.200.21 \
  --bind-address=172.30.200.21 \
  --insecure-port=0 \
  --authorization-mode=Node,RBAC \
  --runtime-config=rbac.authorization.k8s.io/v1beta1 \
  --kubelet-https=true \
  --token-auth-file=/etc/kubernetes/bootstrap/token.csv \
  --service-cluster-ip-range=169.169.0.0/16 \
  --service-node-port-range=10000-60000 \
  --tls-cert-file=/etc/kubernetes/apiserver/apiserver.pem \
  --tls-private-key-file=/etc/kubernetes/apiserver/apiserver-key.pem \
  --client-ca-file=/etc/kubernetes/ssl/ca.pem \
  --service-account-key-file=/etc/kubernetes/ssl/ca-key.pem \
  --etcd-cafile=/etc/kubernetes/ssl/ca.pem \
  --etcd-certfile=/etc/kubernetes/apiserver/apiserver.pem \
  --etcd-keyfile=/etc/kubernetes/apiserver/apiserver-key.pem \
  --storage-backend=etcd3 \
  --etcd-servers=https://172.30.200.21:2379,https://172.30.200.22:2379,https://172.30.200.23:2379 \
  --enable-swagger-ui=true \
  --allow-privileged=true \
  --apiserver-count=3 \
  --audit-log-maxage=30 \
  --audit-log-maxbackup=3 \
  --audit-log-maxsize=100 \
  --audit-log-path=/var/lib/audit.log \
  --event-ttl=1h \
  --logtostderr=false \
  --log-dir=/var/log/kubernetes/apiserver \
  --v=2  1>>/var/log/kubernetes/apiserver/kube-apiserver.log 2>&1"

# 建立日誌目錄
[[email protected] ~]# mkdir -p /var/log/kubernetes/apiserver 

3. 啟動並驗證

[[email protected] ~]# systemctl daemon-reload
[[email protected] ~]# systemctl enable kube-apiserver
[[email protected] ~]# systemctl start kube-apiserver
[[email protected] ~]# systemctl status kube-apiserver