2. 程式人生 > 其它 >7.第六篇 二進位制安裝 kube-apiserver

7.第六篇 二進位制安裝 kube-apiserver

阿新 • • 發佈：2022-03-17

文章轉載自：https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247483812&idx=1&sn=e6773e5638415e627e3a351f340b7bd0&chksm=e9fdd450de8a5d468503f85abefa7a4d6f62dacd60f835722036b6958c95c8a979e77c741f01&cur_album_id=1341273083637989377&scene=189#wechat_redirect

這裡會使用到以下IP，詳情可以檢視第二篇 環境初始化準備，以下本章節部分使用到的伺服器列表，之前我們還建立了認證key， 詳情檢視第三篇 PKI基礎概念、cfssl工具介紹及kubernetes中證書。

建立加密配置檔案

v1.7+版本後新特性，kube-apiserver 將Secret資料加密後儲存到etcd中，但是需要在kube-apiserver啟動時配置--experimental-encryption-provider-config，這裡我們定義加密配置格式如下，並且需要把這個配置檔案分發到所有master伺服器；

#!/bin/bash

cd /data/k8s/work
source /data/k8s/bin/env.sh

cat > encryption-config.yaml <<EOF
kind: EncryptionConfig
apiVersion: v1
resources:
  - resources:
      - secrets
    providers:
      - aescbc:
          keys:
            - name: key1
              secret: ${ENCRYPTION_KEY}
      - identity: {}
EOF

for node_ip in ${MASTER_IPS[@]}
do
  echo ">>> ${node_ip}"
  scp encryption-config.yaml root@${node_ip}:/etc/kubernetes/
done

建立審計策略檔案

Kubernetes日誌審計是Kube-apiserver元件的一部分，它提供了與安全相關的日誌操作，日誌中記錄了單個使用者、管理員或系統其它元件在與kube-apiserver互動請求時的全部請求處理過程。

#!/bin/bash

cd /data/k8s/work
source /data/k8s/bin/env.sh

cat > audit-policy.yaml <<EOF
apiVersion: audit.k8s.io/v1beta1
kind: Policy
rules:
  # The following requests were manually identified as high-volume and low-risk, so drop them.
  - level: None
    resources:
      - group: ""
        resources:
          - endpoints
          - services
          - services/status
    users:
      - 'system:kube-proxy'
    verbs:
      - watch
  - level: None
    resources:
      - group: ""
        resources:
          - nodes
          - nodes/status
    userGroups:
      - 'system:nodes'
    verbs:
      - get
  - level: None
    namespaces:
      - kube-system
    resources:
      - group: ""
        resources:
          - endpoints
    users:
      - 'system:kube-controller-manager'
      - 'system:kube-scheduler'
      - 'system:serviceaccount:kube-system:endpoint-controller'
    verbs:
      - get
      - update
  - level: None
    resources:
      - group: ""
        resources:
          - namespaces
          - namespaces/status
          - namespaces/finalize
    users:
      - 'system:apiserver'
    verbs:
      - get
  # Don't log HPA fetching metrics.
  - level: None
    resources:
      - group: metrics.k8s.io
    users:
      - 'system:kube-controller-manager'
    verbs:
      - get
      - list
  # Don't log these read-only URLs.
  - level: None
    nonResourceURLs:
      - '/healthz*'
      - /version
      - '/swagger*'
  # Don't log events requests.
  - level: None
    resources:
      - group: ""
        resources:
          - events
  # node and pod status calls from nodes are high-volume and can be large, don't log responses for expected updates from nodes
  - level: Request
    omitStages:
      - RequestReceived
    resources:
      - group: ""
        resources:
          - nodes/status
          - pods/status
    users:
      - kubelet
      - 'system:node-problem-detector'
      - 'system:serviceaccount:kube-system:node-problem-detector'
    verbs:
      - update
      - patch
  - level: Request
    omitStages:
      - RequestReceived
    resources:
      - group: ""
        resources:
          - nodes/status
          - pods/status
    userGroups:
      - 'system:nodes'
    verbs:
      - update
      - patch
  # deletecollection calls can be large, don't log responses for expected namespace deletions
  - level: Request
    omitStages:
      - RequestReceived
    users:
      - 'system:serviceaccount:kube-system:namespace-controller'
    verbs:
      - deletecollection
  # Secrets, ConfigMaps, and TokenReviews can contain sensitive & binary data,
  # so only log at the Metadata level.
  - level: Metadata
    omitStages:
      - RequestReceived
    resources:
      - group: ""
        resources:
          - secrets
          - configmaps
      - group: authentication.k8s.io
        resources:
          - tokenreviews
  # Get repsonses can be large; skip them.
  - level: Request
    omitStages:
      - RequestReceived
    resources:
      - group: ""
      - group: admissionregistration.k8s.io
      - group: apiextensions.k8s.io
      - group: apiregistration.k8s.io
      - group: apps
      - group: authentication.k8s.io
      - group: authorization.k8s.io
      - group: autoscaling
      - group: batch
      - group: certificates.k8s.io
      - group: extensions
      - group: metrics.k8s.io
      - group: networking.k8s.io
      - group: policy
      - group: rbac.authorization.k8s.io
      - group: scheduling.k8s.io
      - group: settings.k8s.io
      - group: storage.k8s.io
    verbs:
      - get
      - list
      - watch
  # Default level for known APIs
  - level: RequestResponse
    omitStages:
      - RequestReceived
    resources:
      - group: ""
      - group: admissionregistration.k8s.io
      - group: apiextensions.k8s.io
      - group: apiregistration.k8s.io
      - group: apps
      - group: authentication.k8s.io
      - group: authorization.k8s.io
      - group: autoscaling
      - group: batch
      - group: certificates.k8s.io
      - group: extensions
      - group: metrics.k8s.io
      - group: networking.k8s.io
      - group: policy
      - group: rbac.authorization.k8s.io
      - group: scheduling.k8s.io
      - group: settings.k8s.io
      - group: storage.k8s.io
  # Default level for all other requests.
  - level: Metadata
    omitStages:
      - RequestReceived
EOF

# 分發審計策略檔案
for node_ip in ${MASTER_IPS[@]}
do
    echo ">>> ${node_ip}"
    scp audit-policy.yaml root@${node_ip}:/etc/kubernetes/audit-policy.yaml
done

建立kube-apiserver啟動檔案

建立啟動檔案模板指令碼如下

#!/bin/bash

cd /data/k8s/work/
source /data/k8s/bin/env.sh

cat > kube-apiserver.service.template <<EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target

[Service]
WorkingDirectory=/data/k8s/k8s/kube-apiserver
ExecStart=/data/k8s/bin/kube-apiserver \
  --advertise-address=##NODE_IP## \
  --default-not-ready-toleration-seconds=360 \
  --default-unreachable-toleration-seconds=360 \
  --feature-gates=DynamicAuditing=true \
  --max-mutating-requests-inflight=2000 \
  --max-requests-inflight=4000 \
  --default-watch-cache-size=200 \
  --delete-collection-workers=2 \
  --encryption-provider-config=/etc/kubernetes/encryption-config.yaml \
  --etcd-cafile=/etc/kubernetes/cert/ca.pem \
  --etcd-certfile=/etc/kubernetes/cert/kubernetes.pem \
  --etcd-keyfile=/etc/kubernetes/cert/kubernetes-key.pem \
  --etcd-servers=https://etcd01.k8s.vip:2379,https://etcd02.k8s.vip:2379,https://etcd03.k8s.vip:2379 \
  --bind-address=##NODE_IP## \
  --secure-port=6443 \
  --tls-cert-file=/etc/kubernetes/cert/kubernetes.pem \
  --tls-private-key-file=/etc/kubernetes/cert/kubernetes-key.pem \
  --insecure-port=0 \
  --audit-dynamic-configuration \
  --audit-log-maxage=15 \
  --audit-log-maxbackup=3 \
  --audit-log-maxsize=100 \
  --audit-log-truncate-enabled \
  --audit-log-path=/data/k8s/k8s/kube-apiserver/audit.log \
  --audit-policy-file=/etc/kubernetes/audit-policy.yaml \
  --profiling \
  --anonymous-auth=false \
  --client-ca-file=/etc/kubernetes/cert/ca.pem \
  --enable-bootstrap-token-auth \
  --requestheader-allowed-names="aggregator" \
  --requestheader-client-ca-file=/etc/kubernetes/cert/ca.pem \
  --requestheader-extra-headers-prefix="X-Remote-Extra-" \
  --requestheader-group-headers=X-Remote-Group \
  --requestheader-username-headers=X-Remote-User \
  --service-account-key-file=/etc/kubernetes/cert/ca.pem \
  --authorization-mode=Node,RBAC \
  --runtime-config=api/all=true \
  --enable-admission-plugins=NodeRestriction \
  --allow-privileged=true \
  --apiserver-count=3 \
  --event-ttl=168h \
  --kubelet-certificate-authority=/etc/kubernetes/cert/ca.pem \
  --kubelet-client-certificate=/etc/kubernetes/cert/kubernetes.pem \
  --kubelet-client-key=/etc/kubernetes/cert/kubernetes-key.pem \
  --kubelet-https=true \
  --kubelet-timeout=10s \
  --proxy-client-cert-file=/etc/kubernetes/cert/proxy-client.pem \
  --proxy-client-key-file=/etc/kubernetes/cert/proxy-client-key.pem \
  --service-cluster-ip-range=10.254.0.0/16 \
  --service-node-port-range=1024-32767 \
  --logtostderr=true \
  --v=2
Restart=on-failure
RestartSec=10
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

配置詳解如下

為各節點建立並分發啟動配置檔案

#!/bin/bash

cd /data/k8s/work
source /data/k8s/bin/env.sh

# 由模板替換成各伺服器啟動檔案
for (( i=0; i < 3; i++ ))
do
    sed -e "s/##NODE_NAME##/${NODE_NAMES[i]}/" -e "s/##NODE_IP##/${NODE_IPS[i]}/" kube-apiserver.service.template > kube-apiserver-${NODE_IPS[i]}.service
done

# 分發到所有的master節點伺服器
for node_ip in ${MASTER_IPS[@]}
do
    echo ">>> ${node_ip}"
    scp kube-apiserver-${node_ip}.service root@${node_ip}:/etc/systemd/system/kube-apiserver.service
done

遠端啟動kube-apiserver服務

建立審計日誌目錄並啟動服務

#!/bin/bash

source /data/k8s/bin/env.sh
for node_ip in ${MASTER_IPS[@]}
do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p ${K8S_DIR}/kube-apiserver"
    ssh root@${node_ip} "systemctl daemon-reload && systemctl enable kube-apiserver && systemctl restart kube-apiserver"
done

檢查服務啟動情況

#!/bin/bash

source /data/k8s/bin/env.sh
for node_ip in ${MASTER_IPS[@]}
do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status kube-apiserver |grep -i 'Active:'"
done

結果如下：
>>> 192.168.16.104
   Active: active (running) since Sun 2019-12-29 18:03:55 CST; 2 weeks 0 days ago
>>> 192.168.16.105
   Active: active (running) since Sat 2019-12-28 19:59:48 CST; 2 weeks 1 days ago
>>> 192.168.16.106
   Active: active (running) since Sat 2019-12-28 19:59:53 CST; 2 weeks 1 days ago

總結

kubernetes v 1.17.0二進位制安裝過程比較簡單，從中能夠學習到很多知識點，尤其是之前不熟悉的引數，經過查詢資料有了一個更深層次的認知。

參考連結：https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-apiserver/

相關推薦

7.第六篇 二進位制安裝 kube-apiserver

文章轉載自：https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247483812&idx=1&sn=e6773e5638415e627e3a351f340b7bd0&chksm=e9fdd450de8a5d468503f85abefa7a4d6f62dacd60f835722036b6958c9

14. 第十三篇 二進位制安裝kube-proxy

文章轉載自：https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247484231&idx=1&sn=9e722beeea3e73df52ecdf700928c7f6&chksm=e9fdd6b3de8a5fa5f6faf6c77c1974b463e2e2238129a8a346b570cb63c

13. 第十二篇 二進位制安裝kubelet

文章轉載自：https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247483842&idx=1&sn=1ef1cb06ab98e86f9de595e117924db9&chksm=e9fdd436de8a5d20bf0625b61c3f4369d826691340d97caa3258d828cfc

Pytorch_第六篇_深度學習 (DeepLearning) 基礎 [2]---神經網路常用的損失函式（轉載）

深度學習 (DeepLearning) 基礎 [2]---神經網路常用的損失函式 Introduce 在上一篇“深度學習 (DeepLearning) 基礎 [1]---監督學習和無監督學習”中我們介紹了監督學習和無監督學習相關概念。本文主要介紹

Spring第六篇【動態代理入門】

jdk動態代理 import com.example.demo.jdk.Advice; import com.example.demo.jdk.Target; import com.example.demo.jdk.TargetInterface;

Python 學習日記第六篇 -- 深淺拷貝

深淺拷貝： 1、字串和數字importcopy #淺拷貝 copy.copy() #深拷貝 copy.deepcopy() ######################################################################################

軍艦隊-Alpha衝刺第六篇

這個作業屬於哪個課程 https://edu.cnblogs.com/campus/fzu/SE2020 這個作業要求在哪裡 https://edu.cnblogs.com/campus/fzu/SE2020/homework/11482

史上最簡單的SpringCloud教程 | 第六篇: 分散式配置中心(Spring Cloud Config)SpringCloud詳細教程

一、簡介 在分散式系統中，由於服務數量巨多，為了方便服務配置檔案統一管理，實時更新，所以需要分散式配置中心元件。在Spring Cloud中，有分散式配置中心元件spring cloud config ，它支援配置服務放在配置服務的記

C++第六篇：函式的預設引數

技術標籤：C/C++ 在C++中，定義函式的時候是可以給我們的函式形參指定一個預設引數值 （這個比較稀奇哦，我至少是第一次見，見識太少了吧_ ）具體的說就是沒有給這個引數賦值（傳入實參）的話我們的函式就會使用

第六篇 kubernetes helm部署harbor映象倉庫

1.harbor映象倉庫簡介 Harbor 是為企業使用者設計的容器映象倉庫開源專案，包括了許可權管理(RBAC)、LDAP、審計、安全漏洞掃描、

ADF 第六篇：Copy Data Activity詳解

在Azure 資料工程中，可以使用Copy Data 活動把資料從on-premises 或雲中複製到其他儲存中。Copy Data 活動必須在一個IR（Integration Runtime）上執行，對於把儲存在on-premises中的資料複製到其他儲存時，必須建立

第六篇部落格

這個作業屬於哪個班級 C語言--網路2012 這個作業的地址 C部落格作業05--指標 這個作業的目標

【計算機網路】學習筆記，第六篇：應用層（謝希仁版）

一 DNS 域名系統 (一) 概述 許多應用層軟體經常直接使用域名系統 DNS (Domain Name System)，但計算機的使用者只是間接而不是直接使用域名系統。

go語言readline()返回值_Go語言極簡教程 - 第六篇 函式

技術標籤：go語言readline()返回值 Go語言既不像Java和C#那樣是面向物件的程式語言，也不像Lisp和Haskell那樣是純函式式的程式語言。在Go語言中，函式是“一等公民”。

Asp.net core 學習筆記之 authen + autho + oidc + oauth + spa 第六篇 ASCII Unicode UTF base64, 還有 sha256 介紹

之前提到過許多 sha256, 非對稱加密等等. 在 asp.net core 裡頭要操作這些都是用 bytes 的.

第六篇：Django之模板層

第六篇：Django之模板層 目錄第六篇：Django之模板層一、模板語法傳值二、模版語法之過濾器三、模版語法之標籤四、自定義過濾器、標籤及inclusion_tag五、模版的繼承六、模版的匯入

第三篇 hadoop安裝

前期準備 需要把hadoop-2.7.3.tar.gz拷貝到/usr/local/src/目錄下，並進行解壓 進入到/usr/local/src/目錄下進行解壓命令

K8S環境安裝第三篇：安裝dashbord的那些坑

之前寫過兩篇這個K8S安裝的，但是還沒寫怎麼安裝dashbord視覺化頁面的。因為最近虛擬機器出了問題，導致又要重新安裝一遍。這裡就藉此完善下。

第四篇 hiv安裝-【1】安裝MySQL【yum方式】

檢查節點中是否自帶mysql： rpm -qa | grep mysql rpm -qa | grep mariadb 如果有安裝，需要解除安裝系統自帶：

[第六篇]——雲伺服器之Spring Cloud直播商城 b2b2c電子商務技術總結

雲伺服器 雲伺服器(Elastic Compute Service, ECS)是一種簡單高效、安全可靠、處理能力可彈性伸縮的計算服務。