K8S(10)配置中心實戰-configmap資源
阿新 • • 發佈:2020-07-20
k8s配置中心實戰-configmap資源
目錄
0 configmap前置說明
0.1.1 configmap和secret
在K8S中,有兩種方式管理資源的配置,分別是configmap和secret,他們的最大區別是:
- configmap用來管理明文配置
- secret用來管理密文配置
0.1.2 怎麼使用configmap
- 建立configmap資源
- 在deploy中定義congfigmap型別的volumes
- 在deoloy的containers中掛載此volumes
0.1.3 更新configmap配置的方法
單配置更新法:
- 修改configmap資源清單並應用
- 重啟使用該configmap資源的pod
多配置更換法:
- 準備多個configmap資源
- 修改dp中使用的configmap
- 重新apply該dp,pod會自動重啟
1 configmap使用準備
使用configmap前,需要先做如下準備工作
1.1 清理資源
先將前面部署的3個dubbo服務的POD個數全部調整(scale)為0個,避免在應用configmap過程中可能的報錯,也為了節省資源
直接在dashboard上操作即可,
1.2 拆分zk叢集
將3個zk組成的叢集,拆分成獨立的zk單機服務,分別表示測試環境和開發環境(節約資源)
IP地址 | ZK地址 | 角色 |
---|---|---|
10.4.7.11 | zk1.zq.com | test測試環境 |
10.4.7.12 | zk2.zq.com | pro生產環境 |
停止3個zk服務
sh /opt/zookeeper/bin/zkServer.sh stop
rm -rf /data/zookeeper/data/*
rm -rf /data/zookeeper/logs/*
註釋掉叢集配置
sed -i 's@^server@#server@g' /opt/zookeeper/conf/zoo.cfg
啟動zk單機
sh /opt/zookeeper/bin/zkServer.sh start
sh /opt/zookeeper/bin/zkServer.sh status
1.3 建立dubbo-monitor資源清單
老規矩,資源清單在7.200
運維機上統一操作
cd /data/k8s-yaml/dubbo-monitor
1.3.1 建立comfigmap清單
cat >cm.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
name: dubbo-monitor-cm
namespace: infra
data:
dubbo.properties: |
dubbo.container=log4j,spring,registry,jetty
dubbo.application.name=simple-monitor
dubbo.application.owner=zqkj
dubbo.registry.address=zookeeper://zk1.zq.com:2181
dubbo.protocol.port=20880
dubbo.jetty.port=8080
dubbo.jetty.directory=/dubbo-monitor-simple/monitor
dubbo.charts.directory=/dubbo-monitor-simple/charts
dubbo.statistics.directory=/dubbo-monitor-simple/statistics
dubbo.log4j.file=/dubbo-monitor-simple/logs/dubbo-monitor.log
dubbo.log4j.level=WARN
EOF
其實就是把dubbo-monitor配置檔案中的內容用configmap語法展示出來了
當然最前面加上了相應的元資料資訊
如果轉換不來格式,也可以使用命令列工具直接將配置檔案轉換為configmap
kubectl create configmap <map-name> <data-source>
# <map-name> 是希望建立的ConfigMap的名稱,<data-source>是一個目錄、檔案和具體值。
案例如下:
# 1.通過單個檔案建立ConfigMap
kubectl create configmap game-config-1 --from-file=/xxx/xxx.properties
# 2.通過多個檔案建立ConfigMap
kubectl create configmap game-config-2 \
--from-file=/xxx/xxx.properties \
--from-file=/xxx/www.properties
# 3.通過在一個目錄下的多個檔案建立ConfigMap
kubectl create configmap game-config-3 --from-file=/xxx/www/
1.3.2 修改deploy清單內容
為了和原來的dp.yaml
對比,我們新建一個dp-cm.yaml
cat >dp-cm.yaml <<'EOF'
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
name: dubbo-monitor
namespace: infra
labels:
name: dubbo-monitor
spec:
replicas: 1
selector:
matchLabels:
name: dubbo-monitor
template:
metadata:
labels:
app: dubbo-monitor
name: dubbo-monitor
spec:
containers:
- name: dubbo-monitor
image: harbor.zq.com/infra/dubbo-monitor:latest
ports:
- containerPort: 8080
protocol: TCP
- containerPort: 20880
protocol: TCP
imagePullPolicy: IfNotPresent
#----------------start---------------------------
volumeMounts:
- name: configmap-volume
mountPath: /dubbo-monitor-simple/conf
volumes:
- name: configmap-volume
configMap:
name: dubbo-monitor-cm
#----------------end-----------------------------
imagePullSecrets:
- name: harbor
restartPolicy: Always
terminationGracePeriodSeconds: 30
securityContext:
runAsUser: 0
schedulerName: default-scheduler
strategy:
type: RollingUpdate
rollingUpdate:
maxUnavailable: 1
maxSurge: 1
revisionHistoryLimit: 7
progressDeadlineSeconds: 600
EOF
註釋中的內容就是新增在原
dp.yaml
中增加的內容,解釋如下:
- 申明一個卷,卷名為
configmap-volume
- 指定這個卷使用名為
dubbo-monitor-cm
的configMap- 在
containers
中掛載卷,卷名與申明的卷相同- 用
mountPath
的方式掛載到指定目錄
1.4 建立資源並檢查
1.4.1 應用資源配置清單
kubectl apply -f http://k8s-yaml.zq.com/dubbo-monitor/cm.yaml
kubectl apply -f http://k8s-yaml.zq.com/dubbo-monitor/dp-cm.yaml
1.4.2 dashboard檢查建立結果
在dashboard中檢視infra
名稱空間中的configmap
資源
然後檢查容器中的配置
kubectl -n infra exec -it dubbo-monitor-5b7cdddbc5-xpft6 bash
# 容器內
bash-4.3# cat /dubbo-monitor-simple/conf/dubbo.properties
dubbo.container=log4j,spring,registry,jetty
dubbo.application.name=simple-monitor
dubbo.application.owner=zqkj
dubbo.registry.address=zookeeper://zk1.zq.com:2181
....
1.4.3 檢查dubbo-monitor頁面的註冊資訊
2 更新configmap資源
2.1 多配置更新法
2.1.1 準備新configmap
再準備一個configmap叫cm-pro.yaml
cp cm.yaml cm-pro.yaml
# 把資源名字改成dubbo-monitor-cm-pro
sed -i 's#dubbo-monitor-cm#dubbo-monitor-cm-pro#g' cm-pro.yaml
# 把服務註冊到zk2.zq.com上
sed -i 's#zk1#zk2#g' cm-pro.yaml
2.1.2 修改deploy配置
sed -i 's#dubbo-monitor-cm#dubbo-monitor-cm-pro#g' dp-cm.yaml
2.1.3 更新資源
# 應用新configmap
kubectl apply -f http://k8s-yaml.zq.com/dubbo-monitor/cm-pro.yaml
# 更新deploy
kubectl apply -f http://k8s-yaml.zq.com/dubbo-monitor/dp-cm.yaml
2.1.4 檢查配置是否更新
新的pod已經起來了
~]# kubectl -n infra get pod
NAME READY STATUS RESTARTS AGE
dubbo-monitor-c7fbf68b9-7nffj 1/1 Running 0 52s
進去看看是不是應用的新的configmap配置:
kubectl -n infra exec -it dubbo-monitor-5cb756cc6c-xtnrt bash
# 容器內
bash-4.3# cat /dubbo-monitor-simple/conf/dubbo.properties |grep zook
dubbo.registry.address=zookeeper://zk2.zq.com:2181
看下dubbo-monitor的頁面:已經是zk2了。
3 掛載方式探討
3.1 monutPath掛載的問題
我們使用的是mountPath,這個是掛載整個目錄,會使容器內的被掛載目錄中原有的檔案不可見,可以看見我們。
檢視我們pod容器啟動的命令可以看見原來指令碼中的命令已經無法對掛載的目錄操作了
如何單獨掛載一個配置檔案:
只掛載單獨一個檔案而不是整個目錄,需要新增subPath
方法
3.2 單獨掛載檔案演示
3.2.1 更新配置
在dp-cm.yaml
的配置中,將原來的volume配置做一下更改
#----------------start---------------------------
volumeMounts:
- name: configmap-volume
mountPath: /dubbo-monitor-simple/conf
volumes:
- name: configmap-volume
configMap:
name: dubbo-monitor-cm
#----------------end-----------------------------
# 調整為
#----------------start---------------------------
volumeMounts:
- name: configmap-volume
mountPath: /dubbo-monitor-simple/conf
- name: configmap-volume
mountPath: /var/dubbo.properties
subPath: dubbo.properties
volumes:
- name: configmap-volume
configMap:
name: dubbo-monitor-cm
#----------------end-----------------------------
3.2.2 應用apply配置並驗證
kubectl apply -f http://k8s-yaml.zq.com/dubbo-monitor/dp-cm.yaml
kubectl -n infra exec -it dubbo-monitor-5cb756cc6c-xtnrt bash
# 容器內操作
bash-4.3# ls -l /var/
total 4
drwxr-xr-x 1 root root 29 Apr 13 2016 cache
-rw-r--r-- 1 root root 459 May 10 10:02 dubbo.properties
drwxr-xr-x 2 root root 6 Apr 1 2016 empty
.....