阿里雲Kubernetes實戰3
在上一篇文章中,我們已經在K8S叢集部署了Jenkins、Harbor和EFK。作為本系列最後一篇文章,將通過實際案例串聯所有的基礎軟體服務,基於K8S做DevOps。
整體的業務流程如下圖所示:
一、一機多Jenkins Slave
由於業務需要,我們的自動化測試需要基於windows做web功能測試,每一個測試任務獨佔一個windows使用者桌面,所以我們首先要給Jenkins配置幾個Windows的Slave Node.在我之前的post中詳細講解了給Jenkins新增Node的方法步驟。 本篇無需重複,但這裡主要講的是,如何在一臺Windows伺服器上搭建多個Jenkins Node,供多使用者使用。
- 在目標機上建立多個使用者,如下圖所示:
- 用Administrator使用者安裝JDK
- 在Jenkins的節點管理建立三個Node,分別為WinTester01、WinTester02、WinTester03,配置如下
- 在目標機的Administrator,用IE開啟Jenkins並進入節點管理,在WinTester01、WinTester02、WinTester03中分別點選“Launch”啟動Slave
- 確認啟動成功後,點選“File”下的“Install as service”
- 三個Slave都啟動後,可以在服務管理器看到
- 除了Jenkins Slave1無需配置,Slave2和Slave3都需要右鍵進入屬性,修改登入使用者分別為JenkinsSlave2和JenkinsSlave3
通過上面的配置,可以在一臺目標機部署三個使用者對應三個Jenkins Slave以滿足我們的業務需求。
二、 二次開發Jenkins 釘釘通知外掛
在整個DevOps的業務流程圖上,我們想使用釘釘作為通知方式,相比郵件而言,實時性和擴充套件性都很高。在2018年4月,Jenkins的釘釘通知外掛有兩款,分別是和,前者長期未更新,已經不能使用,後者可以在非Pipeline模式下使用,對於Pipeline則有一些問題。雖然目前,Dingding notification plugin已經更新到1.9版本並支援了Pipeline,但在當時,我們不得不在1.4版本的基礎上做二次開發。
- 修改”src/main/java/com/ztbsuper/dingtalk/DingTalkNotifier.java”,釘釘的訊息API型別有文字、link、markdown、card等,我們這裡把通知介面改成文字型別
public class DingTalkNotifier extends Notifier implements SimpleBuildStep { private String accessToken; private String message; private String imageUrl; private String messageUrl; public DingTalkNotifier(String accessToken, String message, String imageUrl, String messageUrl) { this.accessToken = accessToken; //釘釘的accesstoken this.message = message; //訊息主體 this.imageUrl = imageUrl; //縮圖 this.messageUrl = messageUrl; //訊息的連結來源,一般是jenkins的build url } public String getAccessToken() { return accessToken; } public String getMessage() { return message; } public String getImageUrl() { return imageUrl; } public String getMessageUrl() { return messageUrl; } public void perform( Run<?, ?> run, FilePath filePath, Launcher launcher, TaskListener taskListener) throws InterruptedException, IOException { String buildInfo = run.getFullDisplayName(); if (!StringUtils.isBlank(message)) { sendMessage(LinkMessage.builder() .title(buildInfo) .picUrl(imageUrl) .text(message) .messageUrl(messageUrl) .build()); } } private void sendMessage(DingMessage message) { DingTalkClient dingTalkClient = DingTalkClient.getInstance(); try { dingTalkClient.sendMessage(accessToken, message); } catch (IOException e) { e.printStackTrace(); } } public BuildStepMonitor getRequiredMonitorService() { return BuildStepMonitor.NONE; } "dingTalk") ( public static final class DescriptorImpl extends BuildStepDescriptor<Publisher> { public boolean isApplicable(Class<? extends AbstractProject> aClass) { return true; } public String getDisplayName() { return Messages.DingTalkNotifier_DescriptorImpl_DisplayName(); } } }
- 用maven打包
maven需要安裝java環境,為了方便,我直接run一個maven的docker image,編譯完成後把hpi檔案send出來
- 在jenkins的外掛管理頁面上傳hpi檔案
- 在釘釘群中開啟自定義機器人
- 找到accesstoken
- 在jenkins pipeline中可以使用以下命令傳送資訊到釘釘群
dingTalk accessToken:"2fccafaexxxx",message:"資訊",imageUrl:"圖片地址",messageUrl:"訊息連結"
三、 DevOps解決方案
針對每一個軟體專案增加部署目錄,目錄結構如下:
- _deploy
- master
- deployment.yaml
- Dockerfile
- other files
- test
- deployment.yaml
- Dockerfile
- other files
- master
master和test資料夾用於區分測試環境與生產環境的部署配置
Dockerfile和other files用於生成應用或服務的映象
如前端vue和nodejs專案的Dockerfile:
# 前端專案執行環境的Image,從Harbor獲取 FROM xxx/xxx/frontend:1.0.0 RUN mkdir -p /workspace/build && mkdir -p /workspace/run COPY . /workspace/build # 編譯,生成執行檔案,並刪除原始檔 RUN cd /workspace/build/frontend && \ cnpm install && \ npm run test && \ cp -r /workspace/build/app/* /workspace/run && \ rm -rf /workspace/build && \ cd /workspace/run && \ cnpm install # 執行專案,用npm run test或run prod區分測試和生產環境 CMD cd /workspace/run && npm run test
又如dotnet core專案的Dockerfile:
# dotnet專案編譯環境的Image,從Harbor獲取 FROM xxx/xxx/aspnetcore-build:2 AS builder WORKDIR /app COPY . . # 編譯 RUN cd /app/xxx RUN pwd && ls -al && dotnet restore RUN dotnet publish -c Release -o publish # dotnet專案執行環境的Image,從Harbor獲取 FROM xxx/xxx/aspnetcore:2 WORKDIR /publish COPY --from=builder /app/xxx/publish . # 重新命名配置檔案,中綴test、prod用於區分測試環境和生產環境 RUN mv appsettings.test.json appsettings.json # 執行 ENTRYPOINT ["dotnet", "xxx.dll"]
deployent.yaml用於執行應用或服務在k8s上的部署
由於deployment有很多配置項可以抽離成公共配置,所以deployment的配置有很多佔位變數,佔位變數用兩個#中間加變數名錶示,如下所示:
apiVersion v1 kind Namespace metadata name#namespace# labels name#namespace# --- apiVersion v1 data .dockerconfigjson xxxxxxxxxxxxxxxxxxxxxx kind Secret metadata name regcred namespace#namespace# type kubernetes.io/dockerconfigjson --- apiVersion extensions/v1beta1 kind Deployment metadata name#app#-deploy namespace#namespace# labels app#app#-deploy spec replicas#replicas# strategy type Recreate template metadata labels app#app# spec containers image#image# name#app# ports containerPort#port# name#app# securityContext privileged#privileged# volumeMounts name log-volume mountPath#log# image#filebeatImage# name filebeat args "-c" "/etc/filebeat.yml" securityContext runAsUser0 volumeMounts name config mountPath /etc/filebeat.yml readOnlytrue subPath filebeat.yml name log-volume mountPath /var/log/container/ volumes name config configMap defaultMode0600 name filebeat-config name log-volume emptyDir imagePullSecrets name regcred --- apiVersion v1 kind ConfigMap metadata name filebeat-config namespace#namespace# labels app filebeat data filebeat.yml - filebeat.inputs type log enabledtrue paths /var/log/container/*.log output.elasticsearch hosts"#es#" tags"#namespace#-#app#" --- apiVersion v1 kind Service metadata name#app#-service namespace#namespace# labels app#app#-service spec ports port80 targetPort#port# selector app#app# --- apiVersion extensions/v1beta1 kind Ingress metadata name#app#-ingress namespace#namespace# annotations nginx.ingress.kubernetes.io/proxy-body-size"0" nginx.ingress.kubernetes.io/rewrite-target / spec rules host#host# http paths path#urlPath# backend serviceName#app#-service servicePort80
其中幾個關鍵變數的解釋如下:
- dockerconfigjson:因為所有的映象需要從Harbor獲取,而Harbor的映象如果設定為私有許可權,就需要提供身份驗證,這裡的dockerconfigjson就是Harbor的身份資訊。生成dockerconfigjson的方法如下:
- 進入K8S任何一個節點,刪除” ~/.docker/config.json ” 檔案
- 使用命令” docker login harbor地址”登入harbor
- 通過命令” cat ~/.docker/config.json “可以看到harbor的身份驗證資訊
- 使用命令” cat /root/.docker/config.json | base64 -w 0 “對資訊編碼,將生成後的編碼填寫到deployment.yaml的dockerconfigjson節點即可
- namespace:同一個專案的不同k8s元件應置於同一個namespace,所以namespace可統一配置,在我們的專案實踐中,生產環境的namespace為” 專案名 “,測試環境的namespace為” 專案名-test “
- app:應用或服務名稱
- image:應用或服務的映象地址
- replicas:副本數量
- port:應用或服務的Pod開放埠
- log:應用或服務的日誌路徑,在本系列的第二篇文章中,提到我們的日誌方案是給每個應用或服務配一個filebeat,放在同一Pod中,這裡只需告知應用或服務的日誌的絕對路徑,filebeat就能將日誌傳遞到ES中,日誌的tag命名方式為” namespace-app”
- host:在本系列的第一篇文章中,講了使用nginx ingress做服務暴露與負載。這裡的host就是給nginx ingress設定的域名,埠預設都是80,如果需要https,則在外層使用阿里雲SLB轉發
- urlPath:很多情況下,如微服務,需要通過相同的域名,不同的一級目錄將請求分發到不同的後臺,在nginx中,就是location的配置與反向代理,比如host的配置是確定了域名aaa.bbb.com,而urlPath的配置是確定aaa.bbb.com/user/getuser將會被轉發到使用者服務podIP:podPort/getuser中
以上所有的佔位變數都是在Pipeline Script中賦值,關於Jenkins Pipeline的相關內容介紹這裡不再多講,還是去看官方文件靠譜。我們這裡將k8s的部署檔案deployment.yaml與Jenkinsfile結合,即可做到一個deployment.yaml能適配所有專案,一個Pipeline Script模板能適配所有專案,針對不同的專案,只需在Pipeline Script中給佔位變數賦值,大大降低了配置複雜度。下面是一個專案的Jenkins配置示例:
對於一個專案,我們只需配置Trigger和Pipeline,上圖“Do not allow concurrent builds ”也是通過Pipeline的配置生成的。Pipeline Script示例如下:
pipeline { // 指定專案在label為jnlp-agent的節點上構建,也就是Jenkins Slave in Pod agent { label 'jnlp-agent' } // 對應Do not allow concurrent builds options { disableConcurrentBuilds() } environment { // ------ 以下內容,每個專案可能均有不同,按需修改 ------ //author:用於釘釘通知 author="張三" // branch: 分支,一般是test、 master,對應git從哪個分支拉取程式碼,也對應究竟執行_deploy資料夾下的test配置還是master配置 branch = "test" // namespace: myproject-test, myproject,名稱空間一般是專案名稱,測試環境加test namespace = "myproject-test" // hostname:對應deployment中的host host = "test.aaa.bbb.com" // appname:對應deployment中的app app = "myserver" // port:對應deployment中的port port= "80" // replicas:對應deployment中的replicas replicas = 2 //git repo path:git的地址 git="[email protected]/xxx.git" //log:對應deployment中的log log="/publish/logs/" // ------ 以下內容,一般所有的專案都一樣,不經常修改 ------ // harbor inner address repoHost = "192.168.0.1:23280" // harbor的賬號密碼資訊,在jenkins中配置使用者名稱/密碼形式的認證資訊,命名成harbor即可 harborCreds = credentials('harbor') // filebeat的映象地址 filebeatImage="${repoHost}/common/filebeat:6.3.1" // es的內網訪問地址 es="elasticsearch-logging.kube-system:9200" } // ------ 以下內容無需修改 ------ stages { // 開始構建前清空工作目錄 stage ("CleanWS"){ steps { script { try{ deleteDir() }catch(err){ echo "${err}" sh 'exit 1' } } } } // 拉取 stage ("CheckOut"){ steps { script { try{ checkout([$class: 'GitSCM', branches: [[name: "*/${branch}"]], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'gitlab', url: "${git}"]]]) }catch(err){ echo "${err}" sh 'exit 1' } } } } // 構建 stage ("Build"){ steps { script { try{ // 登入 harbor sh "docker login -u ${harborCreds_USR} -p ${harborCreds_PSW} ${repoHost}" sh "date +%Y%m%d%H%m%S > timestamp" // 映象tag用時間戳代表 tag = readFile('timestamp').replace("\n", "").replace("\r", "") repoPath = "${repoHost}/${namespace}/${app}:${tag}" // 根據分支,進入_deploy下對應的不同資料夾,通過dockerfile打包映象 sh "cp _deploy/${branch}/* ./" sh "docker login -u ${harborCreds_USR} -p ${harborCreds_PSW} ${repoHost}" sh "docker build -t ${repoPath} ." }catch(err){ echo "${err}" sh 'exit 1' } } } } // 映象推送到harbor stage ("Push"){ steps { script { try{ sh "docker push ${repoPath}" }catch(err){ echo "${err}" sh 'exit 1' } } } } // 使用pipeline script中複製的變數替換deployment.yaml中的佔位變數,執行deployment.yaml進行部署 stage ("Deploy"){ steps { script { try{ sh "sed -i 's|#namespace#|${namespace}|g' deployment.yaml" sh "sed -i 's|#app#|${app}|g' deployment.yaml" sh "sed -i 's|#image#|${repoPath}|g' deployment.yaml" sh "sed -i 's|#port#|${port}|g' deployment.yaml" sh "sed -i 's|#host#|${host}|g' deployment.yaml" sh "sed -i 's|#replicas#|${replicas}|g' deployment.yaml" sh "sed -i 's|#log#|${log}|g' deployment.yaml" sh "sed -i 's|#filebeatImage#|${filebeatImage}|g' deployment.yaml" sh "sed -i 's|#es#|${es}|g' deployment.yaml" sh "sed -i 's|#redisImage#|${redisImage}|g' deployment.yaml" sh "cat deployment.yaml" sh "kubectl apply -f deployment.yaml" }catch(err){ echo "${err}" sh 'exit 1' } } } } } post { // 使用釘釘外掛進行通知 always { script { def msg = "【${author}】你把伺服器搞掛了,老詹喊你回家改BUG!" def imageUrl = "https://www.iconsdb.com/icons/preview/red/x-mark-3-xxl-2.png" if (currentBuild.currentResult=="SUCCESS"){ imageUrl= "http://icons.iconarchive.com/icons/paomedia/small-n-flat/1024/sign-check-icon-2.png" msg ="【${author}】釋出成功,幹得不錯!" } dingTalk accessToken:"xxxx",message:"${msg}",imageUrl:"${imageUrl}",messageUrl:"${BUILD_URL}" } } } }
釋出完成後,可以參考,做持續測試,測試結果也可通過釘釘通知。最後我們利用自建的運維平臺,監控阿里雲ECS狀態、K8S各元件狀態、監控ES中的日誌並做異常抓取和報警。形成一整套DevOps模式。
綜上,對於每個專案,我們只需維護Dockerfile,並在Jenkins建立持續整合專案時,填寫專案所需的引數變數。進階情況下,也可定製性的修改deployment檔案與pipeline script,滿足不同的業務需要。至此,完結,撒花!
來源:http://wurang.net/alicloud_kubernetes_03/