Docker 整合 Jenkins Gitlab 實現 CI/CD
阿新 • • 發佈：2020-05-20
首先介紹下環境部分，文章中共涉及到三臺伺服器，分別用 Gitlab，Jenkins，Deploy 三個名稱代替，部署在內網環境，同時因為政策原因，伺服器無法直接連通外網。下載 Jenkins 外掛時需要新增代理，如伺服器可直接聯通外網，忽略即可。
其中伺服器詳細資訊如下：
| 伺服器名稱 | 伺服器 IP | 作用 |
| ---------- | --------------------- | ------------------ |
| Gitlab | http://10.124.207.51/ | 程式碼管理 |
| Jenkins | http://10.124.205.60/ | Jenkins 所在伺服器 |
| Deploy | http://10.124.205.69/ | UTC 部署環境 |
實現功能：
Jenkins 通過監聽 GItlab 分支變化，實時更新程式碼，並將編譯後的程式碼部署在 UTC 環境。
實現思路：
1. 在 Jenkins 所在伺服器，使用 docker 安裝 Jenkins，啟動並下載所需外掛。
2. 通過 Jenkins 提供的管理頁面，建立管理員使用者。並配置所需憑證。
關於憑證這裡詳細說下，共需要配置如下憑證：
* 配置用於訪問 Gitlab 的憑證
* 配置用於拉取 Gitlab 倉庫程式碼的憑證
* 配置用於訪問 UTC 部署環境的憑證
3. 建立任務，將三者連線起來。
## Jenkins 安裝
這裡 docker 安裝就不演示了，相關配置可參考[這篇](https://www.cnblogs.com/michael9/p/12787873.html)，使用 docker pull 映象：
```
docker pull jenkinsci/blueocean
```
執行 Jenkins ：
```
docker run \
-u root \
-d \
-p 50001:8080 \
-p 50000:50000 \
-v /etc/localtime:/etc/localtime \
-v jenkins-data:/var/jenkins_home \
-v /var/run/docker.sock:/var/run/docker.sock \
--name jenkins \
jenkinsci/blueocean
```
## Jenkins 外掛安裝
在瀏覽器輸入 http://10.124.205.60:50001 進入 jenkins 管理頁面，之後會提示輸入密碼。
jenkins 的初始登入密碼可進入 docker 所在的容器中，可以通過 `cat /root/.jenkins/secrets/initialAdminPassword` 獲取。
### 代理配置
由於公司 ACL 的限制，無法直接訪問外網，這時會在頁面上提示，當前 Jenkins 為離線版本，故需要配置代理：
```
在伺服器輸入框中輸入代理地址：proxy.esl.cisco.com
埠：80
測試 URL：用於測試代理是否配置成功。
在下載外掛後，可以將代理清掉，以免在內網訪問時出現問題。
```
### 外掛安裝
在配置代理成功後，會提示安裝外掛，這裡選擇推薦的外掛選項安裝。
登入成功後，由於 Jenkins 自帶的外掛中，沒有 Gitlab 和 Publish Over SSH ，需要我們手動安裝下，在 `系統管理/外掛管理/可選外掛`目錄下 ，搜尋關鍵字即可。其中 `GitLab Plugin` 用於對 Gitlab 的訪問，`Publish Over SSH` 用於傳輸檔案以及在目標伺服器上執行命令。
## 憑證配置
### 配置 Gitlab
在 `系統管理/系統配置`頁面，向下滑動，找到 gitlab 的選項，該配置用於訪問 Gitlab.
```
Connection name: 隨便起一個連線名稱
Gitlab host URL： 為 Gitlab 的地址
Credentials：選擇一個認證的方式。因為咱們是第一次，選擇新增，型別為 Gitlab API token. 將 gitlab 的 token 貼上到 API token 中。接著點選新增。最後通過，點選測試判斷是否正常。
```
如果不知道如何獲取 gitlab 的 token，可以參考下圖，在 Gitlab 管理頁面建立：
### Git 配置
向下滑動，找到 git plugin 配置，配置上使用者名稱和郵箱即可：
### Publish over SSH 配置
該外掛的作用主要是通過 SSH 命令，操作目標伺服器，實現自動部署。
SSH 連線一般有兩種方式，使用者名稱密碼或公私匙的方式，下面用公私匙的方式操作：
```
# 首先進入 Jenkins 所在的 docker 容器
docker exec -it jenkins /bin/bash
# 生成公私匙，需要注意的是新版本的格式 Jenkins 外掛不支援，請使用 PEM 這種格式
ssh-keygen -t rsa -b 4096 -m PEM
# 將公匙拷貝至目標伺服器
ssh-copy-id -i .ssh/id_rsa.pub [email protected]
```
下面開始配置 Jenkins：
```
Passphrase: 這個是在生成 ssh key 時，輸入的密碼，不填寫就行。
Path to key: 這個是 ssh 私匙檔案所在的絕對位置，當填寫下面的 Key 不填寫即可。
Key：生成的私匙密碼
```
```
SSH Server 配置：
Name：隨便起名就可以
Username：ssh 登入的使用者名稱
Remote Directory：這個一定要填寫根路徑，之後的操作都會基於該路徑。
可點選 `Test Configuration` 是否配置成功，點選應用，儲存即可。
```
## Jenins Job 配置
在首頁上，點選新建任務。輸入任務名稱，型別選擇第一個，構建一個自由風格的軟體專案，點選確定，任務就建立完成了。
然後將滑鼠放在名稱這列，可以看到一個小三角，點選展開後，對任務進行配置：
### 原始碼配置
選擇原始碼管理，選擇 Git，用於獲取原始碼。這裡簡單提一下，之前配置的 Gitlab 用於對 Gitlab 的訪問，而這裡配置的 GIt 用於對某個倉庫進行訪問。
這裡需要將之前生成 ssh 公匙放到 Gitlab 的 SSH Keys 中，將 ssh 私匙放在當前的 key 中。用於拉取程式碼。
將公匙放入 Gitlab 中：
接著點選應用和儲存。
### 構建觸發器的配置
觸發器的作用就是在什麼情況下，會開始執行該任務。這裡配置的是輪詢 SCM 系統，也就是 Gitlab 分支的內容出現變化時，觸發任務，輪詢的時間為 1s.
### 構建配置
構建的作用在獲取 SCM 上的程式碼後，執行的操作：
```
執行 shell: 注意這裡編寫的 shell 的執行環境是在 jenkins 所在容器內部的。
```
選擇新增 `Sendfiles or execute commands over SSH`：
```
Name: 這裡選擇，之前建好用於訪問目標伺服器的憑證
Source files: **/*.* 表示遞迴傳輸資料夾下的包含 . 的所有檔案
Remote directory: 表示傳送的目標目錄
Exec command: 表示所有檔案傳輸成功後，在目標伺服器執行的 shell 命令。
```
下面是伺服器中執行的指令碼，用於編譯程式碼以及重啟服務。
```
# 注意新增可執行許可權
chmod +x deploy_shell.sh
cat deploy_shell.sh
#!/bin/bash
# constant
containerName="ctg_backend"
WORKING_DIR="/home/yuwzhang/docker-compose/project/temp_build"
TODAY=`date +%Y-%m-%d.%H:%M:%S`
echo "Enter deploy script..."
echo "\nStep1: Copy data to docker web container.."
# delete old dir
if [ -d "$WORKING_DIR" ]; then rm -Rf $WORKING_DIR; fi
# cp new dir
cp -r /home/yuwzhang/jenkins/project /home/yuwzhang/docker-compose/project/temp_build
echo "\nStep2: Enter web container and build py files to bytecode.."
docker exec $containerName bash -c "cd /src/temp_build && python -m compileall -b . && find . -name '*.py' |xargs rm -rf && find . -name 'pycache' |xargs rm -rf"
cp /home/yuwzhang/docker-compose/project/gunicorn_config.py /home/yuwzhang/docker-compose/project/temp_build/gunicorn_config.py
cp -r /home/yuwzhang/docker-compose/project/frontend /home/yuwzhang/docker-compose/project/temp_build/frontend
echo "\nStep3: Stop web services.."
cd /home/yuwzhang/docker-compose
docker-compose stop web
echo "\nStep4: replace new project dir to old project dir.."
mv project/temp_build new_build
mv project project_`date +%Y-%m-%d.%H:%M:%S`
mv new_build project
echo "\nStep5: Start web services.."
docker-compose start web
echo "\nStep6: check web services status.."
sleep 20s
exist=`docker inspect --format '{{.State.Status}}' ${containerName}`
echo "web status is $exist"
```
現在，一個基礎版的 CI/CD 流程就搭建完了，可以通過 Blue Ocean 來觀察任務的執行情況：
### 設定時間
在執行 Jenkins 容器時，已經掛載了宿主機的時間到容器內，可是發現 Jenkins 顯示的時間還是不正確，在容器內檢視時間是正常的，也許和 Jenkins 的配置有關，在`系統管理/指令碼命令列`中執行如下命令，時間就恢復正常了。
```
System.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Shanghai')
```
## 參考
[Jenkins Book](https://www.jenkins.io/zh/doc/book/inst