Docker+Jenkins+Gitlab+Django應用部署實踐
阿新 • • 發佈：2019-01-01
一、背景介紹
在網際網路應用快速更新迭代的大背景下，傳統的人工手動或簡單指令碼已經不能適應此變化，此時Devops為我們提供了良好的解決方案，應用好CI/CD可以大大的方便我們的日常工作，自動化快速的持續整合/持續交付為我們帶來了應用開放的更快速度、更好的穩定性和更強的可靠性。
二、拓撲環境
2.1 架構拓撲
如上圖例項，簡單花了下流程拓撲：
- 當研發push原生代碼到gitlab-server後，webhook自動觸發jenkins構建應用
- 在docker host上部署應用git clone來自gitlabserver原始碼，並啟動應用
- 前端可以放置lb來做高可用
- 資料庫連線雲資料庫
- 可將日誌儲存在log後期投遞到elk實現日誌視覺化
- 構建完成郵件通知相關人員（測試或開放）
2.2 系統軟體版本
| 名稱 | 版本 |
|---|---|
| Linux系統 | CentOS7.3 64位 |
| Docker | 1.13 |
| Django | 2.0 |
三、安裝部署
3.1 Jenkins安裝部署
Jenkins安裝部署可參考：jenkins筆記
- 安裝完成後新增Docker目標伺服器
- 配置郵件傳送伺服器
3.2 Docker安裝部署
Docker安裝部署及Dockerfile編寫可參考：容器Docker詳解
3.3 Gitlab安裝部署
GitLab安裝在公網Linux伺服器執行一些命令即可，如果沒有公網需要手動修改 /etc/gitlab/gitlab.rb檔案的external_url 'http://自己的內網IP'
yum install -y libsemanage-static libsemanage-devel policycoreutils openss h-server openssh-clients postfix systemctl enable postfix && systemctl start postfix wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0. 0-ce.0.el7.x86_64.rpm rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm # 獲取公網IP PUBLICIP=$(curl http://ipv4.icanhazip.com) # 修改 sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb gitlab-ctl reconfigure gitlab-ctl restart echo "Username:root" echo "Password:5iveL!fe"
3.4 配置釋出流程
- Jenkins新建構建一個自由風格的軟體專案
- 利用引數化構建方便後續部署Docker傳入對映的源埠和release
- 原始碼來自gitlab的django專案
- 利用webhook關聯gitlab和jenkins
jenkins安裝外掛：
生成隨機token值
將jenkins生成的GitLab webhook URL配置到gitlab
- 當開發者在本地push程式碼後自動觸發jenkins構建專案，有Dockerfile內寫的git pull程式碼，再次不用將程式碼由jenkins分發到docker宿主機，jenkins作為觸發docker構建使用
- 配置構建完成後的郵件
郵件模版，郵件型別選擇：
內容型別選擇：HTML
郵件主題填寫：構建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !
構建通知模版：
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次構建日誌</title>
</head>
<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
offset="0">
<table width="95%" cellpadding="0" cellspacing="0"
style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
<tr>
<td>(本郵件是程式自動下發的，請勿回覆！)</td>
</tr>
<tr>
<td><h2>
<font color="#0000FF">構建結果 - ${BUILD_STATUS}</font>
</h2></td>
</tr>
<tr>
<td><br />
<b><font color="#0B610B">構建資訊</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td>
<ul>
<li>專案名稱 ： ${PROJECT_NAME}</li>
<li>構建編號 ： 第${BUILD_NUMBER}次構建</li>
<li>SVN 版本： ${SVN_REVISION}</li>
<li>觸發原因： ${CAUSE}</li>
<li>構建日誌： <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
<li>構建 Url ： <a href="${BUILD_URL}">${BUILD_URL}</a></li>
<li>工作目錄 ： <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
<li>專案 Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
</ul>
</td>
</tr>
<tr>
<td><b><font color="#0B610B">Changes Since Last
Successful Build:</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td>
<ul>
<li>歷史變更記錄 : <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
</ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br />%m</pre>",pathFormat=" %p"}
</td>
</tr>
<tr>
<td><b>Failed Test Results</b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<tr>
<td><pre
style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">$FAILED_TESTS</pre>
<br /></td>
</tr>
<tr>
<td><b><font color="#0B610B">構建日誌 (最後 100行):</font></b>
<hr size="2" width="100%" align="center" /></td>
</tr>
<!-- <tr>
<td>Test Logs (if test has ran): <a
href="${PROJECT_URL}ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip">${PROJECT_URL}/ws/TestResult/archive_logs/Log-Build-${BUILD_NUMBER}.zip</a>
<br />
<br />
</td>
</tr> -->
<tr>
<td><textarea cols="80" rows="30" readonly="readonly"
style="font-family: Courier New">${BUILD_LOG, maxLines=100}</textarea>
</td>
</tr>
</table>
</body>
</html>觸發型別可根據自身需要填寫，這裡填寫always無論成功還是失敗都發送郵件
- 檢視遠端Docker伺服器內的檔案
- django部署已經利用conda打包好了專案的Python3.6的環境包自制了Docker映象
之前利用的是純淨的Python3.6系統，在每次構建的時候利用pip安裝requirements.txt的模組，但是長此以往由於環境變化很少，每次需要pip安裝耗時，所以利用conda將打包好的Python環境自制成定製化環境，以此來減少環境部署時間，也可以通過docker映象製作是-v引數將本地磁碟掛載在環境內，每次構建本地的conda即可，完成快速環境部署。
檢視Dockerfile
FROM 87a69025db6a
MAINTAINER kaliarch
# 定義docker中工作目錄
ENV WORK_DIR /work/
# 建立docker內工作目錄
RUN mkdir $WORK_DIR
# 定義對映埠
EXPOSE 80
WORKDIR $WORK_DIR
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git
# 新增啟動服務指令碼
ADD *.sh ${WORK_DIR}
CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log檢視Django啟動指令碼
#!/bin/bash
BASEPATH=$(cd `dirname $0`;pwd)
PY_CMD=/python3/bin/python
# 服務入口檔案
#MAIN_APP=${BASEPATH}/go2cloud/manage.py
# 遷移指令碼入口檔案
SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py
# 刪除指令碼入口檔案
DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py
# 日誌目錄
LOG_DIR=${BASEPATH}/logs/
[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}
# 啟動服務
#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &
# 啟動指令碼遷移排程指令碼
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log
nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &
# 啟動遷移刪除指令碼
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log
nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &
檢視jenkins部署指令碼
#!/bin/bash
release=$1
port=$2
BASEPATH=$(cd `dirname $0`;pwd)
# 構建go2cloud-platform 映象
cd /dockerwork
docker build -t go2cloud-platform-mini:$release .
IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')
echo $IMGNAME
# 啟動容器
docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}
利用-v引數將日誌持續化儲存到docker 宿主機之上
四、測試展示
4.1 測試構建
手動構建測試
4.2 檢視log
4.3 檢視docker容器
4.4 測試app
五、反思改進
- 目前資料庫連線的為雲伺服器搭建的資料庫，後期資料庫也利用docker，多組採用docker-compose統一部署管理
- 後期可以利用利用公有云k8s叢集進行方便測試
- 目前docker容器產生的日誌在docker宿主機上，後期可以將其儲存在cos上，再投遞到elk叢集日誌視覺化處理
- 將映象統一管理製作本地映象倉庫
- gitlab新增code review並結合自動測試